← नवीनतम पेपर
💻 computer science

GeoT2V-Bench: Benchmarking 3D Consistency in Text-to-Video Models via 3D Reconstruction

यह शोधपत्र GeoT2V-Bench प्रस्तुत करता है, जो एक नवीन पुनर्निर्माण-आधारित बेंचमार्क है जो कैमरा-प्रॉम्प्टेड टेक्स्ट-टू-वीडियो मॉडलों की 3D निरंतरता का मूल्यांकन करने के लिए उनके स्पष्ट रिजिड 3D पुनर्निर्माण को समर्थन देने की क्षमता का विश्लेषण करता है, जिससे यह प्रकट होता है कि दृश्य गति (visible motion) और स्थिर रेंडरिंग मेट्रिक्स अक्सर पूरक विफलता मोड (complementary failure modes) को कैप्चर करते हैं।

मूल लेखक: Chenrui Fan, Paolo Favaro

प्रकाशित 2026-06-24
📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Chenrui Fan, Paolo Favaro

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ GeoT2V-Bench पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करते हुए हिंदी अनुवाद दिया गया है।

बड़ी तस्वीर: "जादुई कैमरा" परीक्षण

कल्पना कीजिए कि आपके पास एक जादुई कैमरा है जो कमरे की तस्वीरें ले सकता है, लेकिन आपको कैमरा हिलाने की ज़रूरत नहीं है, बस आप उसे निर्देश देते हैं, "इस मूर्ति के चारों ओर चक्कर लगाओ," या "इस गलियारे के बीच से ज़ूम करते हुए निकल जाओ।"

आर्टिफिशियल इंटेलिजेंस (AI) मॉडल यह करने में बहुत माहिर होते जा रहे हैं। वे ऐसे वीडियो बनाते हैं जो असली लगते हैं। लेकिन यहाँ एक पेंच है: क्या वे वास्तव में 3D स्पेस (स्थान) को समझते हैं?

कभी-कभी, एक AI ऐसा वीडियो बना सकता है जो दिखने में स्मूथ और सुंदर हो, लेकिन अगर आप उस वीडियो से एक असली 3D मॉडल बनाने की कोशिश करें, तो वह बिखर जाएगा। मूर्ति पिघल सकती है, दीवारें मुड़ सकती हैं, या कैमरा पथ (path) का कोई तर्क नहीं रह जाएगा।

यह पेपर एक नया परीक्षण पेश करता है जिसे GeoT2V-Bench कहा जाता है। केवल यह पूछने के बजाय कि, "क्या यह वीडियो सुंदर दिखता है?" यह पूछता है, "यदि मैं इस वीडियो को एक वास्तविक, ठोस 3D दुनिया के रूप में फिर से बनाने की कोशिश करूँ, तो क्या यह टिक पाएगा?"

समस्या: "सपाट" भ्रम (The "Flat" Illusion)

लेखक बताते हैं कि AI वीडियो के वर्तमान परीक्षण किसी फिल्म के पोस्टर को देखकर उसकी गुणवत्ता आंकने जैसा है। वे देखते हैं कि रंग कितने अच्छे हैं, टेक्स्ट चित्र से मेल खाता है या नहीं, या हलचल कितनी स्मूथ है।

लेकिन "कैमरा-मोशन" प्रॉम्प्ट्स (जैसे "एक पेड़ के चारों ओर घूमना") के लिए, वीडियो को एक स्थिर वस्तु की सिंथेटिक फोटोग्राफ होना चाहिए।

  • विफलता: एक AI ऐसा वीडियो बना सकता है जहाँ कैमरा घूमता हुआ प्रतीत होता है, लेकिन वस्तु केवल प्रभाव पैदा करने के लिए 'टैफी' (stretchy candy) की तरह खिंचती और सिकुड़ती है। यह 3D ऑर्बिट जैसा दिखता है, लेकिन वास्तव में यह केवल एक 2D ट्रिक है।
  • पुराना तरीका: पिछले परीक्षण (जैसे Geoco) यह देखते हैं कि क्या स्थानीय ज्यामिति (local geometry) सही है (जैसे, "क्या दीवार सीधी दिख रही है?")। लेकिन एक वीडियो स्थानीय रूप से सीधा दिख सकता है और फिर भी वैश्विक परीक्षण (global test) में विफल हो सकता है (जैसे, "पूरा कमरा भौतिकी के नियमों के विरुद्ध घूम रहा है")।

समाधान: "वास्तुकार का ब्लूप्रिंट" (The "Architect's Blueprint")

लेखकों ने एक डायग्नोस्टिक पाइपलाइन बनाई है जो एक संदेही वास्तुकार (architect) की तरह काम करती है। वे केवल वीडियो को देखते नहीं हैं; वे उससे दृश्य को फिर से बनाने की कोशिश करते हैं।

यहाँ उनका "वास्तुकार का परीक्षण" चरण-दर-चरण कैसे काम करता है:

1. "कैमरा पहचानो" चरण (VGGT)

सबसे पहले, सिस्टम जेनरेट किए गए वीडियो को देखता है और अनुमान लगाने की कोशिश करता है: "यदि यह एक असली वीडियो होता, तो हर एक सेकंड में कैमरा कहाँ था?"

  • उपमा: कल्पना कीजिए कि आप एक हिलते हुए होम वीडियो को देख रहे हैं और यह ट्रेस करने की कोशिश कर रहे हैं कि कैमरा पकड़ने वाले व्यक्ति ने किस रास्ते का अनुसरण किया।
  • परीक्षण: यदि AI वीडियो बहुत अजीब या स्थिर है, तो सिस्टम कैमरा पथ का अनुमान नहीं लगा पाता। यह एक रेड फ्लैग (चेतावनी) है।

2. "लचीली मिट्टी" चरण (DeformableGS)

इसके बाद, सिस्टम एक सुपर-लचीली सामग्री (जैसे DeformableGS, जो कि एक प्रकार का 3D Gaussian Splatting है) का उपयोग करके दृश्य का 3D मॉडल बनाने की कोशिश करता है।

  • उपमा: कल्पना कीजिए कि आप गर्म, खिंचने वाली मिट्टी से एक मूर्ति ढालने की कोशिश कर रहे हैं। यदि वीडियो में अजीब गड़बड़ियाँ हैं, तो मिट्टी वीडियो से पूरी तरह मेल खाने के लिए खिंच जाएगी और मुड़ जाएगी।
  • परिणाम: यह चरण लगभग हमेशा सफल होता है क्योंकि मिट्टी बहुत लचीली होती है। यह साबित करता है कि वीडियो को मैच किया जा सकता है, लेकिन केवल तभी जब हम दुनिया को विकृत (deform) होने की अनुमति दें।

3. "कठोर पत्थर" चरण (MedianGS)

यह सबसे महत्वपूर्ण हिस्सा है। सिस्टम उस लचीली मिट्टी वाले मॉडल को लेता है और उसे कठोर पत्थर में बदलने की कोशिश करता है। यह मॉडल को स्थिर (बदलाव रहित) होने के लिए मजबूर करता है।

  • उपमा: अब, कल्पना कीजिए कि आप उसी वीडियो को एक कठोर, अपरिवर्तनीय पत्थर की मूर्ति में फिट करने की कोशिश कर रहे हैं।
  • परीक्षण:
    • यदि यह फिट बैठता है: बहुत बढ़िया! वीडियो वास्तव में एक ठोस वस्तु के चारों ओर घूमते हुए कैमरे का प्रमाण है।
    • यदि इसमें दरार आती है: वीडियो "खिंचने वाली मिट्टी" (समय के साथ बदलने वाले ट्रिक्स) पर निर्भर था ताकि अच्छा दिख सके। इसे एक एकल, ठोस 3D दृश्य के रूप में नहीं समझाया जा सकता।

4. "मोशन चेक" (CEMR)

अंत में, सिस्टम हलचल की जाँच करता है।

  • उपमा: यदि आप एक असली मूर्ति के चारों ओर घूमते हैं, तो बैकग्राउंड एक विशिष्ट तरीके से हिलता है (पैरलैक्स/parallax)। सिस्टम यह जाँचता है कि क्या AI वीडियो की हलचल एक वास्तविक कैमरे द्वारा देखे जाने वाले दृश्य से मेल खाती है।
  • परिणाम: कभी-कभी AI दिखावट को सही कर लेता है (मूर्ति अच्छी दिखती है) लेकिन मूवमेंट को गलत कर देता है (बैकग्राउंड गलत दिशा में फिसलता है)। यह परीक्षण इसे पकड़ लेता है।

उन्होंने क्या पाया (रिपोर्ट कार्ड)

लेखकों ने 12 अलग-अलग AI वीडियो मॉडल्स का परीक्षण किया। उन्होंने उन्हें केवल "पास" या "फेल" का ग्रेड नहीं दिया। इसके बजाय, उन्होंने उन्हें एक निरंतर प्रोफाइल (एक विस्तृत रिपोर्ट कार्ड) दिया जो दिखाया:

  1. किसने धोखाधड़ी की: कुछ मॉडल्स (जैसे MAGI-1) कागज़ पर बहुत अच्छे दिखे लेकिन वे "एक्टिव एविडेंस" चेक में विफल रहे—उन्होंने वास्तव में कैमरा इतना नहीं घुमाया कि यह साबित हो सके कि यह एक 3D दृश्य है।
  2. किसने सच को खींचा: कुछ मॉडल्स (जैसे HunayuanVideo) में उच्च "डेफॉर्मेशन एनर्जी" थी, जिसका अर्थ है कि उनके 3D मॉडल को वीडियो से मेल खाने के लिए जंगली तरीके से खिंचना और मुड़ना पड़ा।
  3. किसने मोशन को गलत किया: कुछ मॉडल्स में त्रुटियां कम थीं (दिखने में अच्छे थे) लेकिन "फ्लो एग्रीमेंट" (flow agreement) बहुत खराब था (मूवमेंट कैमरा पथ से मेल नहीं खा रहा था)।

"कंट्रोल लैब" (ControlBench)

यह सुनिश्चित करने के लिए कि उनका परीक्षण त्रुटिपूर्ण नहीं है, उन्होंने एक "कंट्रोल लैब" बनाया। उन्होंने असली वीडियो लिए और उनके साथ अजीब चीजें कीं:

  • फ्रोजन (Frozen): वीडियो को रोक दिया (इसे मोशन टेस्ट में फेल होना चाहिए)।
  • डिजिटल ज़ूम (Digital Zoom): केवल ज़ूम इन किया (इसे 3D मूव के बजाय 2D ज़ूम की तरह दिखना चाहिए)।
  • टेक्सचर रीपेंट (Texture Repaint): वीडियो के बीच में रंगों को बदल दिया।

उन्होंने इन वीडियो को अपने सिस्टम के माध्यम से चलाया यह देखने के लिए कि क्या परीक्षण ने इन्हें "नकली" या "टूटे हुए" 3D दृश्यों के रूप में सही ढंग से पहचाना। इसने ऐसा ही किया।

निष्कर्ष

यह पेपर तर्क देता है कि हम अब AI वीडियो जनरेशन के लिए केवल यह नहीं पूछ सकते कि, "क्या यह वीडियो सुंदर है?" हमें पूछना होगा, "क्या यह वीडियो एक वैध 3D दुनिया का रिकॉर्ड है?"

GeoT2V-Bench वह उपकरण है जो इस प्रश्न का उत्तर देता है। यह केवल सतह को नहीं देखता; यह उसके नीचे की दुनिया को बनाने की कोशिश करता है। यदि आप इसे बनाने की कोशिश करते समय दुनिया ढह जाती है, तो वीडियो परीक्षण में विफल हो गया है, चाहे वह कितना भी सुंदर क्यों न दिखे।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💻 cs →