← नवीनतम पेपर
🤖 AI

HALLELUAI: A Hallucination-Aware AI System for Ultra-Realistic Image-to-Video Generation at Scale

HALLELUAI एक एंड-टू-एंड सिस्टम है जो आउटपुट को बार-बार परिष्कृत करने और ब्रांड सुरक्षा एवं दृश्य निष्ठा (विजुअल फिडेलिटी) की गारंटी देने के लिए एक एजेंटिक पुनरुत्पादन ढांचे (एजेंटिक रिजनरेशन फ्रेमवर्क) के साथ एक मतिभ्रम-जागरूक मॉडरेशन मॉड्यूल को एकीकृत करके बड़े पैमाने पर अल्ट्रा-यथार्थवादी, प्रोडक्शन-ग्रेड इमेज-टू-वीडियो जनरेशन सुनिश्चित करता है।

मूल लेखक: Aniket Sakpal, Yang Jiang, Rouzbeh Davoudi, Shayan Hassantabar, Mani Najmabadi

प्रकाशित 2026-07-28
📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Aniket Sakpal, Yang Jiang, Rouzbeh Davoudi, Shayan Hassantabar, Mani Najmabadi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ आप समुद्र तट की एक अकेली फोटो खींच सकते हैं और, एक जादुई कमांड के साथ, उसे एक चलती-फिरती फिल्म में बदल सकते हैं जहाँ लहरें टकराती हैं और समुद्री पक्षी उड़ते हैं। यह "इमेज-टू-वीडियो" जनरेशन का वादा है, जो आर्टिफिशियल इंटेलिजेंस की एक शाखा है जो तेजी से बदल रही है कि हम विज्ञापन कैसे बनाते हैं, कहानियाँ कैसे सुनाते हैं, और उत्पादों को कैसे प्रदर्शित करते हैं। लेकिन ठीक वैसे ही जैसे चित्र बनाना सीखने वाला एक बच्चा कभी-कभी बहुत ज्यादा उत्साहित हो जाता है, ये AI कलाकार भी कभी-कभी नियंत्रण खो देते हैं। वे तस्वीर को धुंधला कर सकते हैं, लहरों को अजीब तरीके से झटकेदार बना सकते हैं, या—यहाँ सबसे पेचीदा हिस्सा है—अचानक एक ऐसा ताड़ का पेड़ बना सकते हैं जो मूल फोटो में नहीं था। यात्रा या रियल एस्टेट जैसे उद्योगों में, जहाँ सटीक सच्चाई दिखाना महत्वपूर्ण होता है, ये "हैलुसिनेशन" (AI द्वारा चीजें बनाना) एक बड़ी समस्या हैं। हमें दुनिया को दिखाने से पहले AI के काम की जांच करने के एक तरीके की आवश्यकता है, यह सुनिश्चित करने के लिए कि वीडियो वास्तविक दिखे, सुचारू रूप से चले, और इसमें कोई भी नकली तत्व न जोड़ा जाए।

HALLELUAI से मिलिए, एक नया सिस्टम जिसे इन AI-जनरेटेड फिल्मों के लिए परम "क्वालिटी कंट्रोल इंस्पेक्टर" बनने के लिए डिज़ाइन किया गया है। HALLELUAI को केवल एक जज के रूप में नहीं, बल्कि एक अथक, सुपर-स्मार्ट संपादक के रूप में सोचें जो एक लूप में काम करता है। जब कोई AI एक फोटो को वीडियो में बदलने की कोशिश करता है, तो HALLELUAI परिणाम को बारीकी से देखता है। यदि वीडियो धुंधला है, यदि कैमरा बहुत अधिक हिल रहा है, या यदि AI ने गलती से होटल की फोटो में एक नकली इमारत जोड़ दी है, तो HALLELUAI केवल "नहीं" नहीं कहता। इसके बजाय, यह एक कोच की तरह कार्य करता है, AI को बताता है कि वास्तव में क्या गलत हुआ और फिर उसे सुधारने के लिए दूसरा (या तीसरा) मौका देता है। यह निर्देशों को बदलता है, कैमरा एंगल बदलता है, या यहाँ तक कि उस AI मॉडल को भी बदल देता है जो काम करने की कोशिश कर रहा है, इस प्रक्रिया को तब तक दोहराता है जब तक कि वीडियो एकदम सही न हो जाए। शोधकर्ताओं ने पाया कि इस "कोशिश करो, जाँचो, सुधारो, फिर से कोशिश करो" दृष्टिकोण का उपयोग करके, वे अल्ट्रा-रियलिस्टिक वीडियो बना सके जिन्हें रचनात्मक विशेषज्ञों ने पसंद किया, और सिस्टम लगभग 87% बार मानव विशेषज्ञों के साथ इस बात पर सहमत हुआ कि वीडियो अच्छा है या बुरा।

समस्या: जब AI बहुत अधिक रचनात्मक हो जाता है

कल्पना कीजिए कि आप एक दोस्त से अपने कुत्ते की फोटो का वर्णन करने के लिए कहते हैं। यदि वह कहता है, "आपका कुत्ता दौड़ रहा है," तो यह ठीक है। लेकिन यदि वह अचानक कहता है, "आपका कुčka दौड़ रहा है, लेकिन अब उसके पंख हैं और उसने एक टोपी पहनी है," तो उसने 'हैलुसिनेट' करना शुरू कर दिया है। AI वीडियो की दुनिया में, यह एक आपदा है। यदि कोई ट्रैवल कंपनी होटल के कमरे को दिखाने के लिए AI का उपयोग करती है, तो AI के पास ऐसा स्विमिंग पूल बनाने की अनुमति नहीं होनी चाहिए जो मौजूद ही नहीं है या फर्नीचर को तैरते हुए दिखाने की अनुमति नहीं होनी चाहिए।

AI वीडियो की जाँच करने वाले वर्तमान उपकरण सूप के स्वाद को मापने के लिए रूलर (पैमाने) का उपयोग करने जैसे हैं। वे आपको बता सकते हैं कि औसतन बहुत सारे वीडियो कैसे दिखते हैं, लेकिन वे एक अकेले वीडियो को देखकर यह नहीं कह सकते कि, "हे, इस विशिष्ट वीडियो में एक नकली पेड़ है," या "कैमरा बहुत अधिक हिल रहा है।" वे उन छोटी, परेशान करने वाली गलतियों को मिस कर देते हैं जो दर्शक के अनुभव को खराब कर देती हैं।

समाधान: द HALLELUAI लूप

लेखकों ने एक जनरेशन और सुधार के क्लोज्ड लूप बनाकर HALLELUAI बनाया है। यह कैसे काम करता है, चरण-दर-चरण यहाँ दिया गया है:

1. पहला ड्राफ्ट
सिस्टम एक शुरुआती फोटो और एक रचनात्मक विचार (जैसे "कैमरा धीरे-धीरे ज़ूम इन करें") लेता है और एक AI से वीडियो बनाने के लिए कहता है।

2. सख्त निरीक्षक (मॉडरेशन मॉड्यूल)
वीडियो को बाहर जाने की अनुमति देने से पहले, HALLELUAI का "मॉडरेशन मॉड्यूल" इसे सूक्ष्मदर्शी के नीचे रखता है। यह तीन मुख्य चीजों की जाँच करता है:

  • फ्रेम क्वालिटी: क्या तस्वीर धुंधली है? क्या यह बहुत अंधेरी या बहुत उज्ज्वल है? क्या वहां अजीब स्टैटिक शोर है? यह हर एक फ्रेम की मूल फोटो से तुलना करता है ताकि यह सुनिश्चित हो सके कि लाइटिंग और शार्पनेस में बदलाव नहीं आया है।
  • मोशन स्मूथनेस: क्या कैमरा एक पेशेवर फिल्म निर्माता की तरह चल रहा है, या यह एक कांपते हाथ की तरह झटक रहा है? यह जाँचता है कि क्या गति निर्देशों से मेल खाती है (उदाहरण के लिए, यदि आपने "पैन लेफ्ट" के लिए कहा था, तो क्या इसने वास्तव में पैन किया?)।
  • हैलुसिनेशन की खोज: यह सबसे महत्वपूर्ण हिस्सा है। सिस्टम एक शक्तिशाली AI मस्तिष्क का उपयोग करता है जो उन चीजों को देखता है जो वहाँ नहीं होनी चाहिए। क्या कोई वस्तु गायब हो गई? क्या दो वस्तुएं मिलकर एक अजीब सा गोला बन गईं? क्या अचानक दृश्य में कोई नई वस्तु आ गई? यह विशेष रूप से "न्यू स्ट्रक्चर हैलुसिनेशन" (नकली वस्तुओं का प्रकट होना) और "ऑब्जेक्ट हैलुसिनेशन" (वास्तविक वस्तुओं के आकार बदलना या गायब होना) की तलाश करता है।

3. कोच (एजेंटिक रीजनरेशन मॉड्यूल)
यदि वीडियो निरीक्षण में विफल रहता है, तो HALLELUAI इसे केवल कचरे में नहीं फेंकता। यह एक स्मार्ट कोच की तरह कार्य करता है। यह विशिष्ट गलतियों को देखता है और सुधार का निर्णय लेता है।

  • यदि मोशन बहुत अधिक हिल रहा था, तो यह AI को "कैमरा स्थिर करने" के लिए कहता है।
  • यदि लाइटिंग गलत थी, तो यह कहता है "एक्सपोज़र को एडजस्ट करें।"
  • यदि AI बार-बार नकली पेड़ बना रहा था, तो यह एक अलग AI मॉडल पर स्विच कर सकता है या प्रॉम्प्ट को मूल छवि के विवरणों को बनाए रखने के लिए अधिक सख्त बना सकता है।
  • यदि वस्तु धुंधली थी, तो यह AI से एक अलग "सीड" (जेनरेशन का एक रैंडम शुरुआती बिंदु) के साथ फिर से प्रयास करने के लिए कह सकता है।

सिस्टम फिर वीडियो का एक नया संस्करण बनाता है और इसे फिर से जाँचता है। यह इस प्रक्रिया को जारी रखता है—जेनरेट, चेक, फिक्स, जेनरेट—जब तक कि वीडियो सभी परीक्षणों को पास नहीं कर लेता या जब तक कि वह कितनी बार प्रयास करने की सीमा तक नहीं पहुँच जाता।

उन्होंने क्या पाया

टीम ने यह देखने के लिए HALLELUAI का परीक्षण वास्तविक मानव विशेषज्ञों के साथ किया कि क्या यह काम कर सकता है।

  • सहमति: जब उन्होंने HALLELUAI के निर्णयों की तुलना मानव रचनात्मक विशेषज्ञों के निर्णयों से की, तो सिस्टम 86.9% बार मनुष्यों के साथ सहमत हुआ। यह एक मजबूत संकेत है कि मशीन एक मानव संपादक की तरह सोचना सीख रही है।
  • परिशुद्धता: जब सिस्टम ने कहा कि एक वीडियो "अच्छा" है (एक PASS), तो प्रारंभिक परीक्षणों में वह 88% बार सही था।
  • वास्तविक दुनिया का परीक्षण: एक "स्यूडो प्रोडक्शन" परीक्षण में, जहाँ सिस्टम को वीडियो दिखाने से पहले उन्हें ठीक करने की अनुमति दी गई थी, गुणवत्ता आसमान छू गई। 1,158 वीडियो जिनमें से सिस्टम ने मंजूरी दी, उनमें से 1,126 को मानव विशेषज्ञों ने भी मंजूरी दी। यह 97% सफलता दर है।

शोधकर्ताओं ने अपने सिस्टम की तुलना अन्य मौजूदा उपकरणों से भी की। उन्होंने पाया कि मानक वीडियो क्वालिटी चेकर्स (जैसे DOVER और COVER) यह अंतर नहीं कर सके कि एक अच्छा AI वीडियो और एक बुरा वीडियो क्या है क्योंकि वे इन विशिष्ट AI गलतियों को पकड़ने के लिए डिज़ाइन नहीं किए गए थे। यहाँ तक कि शक्तिशाली AI चैटबॉट्स भी, बिना विशेष निर्देशों के केवल "वीडियो देखने" के लिए पूछे जाने पर, सूक्ष्म त्रुटियों को पकड़ने में विफल रहे। HALLELUAI इसलिए काम कर गया क्योंकि इसे विशेष रूप से इन्हीं समस्याओं को खोजने और उन्हें ठीक करने की योजना के साथ बनाया गया था।

यह क्यों मायने रखता है

यह केवल सुंदर वीडियो बनाने के बारे में नहीं है; यह भरोसे के बारे में है। रियल एस्टेट या यात्रा जैसे क्षेत्रों में, यदि AI एक ऐसे घर को दिखाता है जिसमें एक ऐसा पूल है जो मौजूद ही नहीं है, तो यह केवल एक मजेदार गलती नहीं है—यह एक कानूनी और प्रतिष्ठा संबंधी जोखिम है। HALLELUAI दिखाता है कि हम नियंत्रण खोए बिना AI वीडियो उत्पादन को स्केल कर सकते हैं। एक सख्त निरीक्षक और एक सहायक कोच को जोड़कर, सिस्टम यह सुनिश्चित करता है कि अंतिम उत्पाद न केवल अत्यंत यथार्थवादी है, बल्कि मूल छवि के प्रति भी वफादार है। यह AI जनरेशन की अराजक, "अनुमान और जाँच" वाली प्रकृति को एक विश्वसनीय, औद्योगिक प्रक्रिया में बदल देता है जो उच्च गुणवत्ता बनाए रखते हुए हजारों वीडियो को संभाल सकती है। लेखक सुझाव देते हैं कि यह ढांचा AI-जनरेटेड वीडियो को सुरक्षित और उपयोगी बनाने की दिशा में एक बड़ा कदम है, जो शानदार तकनीक और वास्तविक दुनिया की विश्वसनीयता के बीच के अंतर को पाटता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →