ReactBench: A Cause-Driven Benchmark for Multimodal Hallucination via Systematic Evaluation
ReactBench एक नवीन, कारण-संचालित बेंचमार्क है जो सरल सटीकता मेट्रिक्स से परे विशिष्ट अंतर्निहित विफलता तंत्रों का निदान करने के लिए चार लक्षित प्रतिकूल कार्यों और चेन-ऑफ-थॉट रीजनिंग के माध्यम से बड़े भाषा मॉडलों में मल्टीमॉडल मतिभ्रम (hallucinations) का व्यवस्थित रूप से मूल्यांकन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) अविश्वसनीय रूप से बुद्धिमान, सुशिक्षित छात्र हैं जिन्होंने लाखों पाठ्यपुस्तकों का अध्ययन किया है और अरबों तस्वीरें देखी हैं। वे जो देखते हैं उसका वर्णन करने में बहुत माहिर हैं, लेकिन उनमें एक खतरनाक आदत है: हैलुसिनेशन (Hallucination - भ्रम या मतिभ्रम)।
सरल शब्दों में, इसका अर्थ है कि छात्र आत्मविश्वास के साथ ऐसी चीजों का वर्णन करता है जो वास्तव में वहां मौजूद नहीं हैं। उदाहरण के लिए, यदि आप उन्हें बिना पहियों वाले एक स्केटबोर्ड की तस्वीर दिखाते हैं, तो वे कह सकते हैं, "मैं इसके नीचे चार रबर के पहिये देख रहा हूँ," क्योंकि उन्होंने अपने ट्रेनिंग डेटा में इस संयोजन को लाखों बार देखा है। वे इस आधार पर अनुमान लगा रहे हैं कि आमतौर पर क्या होता है, न कि इस आधार पर कि वास्तव में क्या हो रहा है।
यह पेपर ReactBench पेश करता है, जो एक नया "परीक्षा" है जिसे इन छात्रों के झूठ पकड़ने और, अधिक महत्वपूर्ण रूप से, यह पता लगाने के लिए बनाया गया है कि वे झूठ क्यों बोल रहे हैं।
यहाँ बताया गया है कि ReactBench कैसे काम करता है, जिसे सरल अवधारणाओं में विभाजित किया गया है:
1. पुराने परीक्षाओं के साथ समस्या
पिछली परीक्षाएँ प्राथमिक स्कूल की क्विज़ की तरह थीं। वे सरल प्रश्न पूछती थीं जैसे, "क्या इस तस्वीर में एक बिल्ली है?" यदि मॉडल सही उत्तर देता था, तो वह पास हो जाता था। लेकिन आज के मॉडल्स इतने स्मार्ट हैं कि वे इन आसान परीक्षणों को आसानी से पास कर सकते हैं। वे उन छात्रों की तरह हैं जिन्होंने विषय को सीखने के बजाय उत्तर कुंजी (answer key) को रट लिया है। पुराने परीक्षण हमें यह नहीं बता पाते थे कि मॉडल विफल होने पर वह क्यों विफल हुआ।
2. नई परीक्षा: ReactBench
ReactBench एक AI के लिए विशेष उच्च-दांव वाले मेडिकल चेकअप की तरह है। केवल यह पूछने के बजाय कि "क्या आपने इसे सही किया?", यह पूछता है, "आपके मस्तिष्क का कौन सा विशिष्ट हिस्सा खराब हुआ?"
इस परीक्षा में चार विशिष्ट "ट्रैप्स" (जाल) शामिल हैं जो चार अलग-अलग प्रकार के हैलुसिनेशन को ट्रिगर करने के लिए डिज़ाइन किए गए हैं:
ट्रैप 1: "गायब हिस्सा" परीक्षण (रिलेशनल इरेज़र - Relational Erasure)
- रूपक (Metaphor): कल्पना कीजिए कि एक साइकिल की तस्वीर दिखाई जा रही है जिसके पहिये मिटा दिए गए हैं।
- जाल: क्योंकि साइकिलों में आमतौर पर पहिये होते हैं, AI का दिमाग उस खाली जगह को भर देता है। वह कहता है, "मैं पहिये देख रहा हूँ!" भले ही वे गायब हों।
- कारण: यह को-अकरेंस बायस (Co-occurrence Bias) का परीक्षण करता है। AI यह देखने का इतना आदी है कि साइकिलों में पहिये होते हैं कि वह मान लेता है कि वे वहां हैं, भले ही वे न हों।
ट्रैप 2: "नकली तथ्य" परीक्षण (काउंटरफैक्चुअल एट्रिब्यूट - Counterfactual Attribute)
- रूपक: कल्पना कीजिए कि एक लाल केले की तस्वीर दिखाई जा रही है।
- जाल: AI जानता है कि केले पीले होते हैं। वह तस्वीर में लाल रंग को अनदेखा कर देता है और आत्मविश्वास से कहता है, "यह एक पीला केला है।"
- कारण: यह लैंग्वेज प्रायर्स (Language Priors) का परीक्षण करता है। AI अपनी पाठ्यपुस्तक के ज्ञान (केले पीले होते हैं) पर अपनी आँखों (केला लाल है) से अधिक भरोसा करता है।
ट्रैप 3: "अंतर पहचानें" परीक्षण (अल्टरेशन ट्रेसिंग - Alteration Tracing)
- रूपक: AI को एक कमरे की दो लगभग एक जैसी तस्वीरें दिखाएं, लेकिन एक में कुर्सी थोड़ी सी खिसकी हुई है।
- जाल: AI पूरे कमरे को देखता है और कहता है, "वे एक जैसे दिखते हैं," और उस छोटे से बदलाव को मिस कर देता है।
- कारण: यह कंपैरेटिव परसेप्शन (तुलनात्मक धारणा) का परीक्षण करता है। AI दो छवियों की तुलना करने और छोटे, विशिष्ट परिवर्तनों को खोजने में कमजोर है।
ट्रैप 4: "भीड़भाड़ वाला कमरा" परीक्षण (डेंस काउंटिंग - Dense Counting)
- रूपक: एक तस्वीर दिखाएं जिसमें एक अराजक आकाश में 20 एक जैसे पक्षी उड़ रहे हैं।
- जाल: AI "15" या "25" का अनुमान लगाता है क्योंकि वह हर एक पक्षी का हिसाब नहीं रख पाता।
- कारण: यह फाइन-ग्रेन्ड परसेप्शन (सूक्ष्म धारणा) का परीक्षण करता है। जब बहुत सारे समान ऑब्जेक्ट्स को गिनना होता है, तो AI अभिभूत (overwhelmed) हो जाता है।
3. "एग्जाम स्टाइल" के प्रश्न
एक वास्तविक परीक्षा की तरह, ReactBench केवल साधारण हाँ/नाo के प्रश्न नहीं पूछता है। यह AI को फँसाने के लिए विभिन्न प्रारूपों का उपयोग करता है:
- प्रत्यक्ष प्रश्न: "क्या पहिये हैं?"
- कॉमनसेन्स ट्रैप्स (सामान्य ज्ञान के जाल): "हम जानते हैं कि स्केटबोर्ड में पहिये होते हैं। तो, इस स्केटबोर्ड के नीचे क्या है?" (AI को दृश्य साक्ष्य को अनदेखा करने के लिए उकसाना)।
- असंगत विरोधाभास (Absurd Contrasts): "क्या स्केटबोर्ड के नीचे एक पहिया है या एक चिकन विंग है?" (यह परीक्षण करना कि क्या AI बेतुके विकल्पों को खारिज कर सकता है)।
4. "चेन ऑफ थॉट" ऑटोप्सी (Chain of Thought Autopsy)
यह इस पेपर का सबसे अनूठा हिस्सा है। जब AI गलत उत्तर देता है, तो ReactBench केवल इसे "गलत" के रूप में चिह्नित नहीं करता है। यह AI को अपना काम दिखाने के लिए मजबूर करता है (सोच-समझकर बोलना)।
शोधकर्ता फिर इस "सोचने की प्रक्रिया" का विश्लेषण करते हैं ताकि त्रुटि के उप-कारण (sub-cause) का पता लगाया जा सके।
- क्या AI ने वस्तु को देखा लेकिन उसे कुछ और मान लिया?
- क्या AI ने गिनती के किसी चरण को छोड़ दिया?
- क्या AI ने दृश्य साक्ष्य को इसलिए अनदेखा किया क्योंकि वह उसके दिमाग में "तार्किक" लग रहा था?
5. उन्होंने क्या पाया
जब उन्होंने आज के शीर्ष AI मॉडल्स पर यह परीक्षा चलाई, तो परिणाम निराशाजनक थे:
- वे अभी भी विफल होते हैं: यहाँ तक कि सबसे स्मार्ट मॉडल्स भी इन सवालों के बहुत से जवाब गलत देते हैं (अक्सर 40% और 60% के बीच स्कोर करते हैं)।
- ज़्यादा सोचना हमेशा मदद नहीं करता: आश्चर्यजनक रूप से, मॉडल्स को "चरण-दर-चरण सोचने" (Chain of Thought) के लिए कहना कभी-कभी इन विशिष्ट कार्यों में उन्हें और भी बुरा बना देता है। ऐसा लगता है कि जब वे किसी दृश्य समस्या के माध्यम से तर्क करने की कोशिश करते हैं, तो वे कभी-कभी बहुत अधिक सोच लेते हैं और भ्रमित हो जाते हैं, जिससे अधिक हैलुसिनेशन होता है।
- अलग-अलग कमजोरियाँ: कुछ मॉडल्स गिनती करने में अच्छे हैं लेकिन गायब वस्तुओं को पहचानने में खराब हैं। अन्य सरल विवरण देने में अच्छे हैं लेकिन जब तस्वीर सामान्य ज्ञान के विपरीत होती है, तो विफल हो जाते हैं।
सारांश
ReactBench एक डायग्नोस्टिक टूल (नैदानिक उपकरण) है। यह AI हैलुसिनेशन को केवल एक एकल "बग" के रूप में नहीं, बल्कि विशिष्ट लक्षणों के एक सेट के रूप में देखता है। इन चार लक्षित ट्रैप्स का उपयोग करके, शोधकर्ता डेवलपर्स को ठीक बता सकते हैं कि AI के "दृष्टि" (vision) या "तर्क" (logic) के किस हिस्से को ठीक करने की आवश्यकता है, बजाय इसके कि केवल यह कहें कि, "मॉडल हैलुसिनेट कर रहा है।"
पेपर निष्कर्ष निकालता है कि बेहतर AI बनाने के लिए, हमें केवल मॉडल्स को बड़ा बनाना बंद करना होगा और विशेष रूप से उन्हें अपनी आँखों पर अपनी पाठ्यपुस्तकों से अधिक भरोसा करने और जटिल दृश्य विवरणों को बिना भ्रमित हुए संभालने के लिए प्रशिक्षित करना शुरू करना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।