FREAK: A Fine-grained Hallucination Evaluation Benchmark for Advanced MLLMs
यह शोध पत्र FREAK को प्रस्तुत करता है, जो एक व्यापक सूक्ष्म-स्तरीय मतिभ्रम मूल्यांकन बेंचमार्क है, जो अत्याधुनिक मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स में गंभीर मतिभ्रम संबंधी समस्याओं को उजागर करने के लिए सामान्य बोध के विपरीत संपादन (counter-commonsense edits) वाले उच्च-गुणवत्ता वाले फोटोरियलिस्टिक चित्रों का उपयोग करता है और नियंत्रित उपसमुच्चयों एवं चेन-ऑफ-थॉट विश्लेषण के माध्यम से उनकी तर्क प्रक्रियाओं के बारे में गहरी अंतर्दृष्टि प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपका एक बहुत ही बुद्धिमान रोबोट मित्र है जो चित्रों को देख सकता है और जो वह देखता है उसका वर्णन कर सकता है। आप सोच सकते हैं, "शानदार! वह एक कुत्ता देखता है, इसलिए वह कहता है 'कुत्ता'।" लेकिन क्या होगा अगर वह रोबोट वास्तव में कुत्ते की वेशभूषा पहने हुए एक बिल्ली की तस्वीर देख रहा है, और वह पूरे आत्मविश्वास के साथ कहता है, "यह एक कुत्ता है"?
यही मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) के साथ होता है। वे अविश्वसनीय रूप से स्मार्ट हैं, लेकिन वे अक्सर भ्रम (hallucinations) का शिकार होते हैं। वे अपने प्रशिक्षण से मिली "जानकारी" पर इतना अधिक भरोसा करते हैं (जैसे कि "कुत्तों के आमतौर पर चार पैर होते हैं") कि वे उस चीज़ को अनदेखा कर देते हैं जो वास्तव में चित्र में मौजूद है (जैसे कि पाँच पैरों वाला कुत्ता)।
यह शोध पत्र इन रोबोट्स को रंगे हाथों पकड़ने के लिए FREAK नामक एक नया टूल पेश करता है।
FREAK क्या है?
FREAK को एक "अंतर पहचानो" (Spot the Difference) खेल के रूप में समझें जिसे रोबोटों को चकमा देने के लिए बनाया गया है।
शोधकर्ताओं ने विशेष प्रकार के चित्रों का एक सेट बनाया जो पहली नज़र में बिल्कुल सामान्य दिखते हैं, जैसे कि एक ट्रैफिक लाइट या गिटार की फोटो। लेकिन, उन्होंने गुप्त रूप से वास्तविकता के नियमों को तोड़ने के लिए सूक्ष्म, विशिष्ट विवरणों में बदलाव किया है:
- एक ट्रैफिक लाइट जहाँ लाल बत्ती नीचे है और हरी ऊपर है।
- एक गिटार जिसमें छह के बजाय पाँच तार हैं।
- एक घड़ी जिसमें तीन के बजाय चार सुइयाँ हैं।
इन्हें काउंटर-कॉमनसेन्स (Counter-Commonsense - CCS) संपादन कहा जाता है। ये इतने सूक्ष्म हैं कि एक इंसान इन्हें तुरंत पहचान लेगा, लेकिन इन्हें रोबोट के "सामान्य ज्ञान" को भ्रमित करने के लिए डिज़ाइन किया गया है।
उन्होंने यह परीक्षण कैसे बनाया (बेकिंग का रूपक)
इन चालाकी भरे चित्रों को बनाना आसान नहीं था। शोधकर्ताओं ने इसे हाथ से नहीं बनाया (बहुत धीमा होता!)। इसके बजाय, उन्होंने एक स्वचालित असेंबली लाइन बनाई:
- आइडिया शेफ (LLM): एक टेक्स्ट AI एक पागलपन भरा विचार देता है, जैसे "बदली हुई लाइटों वाली एक ट्रैफिक लाइट।"
- बेकर (Image Generator): दूसरा AI एक सामान्य ट्रैफिक लाइट की एकदम वास्तविक फोटो "बेक" करता है।
- पेस्ट्री शेफ (Image Editor): तीसरा AI उस सामान्य फोटो को लेता है और सर्जिकल सटीकता के साथ लाल और हरी लाइटों को बदल देता है, जिससे वह असली लेकिन गलत दिखाई दे।
- टेस्टर (Human Review): वास्तविक इंसान तस्वीरों की जाँच करते हैं ताकि यह सुनिश्चित हो सके कि चाल स्पष्ट है और चित्र वास्तविक दिखता है।
परिणाम: रोबोट बुरी तरह विफल रहे
शोधकर्ताओं ने दुनिया के सबसे स्मार्ट AI मॉडल्स (जैसे GPT-4, Gemini और अन्य) का FREAK टेस्ट पर परीक्षण किया।
- इंसान: लगभग 87% सही थे। हमारे लिए यह आसान था क्योंकि हमने वास्तव में चित्र को देखा।
- AI मॉडल्स: केवल लगभग 45% सही थे।
रूपक: कल्पना कीजिए कि आप एक इंसान और एक रोबोट को एक वर्गाकार वृत्त (square circle) की तस्वीर दिखाते हैं। इंसान कहता है, "वह एक वर्गाकार वृत्त है!" रोबोट, यह याद रखते हुए कि वृत्त गोल होते हैं और वर्ग चौकोर होते हैं, कहता है, "नहीं, वह एक वृत्त है," या "वह एक वर्ग है," और अपनी आँखों के सामने मौजूद अजीब आकृति को पूरी तरह से अनदेखा कर देता है। AI अपने "ज्ञान" को लेकर इतना आश्वस्त है कि वह अपनी आँखों पर विश्वास करने से इनकार कर देता है।
"सोचने" का जाल (चेन-ऑफ-थॉट)
शोधकर्ताओं ने चेन-ऑफ-थॉट (CoT) नामक एक लोकप्रिय तकनीक का प्रयास किया, जहाँ उन्होंने रोबोटों से उत्तर देने से पहले "चरण-दर-चरण सोचने" के लिए कहा, इस उम्मीद में कि इससे उन्हें धीरे चलने और करीब से देखने में मदद मिलेगी।
परिणाम: इसने स्थिति को और भी खराब कर दिया।
- रूपक: यह उस व्यक्ति से पूछने जैसा है जो गणित में कमजोर है कि समस्या हल करते समय वह "अपने चरणों के बारे में बात करे"। मदद करने के बजाय, वह खुद को एक कोने में फँसाने लगता है, खुद को समझाने लगता है कि गलत उत्तर ही सही है क्योंकि वह उसके दिमाग में तार्किक लग रहा है।
- AI मॉडल्स एक भ्रम (hallucination) की ओर तर्क करने लगे। वे नीचे लाल बत्ती को देखेंगे, सोचेंगे, "ट्रैफिक लाइटों में आमतौर पर लाल ऊपर होता है," और फिर खुद को यह मानने के लिए मजबूर कर देंगे कि नीचे वाली लाल बत्ती को अनदेखा किया जाए।
यह क्यों महत्वपूर्ण है
यह शोध पत्र एक चेतावनी है। यह दिखाता है कि उन्नत से उन्नत AI मॉडल भी अभी भी विवरणों के प्रति अंधे हैं जब उनका आंतरिक ज्ञान वास्तविकता से टकराता है। वे उस व्यक्ति की तरह हैं जिसने शहर का नक्शा रट लिया है लेकिन खिड़की से बाहर देखने से इनकार कर देता है जब इमारतें बदल गई हों।
FREAK हमें यह मापने का एक नया तरीका देता है कि ये मॉडल्स कितने "अंधे" हैं, जिससे डेवलपर्स बेहतर, अधिक ईमानदार AI बनाने में मदद मिलती है जो वास्तव में वह देखता है जो वहाँ है, न कि केवल उस चीज़ का अनुमान लगाता है जो वहाँ होनी चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।