QUACK: Questioning, Understanding, and Auditing Communicated Knowledge in Multimodal Social Deduction Agents
यह शोध पत्र QUACK को प्रस्तुत करता है, जो एक ओपन-सोर्स मल्टीमॉडल सोशल डिटेक्शन फ्रेमवर्क है जो ग्राउंड-ट्रुथ ट्रेजेक्टरीज (ground-truth trajectories) को पुनर्गठित करके लार्ज लैंग्वेज मॉडल एजेंटों का ऑडिट करता है ताकि मतिभ्रम (hallucinations), निराधार आरोपों और भाषा एवं कार्यों के बीच विसंगतियों का स्वतः पता लगाया जा सके और उन्हें मापा जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि दोस्तों का एक समूह "Among Us" या "Werewolf" जैसा एक हाई-स्टेक्स गेम खेल रहा है। इस खेल में, कुछ खिलाड़ी "Crewmates" हैं जो जहाज को ठीक करने की कोशिश कर रहे हैं, और एक "Impostor" है जो उन्हें नुकसान पहुँचाने (sabotage) की कोशिश कर रहा है। पेच यह है कि सभी को बात करनी होगी, झूठ बोलना होगा और एक-दूसरे पर आरोप लगाना होगा ताकि पता चल सके कि कौन क्या है।
अब, कल्पना कीजिए कि मानव खिलाड़ियों की जगह उन्नत AI रोबोट (विशेष रूप से, विजन-लैंग्वेज मॉडल्स) ले लेते हैं। ये रोबोट गेम मैप देख सकते हैं, घूम सकते हैं और एक-दूसरे से बात कर सकते हैं।
यह पेपर एक नया टूल पेश करता है जिसे QUACK (Questioning, Understanding, and Auditor Communicated Knowledge) कहा जाता है। QUACK को एक सुपर-पावर्ड रेफरी के रूप में सोचें जो केवल यह नहीं देखता कि कौन जीता, बल्कि वास्तव में यह भी जाँचता है कि रोबोटों ने जो देखा और किया, उसके बारे में वे सच बोल रहे हैं या नहीं।
यहाँ बताया गया है कि यह कैसे काम करता है और उन्होंने क्या पाया, सरल उपमाओं (analogies) का उपयोग करते हुए:
समस्या: जीत का मतलब ईमानदारी नहीं है
अधिकांश पिछले परीक्षणों में, शोधकर्ताओं ने केवल अंतिम स्कोर देखा: "क्या AI जीता?"
- खामी: एक AI पूरी तरह से झूठ बोलकर जीत सकता है, या वह तार्किक रूप से तर्क देते हुए भी हार सकता है। बिल्कुल एक वास्तविक अदालत की तरह, "दोषी" या "निर्दोष" का फैसला यह नहीं बताता कि सबूत असली थे या वकील ने बस बहुत अच्छी तरह से बात की।
- अंतराल: अब तक, हमारे पास यह जाँचने का कोई तरीका नहीं था कि AI के शब्द वास्तव में उसके "आँखों" और "पैरों" के अनुभवों से मेल खाते हैं या नहीं।
समाधान: QUACK (सत्य बताने वाला)
QUACK एक गेम एनवायरनमेंट और स्कोरिंग सिस्टम है जिसे विशेष रूप रूप से AI के झूठ पकड़ने के लिए बनाया गया है।
- खेल: AI एजेंट डिजिटल मैप पर कमरों और गलियारों के साथ खेलते हैं। वे अपने परिवेश (छवियों) को देख सकते हैं और टेक्स्ट सारांश प्राप्त कर सकते हैं। उन्हें घूमना, कार्य करने और बात करना होता है।
- गुप्त लॉग (Secret Log): पर्दे के पीछे, गेम इंजन हर एक टिक-बाय-टिक डायरी रखता है कि प्रत्येक रोबोट कहाँ था, उसने क्या देखा और उसने क्या किया। यह "ग्राउंड ट्रुथ" (वास्तविक तथ्य) है।
- ऑडिट (जादुई हिस्सा): खेल के बाद, QUACK चर्चाओं के दौरान रोबोटों द्वारा कहे गए हर वाक्य को उस गुप्त डायरी के विरुद्ध तुलना करता है।
- उदाहरण: यदि एक रोबोट कहता है, "मैंने बॉब को कैफेटेरिया में देखा," तो QUACK डायरी की जाँच करता है। यदि डायरी कहती है कि बॉब वास्तव में इंजन रूम में था, तो QUACK इसे एक हैलुसिनेशन (भ्रम) के रूप में चिह्नित करता है।
चार तरीके जिनसे AI "विफल" होता है (ऑडिट के परिणाम)
शोधकर्ताओं ने पाया कि भले ही सबसे स्मार्ट AI मॉडल इस खेल में झूठ बोलने या सच बोलने की कोशिश करते हैं, वे चार विशिष्ट प्रकार की गलतियाँ करते हैं:
स्पेशियल हॉलुसिनेशन (स्थान संबंधी भ्रम - "भूतिया" दृश्य):
- उपमा: कल्पना कीजिए कि एक गवाह testifying कर रहा है, "मैंने संदिग्ध को गलियारे में भागते देखा," लेकिन सुरक्षा कैमरा साबित करता है कि गवाह उस समय एक अलग इमारत में था।
- निष्कर्ष: लगभग 15% समय, AI ने लोगों को देखने या उन जगहों पर होने का दावा किया जहाँ वह शारीरिक रूप से नहीं हो सकता था। उसने ऐसी चीजें "याद" कीं जो कभी हुई ही नहीं थीं।
अनसपोर्टेड एक्क्यूजेशन (बिना आधार के आरोप - "शॉटगन" दोषारोपण):
- उपमा: एक जासूस किसी संदिग्ध की ओर इशारा करते हुए कहता है, "मुझे लगता है कि उसने यह किया," लेकिन यह स्वीकार करते हुए, "मुझे नहीं पता क्यों, मुझे बस ऐसा लगता है।"
- निष्कर्ष: AI द्वारा लगाए गए आधे से अधिक आरोप बिना किसी वास्तविक सबूत के लगाए गए थे जो AI ने देखे थे। वे केवल अनुमान लगा रहे थे या प्रभावशाली दिखने के लिए बातें बना रहे थे।
डिसेप्शन कोलैप्स (झूठ का धरा जाना - "खराब" झूठा):
- उपमा: एक जासूस अपने बहाने के बारे में झूठ बोलने की कोशिश करता है लेकिन गलती से कहता है, "मैं बैंक में था," जबकि उस दिन बैंक बंद था। झूठ इतना स्पष्ट है कि वह तुरंत ढह जाता है।
- निष्कर्ष: जब AI "इम्पोस्टर" की भूमिका निभा रहा था, तो उसके झूठ अक्सर कच्चे और आसानी से गलत साबित होने वाले थे। वे सूक्ष्म, चतुर झूठ नहीं रचते थे; वे बस ऐसे तथ्य बना देते थे जो तुरंत गलत साबित होते थे।
लैंग्वेज-एक्शन इनकंसिस्टेंसी (भाषा-क्रिया विसंगति - "जुबान फिसलना"):
- उपमा: कोई कहता है, "मैं इंजन ठीक करने में व्यस्त था," जबकि लॉग दिखाता है कि वे वास्तव में बिना कुछ किए बैठे थे।
- निष्कर्ष: AI उन कार्यों का वर्णन करता था जिन्हें उसने वास्तव में शुरू या समाप्त भी नहीं किया था।
मुख्य निष्कर्ष
सबसे आश्चर्यजनक परिणाम यह है कि AI का गेम जीतना यह सुनिश्चित नहीं करता था कि वह वास्तविकता से जुड़ा हुआ है।
एक सबसे मजबूत AI मॉडल ने 80% से अधिक बार गेम जीता। हालाँकि, जब QUACK ने उसके शब्दों का ऑडिट किया, तो पाया कि यह "स्मार्ट" विजेता अभी भी 16% बार अपने स्थान के बारे में झूठ बोल रहा था और 54% बार निराधार आरोप लगा रहा था।
संक्षेप में: QUACK ने हमें दिखाया कि AI एजेंट सोशल डडक्शन गेम्स जीतने में तो माहिर हो सकते हैं, लेकिन वे अक्सर अपने अनुभवों के बारे में सच बताने में बहुत खराब होते हैं। वे बहुत प्रभावशाली झूठे, या बहुत आत्मविश्वासी झूठे हो सकते हैं, भले ही तथ्य लॉग में मौजूद हों।
लेखकों ने इस पूरी प्रणाली (गेम, लॉग और ऑडिटिंग टूल) को मुफ्त में जारी किया है ताकि अन्य शोधकर्ता अपने स्वयं के AI एजेंटों का परीक्षण कर सकें कि क्या वे केवल जीतने में अच्छे हैं या वे अपने कार्यों के प्रति "ईमानदार" भी हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।