When Contextual Inference Fails: Cancelability in Interactive Instruction Following
यह शोध पत्र 'बिल्ड व्हाट आई मीन' (BWIM) बेंचमार्क प्रस्तुत करता है ताकि यह प्रदर्शित किया जा सके कि हालांकि अत्याधुनिक लार्ज लैंग्वेज मॉडल्स सहयोगात्मक कार्यों में वक्ता की अविश्वसनीयता का पता लगा सकते हैं, लेकिन वे इस अंतर्दृष्टि को कुशल स्पष्टीकरण रणनीतियों में बदलने में विफल रहते हैं, और अक्सर अत्यधिक स्पष्टीकरण या अनुमान लगाने जैसे उप-इष्टतम व्यवहारों का सहारा लेते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप फोन पर अपने एक दोस्त के साथ लेगो (Lego) का खेल खेल रहे हैं। वह क्या बना रहा है, यह आप देख नहीं सकते, और आप क्या बना रहे हैं, यह वह देख नहीं सकता। उसे निर्देश देने होंगे और आपको उनके निर्देशों का पालन करना होगा।
यह पेपर एक नए प्रयोग के बारे में है जिसे "बिल्ड व्हाट आई मीन" (Build What I Mean - BWIM) कहा जाता है। शोधकर्ता यह देखना चाहते थे कि क्या AI चैटबॉट्स (जैसे वे जिनसे आप ऑनलाइन बात करते हैं) निर्देशों के भाव (spirit) को समझने में उतने ही अच्छे हैं जितने कि इंसान, या वे केवल एक रोबोट की तरह सटीक शब्दों का पालन करते हैं।
यहाँ एक सरल कहानी का उपयोग करके प्रयोग का विवरण दिया गया है:
दो "निर्देशक" (The Two Instructors)
AI को इस लेगो खेल में दो अलग-अलग प्रकार के "निर्देशकों" के साथ खेलना था:
प्रैग्मैटिक पिया (Pragmatic Pia - मददगार दोस्त):
- बात करने का तरीका: वह कहती है, "नीले वाले के पीछे एक लाल टॉवर बनाओ।"
- चाल: वह यह नहीं बताती कि लाल टॉवर कितना ऊँचा होना चाहिए।
- तर्क: वह उम्मीद करती है कि आप सामान्य ज्ञान (common sense) का उपयोग करेंगे। चूंकि नीला टॉवर 3 ब्लॉक ऊँचा है, इसलिए वह मानती है कि आप जानते होंगे कि लाल वाला भी 3 ब्लॉक ऊँचा ही होना चाहिए। वह "सहयोगी" (cooperative) है।
- परिणाम: यदि आप संदर्भ (context) के आधार पर ऊंचाई का अनुमान लगाते हैं, तो आप 100% बार सही होते हैं।
लिटरल लिसा (Literal Lisa - सख्त रोबोट):
- बात करने का तरीका: वह बिल्कुल वही बात कहती है: "नीले वाले के पीछे एक लाल टॉवर बनाओ।"
- जाल: वह भी यह नहीं बताती कि वह कितना ऊँचा होना चाहिए।
- तर्क: वह "शाब्दिक" (literal) हो रही है। वह यह बताना भूल गई कि ऊंचाई कितनी है, और वह यह भी उम्मीद नहीं करती कि आप अनुमान लगाएंगे। यदि आप संदर्भ के आधार पर अनुमान लगाते हैं कि यह 3 ब्लॉक ऊँचा है (पिया के टॉवर की तरह), तो आप वास्तव में गलत होंगे। शायद वह चाहती थी कि यह 5 ब्लॉक ऊँचा हो।
- परिणाम: यदि आप अनुमान लगाते हैं, तो आप असफल हो जाते हैं। आपको पूछना ही होगा, "कितना ऊँचा?"
लक्ष्य क्या है: क्या AI सीख सकता है?
शोधकर्ता यह देखना चाहते थे कि क्या AI समझ पाता है कि:
- "ठीक है, जब मैं पिया से बात करता हूँ, तो मैं छूटे हुए विवरणों का अनुमान लगा सकता हूँ। मुझे सवाल पूछने की जरूरत नहीं है।"
- "लेकिन जब मैं लिसा से बात करता हूँ, तो मेरे अनुमान आमतौर पर गलत होते हैं। मुझे अनुमान लगाना बंद कर देना चाहिए और स्पष्टीकरण मांगना चाहिए।"
इसे कैंसिलेबिलिटी (Cancelability) कहा जाता है। यह यह कहने की क्षमता है कि, "मैं आमतौर पर X मान लेता हूँ, लेकिन इस व्यक्ति के साथ, मुझे पता है कि X गलत है, इसलिए मैं उस धारणा को रद्द कर दूँगा।"
क्या हुआ? (परिणाम)
शोधकर्ताओं ने तीन शीर्ष-स्तरीय AI मॉडल का परीक्षण किया। यहाँ उन्होंने जो पाया, उसका एक सरल उदाहरण दिया गया है:
1. "स्मार्ट" बनाम "अनजान" (आत्मविश्वास रेटिंग)
सबसे पहले, उन्होंने AI से पूछा: "आप कितने आश्वस्त हैं कि आपने सही चीज़ बनाई है?"
- अच्छी खबर: AI इतने स्मार्ट थे कि वे समझ सके, "हे, जब मैं लिसा के साथ बात करता हूँ, तो मैं बहुत आश्वस्त नहीं हूँ।" उन्होंने अपने आत्मविश्वास स्कोर को कम कर दिया। वे जानते थे कि कुछ गलत है।
- बुरी खबर: भले ही वे जानते थे कि वे अनिश्चित हैं, फिर भी उन्होंने अपना व्यवहार नहीं बदला।
2. "पूछें या अनुमान लगाएं" का द्वंद्व (The "Ask or Guess" Dilemma)
दूसरे भाग में, AI सवाल पूछकर जवाब प्राप्त कर सकता था, लेकिन इसके लिए "पॉइंट्स" (जैसे एक छोटा दंड) खर्च करने पड़ते थे।
- आदर्श मानव रणनीति:
- पिया के साथ: "मुझे पता है कि उसका क्या मतलब है। पूछने की कोई जरूरत नहीं। मेरे पॉइंट्स बचाओ!"
- लिसा के साथ: "मैं गलत अनुमान लगाऊंगा। मैं एक पॉइंट खर्च करके पूछूंगा, 'कितना ऊँचा?'"
- AI की रणनीति (विफलता):
- मॉडल A (GPT): सवाल पूछने से बहुत डरता था। ट्रिकी लिसा के साथ भी, यह अनुमान लगाता रहा और पॉइंट्स हारता रहा। यह "सवाल पूछने से कतराने वाला" (question-averse) था।
- मॉडल B और C (Gemini और Claude): सवाल पूछते थे, लेकिन वे पार्टनर-अंधे (partner-blind) थे। उन्होंने पिया और लिसा दोनों से समान रूप से सवाल पूछे। उन्हें यह एहसास नहीं हुआ कि, "ओह, मुझे पिया से पूछने की जरूरत नहीं है; वह भरोसेमंद है!" उन्होंने मददगार दोस्त से पूछकर पॉइंट्स बर्बाद कर दिए जिनकी उन्हें जरूरत नहीं थी।
मुख्य निष्कर्ष (The Big Takeaway)
यह पेपर AI में एक अजीब विसंगति को उजागर करता है:
- निर्णय (Judgment): AI कह सकता है, "मैं भ्रमित हूँ।"
- क्रिया (Action): लेकिन वह इस भ्रम का उपयोग एक स्मार्ट निर्णय लेने के लिए नहीं कर सकता, जैसे कि "मुझे अब सवाल पूछना चाहिए" या "मुझे अनुमान लगाना बंद कर देना चाहिए।"
यह उस छात्र की तरह है जो जानता है कि उसे गणित के सवाल की समझ नहीं आ रही है (वह अनिश्चित महसूस करता है) लेकिन हाथ उठाने में बहुत शर्मीला है, या वह शिक्षक से मदद मांगता है भले ही शिक्षक ने अभी-अभी एक स्पष्ट उदाहरण दिया हो। उन्होंने यह नहीं सीखा है कि अपनी रणनीति को अनुकूलित (adapt) कैसे किया जाए।
यह क्यों महत्वपूर्ण है?
यदि हम चाहते हैं कि AI वास्तविक दुनिया में एक अच्छा सहायक (जैसे डॉक्टर का सहायक या ट्रैवल एजेंट) बने, तो उसे पता होना चाहिए कि:
- संदर्भ पर कब भरोसा करना है (समय बचाने के लिए)।
- कब रुकना है और स्पष्टीकरण मांगना है (गलतियों को बचाने के लिए)।
- कब पूछना बंद करना है क्योंकि दूसरा व्यक्ति भरोसेमंद है।
वर्तमान में, ये AI मॉडल उस छात्र की तरह हैं जो भ्रम को महसूस तो कर सकता है लेकिन उनमें वह सामाजिक कौशल नहीं है कि वे जान सकें कि कब बोलना है और कब चुप रहना है। वे अभी भी यह सीखने की कोशिश कर रहे हैं कि वास्तव में "प्रैग्मैटिक" (व्यावहारिक) इंसान कैसे बनें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।