Doing What They Say, Not What They Reason: Locating the Faithfulness Gap in LLM Agents
यह शोधपत्र एक नियंत्रित टेक्सस पोकर सिम्युलेटर के भीतर एलएलएम (LLM) एजेंटों में निष्ठा अंतराल (faithfulness gap) की जांच करता है, जो यह प्रकट करता है कि जबकि एजेंट अक्सर अपने घोषित तर्क को अपने निष्कर्षों के साथ संरेखित करने में विफल रहते हैं, वे विरोधाभासी रूप से अपने निष्कर्षों के अनुसार कार्य करते हैं, भले ही वे निष्कर्ष उनके अपने तर्क के विपरीत हों।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एआई (AI) एजेंटों के एक समूह को पोकर का एक हाई-स्टेक्स गेम खेलते हुए देख रहे हैं। आप उनसे अपना अगला कदम उठाने से पहले अपनी सोच समझाने के लिए कहते हैं। वे आपसे कहते हैं, "मेरे पास एक मजबूत हाथ है, अनुकूल परिस्थितियाँ मेरे पक्ष में हैं, इसलिए मुझे दांव बढ़ाना (raise) चाहिए।" फिर, वे फोल्ड (fold) कर देते हैं।
यह शोध पत्र एक सरल लेकिन पेचीदा सवाल पूछता है: क्या ये एआई एजेंट वास्तव में वही करते हैं जो वे करने का दावा करते हैं, या वे केवल बाद में बहाने बना रहे होते हैं?
शोधकर्ताओं ने इस उत्तर को खोजने के लिए एक नियंत्रित पोकर सिम्युलेटर तैयार किया। अनुमान लगाने के बजाय, उन्होंने एआई की निर्णय लेने की प्रक्रिया को दो अलग-अलग चरणों में विभाजित किया, जैसे कि एक दो-चरणीय रॉकेट लॉन्च होता है।
एआई के निर्णय के दो चरण
- चरण 1: "दिमाग" (तर्क निष्कर्ष)
यहाँ एआई कार्डों को देखता है, संभावनाओं की गणना करता है, और तय करता है कि वह क्या सोचता है कि उसे करना चाहिए।
- उपमा: कल्पना कीजिए कि एक मौसम विज्ञानी डेटा को देख रहा है। वह देखता है कि एक तूफान आ रहा है और निष्कर्ष निकालता है, "बारिश होगी।"
- चरण 2: "हाथ" (निष्कर्ष क्रिया)
यहीं पर एआई वास्तव में फोल्ड, कॉल या रेज़ करने वाला बटन दबाता है।
- उपमा: मौसम विज्ञता फिर समाचार एंकर को बताता है, "बारिश होगी," और एंकर इसे दुनिया के सामने घोषित करता है।
बड़ा आश्चर्य: "हाथ" ईमानदार है, लेकिन "दिमाग" झूठ बोल रहा है
शोधकर्ताओं ने पाया कि ये दो चरण बिल्कुल विपरीत व्यवहार करते हैं:
चरण 2 (हाथ) अविश्वसनीय रूप से विश्वसनीय है।
एक बार जब एआई तय कर लेता है कि उसे क्या करना है, तो वह लगभग हमेशा वही करता है जो उसने कहा था। यदि वह कहता है "मैं दांव बढ़ाऊंगा," तो वह दांव बढ़ाता है। यहाँ विसंगति की दर बहुत कम (2% से कम) है।रूपक: एआई एक बहुत ही आज्ञाकारी रोबोट की तरह है। यदि आप उसे कप उठाने के लिए कहते हैं, तो वह कप उठाता है। वह उसे गिराता नहीं है या चम्मच नहीं उठा लेता।
चरण 1 (दिमाग) ही असली समस्या है।
एआई अक्सर संख्याओं को सही ढंग से गणना करता है और नियमों को सही ढंग से बताता है, लेकिन फिर एक ऐसा निष्कर्ष निकालता है जिसका उन संख्याओं के आधार पर कोई तर्क नहीं बनता।रूपक: कल्पना कीजिए कि मौसम विज्ञानी डेटा को देखता है, एक बड़ा तूफान देखता है, और कहता है, "डेटा कहता है कि बारिश होगी।" लेकिन फिर, किसी भी तार्किक कारण के बिना, वह निष्कर्ष निकालता है, "इसलिए, मौसम साफ रहेगा," और समाचार एंकर रिपोर्ट करता है "साफ मौसम।"
निष्कर्ष: लगभग 65% गलतियों में, एआई ने गणित तो सही किया लेकिन खुद को तार्किक निष्कर्ष से पीछे खींच लिया। वह कहता, "संभावनाएं अच्छी हैं, लेकिन शायद मुझे बहुत आक्रामक नहीं होना चाहिए," और एक सुरक्षित, कमजोर चाल चुन लेता। यह एक ऐसे व्यक्ति की तरह है जो गणित जानता है कि "जाओ," लेकिन उसका अंतर्मन कहता है "रुको," और वह गणित को अनदेखा कर देता है।
"मापन का जाल" (The Measurement Trap)
यह शोध पत्र एक मजेदार ट्रिक की ओर भी इशारा करता जो पिछले अध्ययनों में हुई थी। कुछ शोधकर्ताओं ने एआई के लंबे, उलझे हुए स्पष्टीकरणों (free-text) को पढ़कर यह अनुमान लगाने की कोशिश की कि एआई ने क्या निर्णय लिया होगा।
- समस्या: एआई के स्पष्टीकरण अव्यवस्थित थे। वह कह सकता था, "मैं कॉल कर सकता हूँ, लेकिन रेज़ करना बेहतर है, हालांकि फोल्ड करना भी सुरक्षित है।" एक कंप्यूटर प्रोग्राम जो इस बिखराव से अंतिम निर्णय का अनुमान लगाने की कोशिश करता, वह अक्सर गलत चुनाव करता।
- परिणाम: इससे ऐसा लगा जैसे एआई 22-26% समय झूठ बोल रहा है या अपना मन बदल रहा है।
- समाधान: जब शोधकर्ताओं ने एआई को अंत में एक स्पष्ट, विशिष्ट टैग जैसे
DECISION: RAISEलिखने के लिए मजबूर किया, तो "झूठ बोलने" की दर लगभग शून्य हो गई। एआई झूठ नहीं बोल रहा था; माप उपकरण ही उसकी अव्यवस्थित लिखावट को पढ़ने में खराब था।
यह क्यों मायने रखता है?
शोधकर्ताओं ने एआई को स्पष्ट रूप से नियम देकर (जैसे, "यदि संभावनाएँ अधिक हैं, तो आपको MUST रेज़ करना चाहिए") "दिमाग" वाली समस्या को ठीक करने की कोशिश की। आश्चर्यजनक रूप से, इससे कोई मदद नहीं मिली। एआई अभी भी उन नियमों को अनदेखा कर देता था जिनका उसे पालन करने के लिए कहा गया था।
यह सुझाव देता है कि समस्या यह नहीं है कि एआई नियमों को जानता नहीं है या उन्हें ढूँढ नहीं सकता। समस्या यह है कि वह उन्हें लगातार लागू नहीं कर पाता। वह नियम जानता है, लेकिन वह अपने "गुणात्मक" अहसासों (जैसे बहुत अधिक सतर्क होना) के साथ उसे ओवरराइड कर देता है।
मुख्य निष्कर्ष (The Takeaway)
यदि आप सामाजिक सिमुलेशन (जैसे वर्चुअल लोग बातचीत या व्यापार कर रहे हों) के लिए एआई एजेंट बना रहे हैं, तो केवल यह न देखें कि वे क्या करते हैं। यह भी जाँचें कि जो वे कहते हैं वह वास्तव में उनके अपने तर्क का अनुसरण करता है या नहीं।
- अच्छी खबर: यदि कोई एआई कहता है कि वह कुछ करेगा, तो वह शायद वही करेगा।
- बुरी खबर: जो कारण वह देता है वह पूरी तरह से मनगढ़ंत या तार्किक रूप से टूटा हुआ हो सकता है, भले ही आंकड़े सही दिख रहे हों।
शोध पत्र निष्कर्ष निकालता है कि एआई व्यवहार को वास्तव में समझने के लिए, हमें केवल अंतिम कदम को देखना बंद करना होगा और निर्णय के पीछे के गणित का ऑडिट करना शुरू करना होगा, क्योंकि असली "विश्वसनीयता अंतराल" (faithfulness gap) वहीं छिपा होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।