When Agents Disagree With Themselves: Behavioral Consistency as an Uncertainty Signal for LLM Agents
यह शोध पत्र प्रदर्शित करता है कि LLM एजेंटों के एक्शन अनुक्रमों (action sequences) में व्यवहारिक भिन्नता (behavioral variance) एक प्रशिक्षण-मुक्त अनिश्चितता संकेत (training-free uncertainty signal) के रूप में कार्य करती है, जो चयनात्मक वर्गीकरण (selective classification) और वितरण-मुक्त अंशांकन (distribution-free calibration) को सक्षम बनाती है, जिससे बिना किसी होल्ड-आउट अंशांकन डेटा की आवश्यकता के सटीकता और मॉडल रैंकिंग विश्वसनीयता में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
डिजिटल डबल-चेक: क्यों एक बार पूछने के बजाय दो बार पूछना बेहतर हो सकता है
कल्पना कीजिए कि आप एक कठिन पहेली को सुलझाने की कोशिश कर रहे हैं, जैसे कि कोई जटिल पहेली या गणित की समस्या। यदि आप किसी मित्र से उत्तर पूछते हैं, तो वे सही उत्तर दे सकते हैं, या वे अनुमान लगा सकते हैं और गलत हो सकते हैं। लेकिन क्या होगा यदि आप उसी मित्र से ठीक वही सवाल लगातार दस बार पूछ सकें? यदि वे हर बार आपको एक ही उत्तर देते हैं, तो आप काफी आश्वस्त महसूस करेंगे कि वे सही हैं। हालाँकि, यदि वे आपको दस अलग-अलग उत्तर देते हैं, तो आप जान जाते हैं कि कुछ गड़बड़ है—वे भ्रमित हैं, अनुमान लगा रहे हैं, या प्रश्न उनके लिए बहुत कठिन है।
यही लार्ज लैंग्वेज मॉडल्स (LLMs) के पीछे का मूल विचार है, जो आज के एआई एजेंटों को चलाने वाले सुपर-स्मार्ट कंप्यूटर प्रोग्राम हैं। ये एजेंट डिजिटल जासूसों की तरह हैं जो बहु-चरणीय समस्याओं को हल करने के लिए उपकरणों (जैसे वेब सर्च करना या कोड लिखना) का उपयोग कर सकते हैं। लेकिन मनुष्यों की तरह, वे भी पूर्ण नहीं हैं। कभी-कभी वे मतिभ्रम (hallucinate - चीजें बनाना) का शिकार हो जाते हैं या एक लूप में फंस जाते हैं। वैज्ञानिक लंबे समय से सोच रहे हैं: हम यह कैसे बता सकते हैं कि एक एआई अपने बारे में अनिश्चित है, बिना उससे सिर्फ यह पूछे कि, "क्या आप सुनिश्चित हैं?" (क्योंकि एआई सुनिश्चित होने का झूठ बोल सकता है)। यह शोध पत्र एक चतुर तकनीक का पता लगाता है: एक एकल उत्तर पर भरोसा करने के बजाय, हम देखते हैं कि जब एआई एक ही कार्य को बार-बार करने की कोशिश करता है तो उसका व्यवहार कैसा रहता है। यदि एआई का व्यवहार बहुत अधिक बदल रहा है, तो यह एक बड़ा रेड फ्लैग (चेतावनी का संकेत) है कि उत्तर गलत हो सकता है।
जब एआई एजेंट खुद निर्णय नहीं ले पाते
इस अध्ययन के पीछे के शोधकर्ताओं ने एक सरल लेकिन शक्तिशाली विचार का परीक्षण करने का निर्णय लिया: व्यवहारगत निरंतरता (Behavioral Consistency)। उन्होंने एआई एजेंट के साथ एक परीक्षा देने वाले छात्र जैसा व्यवहार किया। केवल अंतिम उत्तर को ग्रेड देने के बजाय, उन्होंने देखा कि छात्र ने समस्या को कैसे हल किया। उन्होंने एक ही एआई एजेंट को प्रत्येक प्रश्न पर 10 बार चलाया, विभिन्न "रैंडम सीड्स" (random seeds) का उपयोग करते हुए (जो कि ऐसा है जैसे कार्डों के डेक को फेंटना जिससे एआई अपने निर्णय लेने के लिए कार्ड निकालता है)।
यहाँ उन्हें जो मिला, वह थोड़ा आश्चर्यजनक है:
1. एआई एक चंचल विचारक है
भले ही आप एआई को बिल्कुल वही निर्देश और समान शुरुआती बिंदु दें, फिर भी वह हमेशा एक ही तरह से नहीं सोचता है। उनके परीक्षणों में, एक ही एजेंट को 10 बार चलाने पर समाधान के लिए 2.3 से 4.2 अलग-अलग पथ प्राप्त हुए। कभी-कभी एआई एक शॉर्टकट लेता था; अन्य बार, वह एक लंबे, भ्रमित करने वाले रास्ते पर भटक जाता था। यह "भटकना" केवल एक गड़बड़ी नहीं है; यह एक संकेत है। एआई किसी समस्या को हल करने के तरीके के बारे में जितना अधिक अपना मन बदलता है, सही उत्तर मिलने की संभावना उतनी ही कम होती है।
2. निरंतरता सटीकता के लिए एक क्रिस्टल बॉल है
टीम ने पाया कि एआई कितना सुसंगत है और वह कितना सही है, इसके बीच एक मजबूत संबंध है।
- "स्थिर" समूह: जब एआई एक ही पथ पर टिका रहा (2 या उससे कम अद्वितीय पथ), तो उसने 82% से 87% बार सही उत्तर दिया।
- "भटकने वाला" समूह: जब एआई कई अलग-अलग दिशाओं में गया (4 या अधिक अद्वितीय पथ), तो इसकी सटीकता गिरकर 41% और 65% के बीच आ गई।
यह अंतर बहुत बड़ा था। इसका मतलब है कि यदि आप देखते हैं कि एक एआई आपसे सवाल पूछने पर हर बार एक बहुत ही अलग रास्ता अपनाता है, तो आपको उसके उत्तर पर कम भरोसा करना चाहिए।
3. "स्टेप 2" का आश्चर्य
शोधकर्ताओं ने बारीकी से देखा कि एआई कब भ्रमित होना शुरू हुआ। उन्होंने पाया कि कुछ मॉडलों (जैसे Llama) के लिए, परेशानी लगभग तुरंत शुरू हो जाती है। लगभग 50.5% समय, एआई अपने अन्य प्रयासों की तुलना में पहला या दूसरा कदम अलग लेता है। यह ऐसा है जैसे एआई सड़क के चौराहे पर खड़ा है और तय नहीं कर पा रहा है कि किस तरफ जाना है। अन्य मॉडलों (जैसे Claude) के लिए, वे अलग होने से पहले बहुत लंबे समय तक एक ही पथ पर रहे।
4. "फ़िल्टर" बनाम "वोटर"
सबसे दिलचस्प निष्कर्षों में से एक इस बारे में था कि इस जानकारी का उपयोग कैसे किया जाए।
- "वोटर" दृष्टिकोण: आप सोच सकते हैं, "यदि मैं एआई से 3 बार पूछता हूँ और बहुमत वाला उत्तर लेता हूँ, तो मुझे बेहतर उत्तर मिलेगा।" शोध पत्र कहता है कि यह काम करता है, लेकिन बहुत कम (केवल 0–2% सुधार), क्योंकि कभी-कभी एआई आत्मविश्वास के साथ गलत होता है। यदि वह शुरुआत में गलती करता है, तो वह हर बार वही गलती कर सकता है, इसलिए "वोट" केवल उस त्रुटि की पुष्टि करता है।
- "फ़िल्टर" दृष्टिकोण: वोट देने के बजाय, शोधकर्ताओं ने एक अलग रणनीति आजमाई: केवल तभी उत्तर दें जब एआई खुद से सहमत हो। उन्होंने कहा, "यदि एआई कार्य को 3 बार चलाता है और तीनों रन बिल्कुल एक ही उत्तर देते हैं, तो हम इसे स्वीकार करते हैं। यदि वे असहमत हैं, तो हम कहते हैं 'मुझे नहीं पता' और प्रश्न को छोड़ देते हैं।"
- यह "फ़िल्टर" अद्भुत रूप से काम कर गया। अनिश्चित प्रश्नों को छोड़कर, जिन प्रश्नों का एआई ने उत्तर दिया, उनकी सटीकता बढ़कर 87–88% हो गई। यह केवल एक अनुमान लगाने की तुलना में 6–14 प्रतिशत अंक का सुधार है!
5. "पूछने" से बेहतर
टीम ने इस "व्यवहारगत निरंतरता" तकनीक की तुलना एआई से यह पूछने से की कि, "आप कितने आश्वस्त हैं?" (इसे "मौखिक आत्मविश्वास" कहा जाता है)। परिणाम स्पष्ट थे: एआई के कार्य उसके शब्दों की तुलना में एक बहुत बेहतर झूठ पकड़ने वाला यंत्र (lie detector) था। एआई अक्सर कहता था कि वह आश्वस्त है, भले ही वह चक्कर काट रहा हो। व्यवहारगत संकेत (यह देखना कि क्या वह अपना मन बदल रहा है) गलती को पहचानने का एक बहुत अधिक विश्वसनीय तरीका था।
6. यह हर जगह काम करता है
यह सुनिश्चित करने के लिए कि यह केवल एक प्रकार के प्रश्न के लिए संयोग नहीं था, उन्होंने एक पूरी तरह से अलग प्रकार के कार्य पर एआई का परीक्षण किया: कंप्यूटर कोड में बग्स को ठीक करना (SWE-bench नामक बेंचमार्क का उपयोग करके)। भले ही कोडिंग, सामान्य ज्ञान के प्रश्नों का उत्तर देने से बहुत अलग है, फिर भी वही नियम लागू हुआ। जो एआई अपने व्यवहार में सबसे सुसंगत था, वह सबसे सटीक भी था। "निरंतरता पदानुक्रम" (कौन से मॉडल स्थिर थे और कौन से डगमगाते थे) दोनों परीक्षणों में बिल्कुल वैसा ही रहा।
यह क्यों मायने रखता है
शोध पत्र सुझाव देता है कि हमें एआई को अधिक विश्वसनीय बनाने के लिए उसके मस्तिष्क को बदलने या उसे नई चीजें सिखाने की आवश्यकता नहीं है। हमें बस उसे देखना है। एआई को कुछ बार एक कार्य चलाने और यह जाँचने के माध्यम से कि क्या उसकी "कहानी" समान रहती है, हम एक स्मार्ट संपादक की तरह कार्य कर सकते हैं। हम उन उत्तरों पर भरोसा करने का विकल्प चुन सकते हैं जो सुसंगत हैं और उन्हें अनदेखा कर सकते हैं जहाँ एआई भ्रमित लग रहा है।
यह एक "ट्रेनिंग-फ्री" (प्रशिक्षण-मुक्त) विधि है, जिसका अर्थ है कि यह किसी भी एआई मॉडल के साथ सीधे काम करती है। यह एआई की अपनी अनिश्चितता को एक उपयोगी संकेत में बदल देती है। एक एकल उत्तर पर अंधाधुंध भरोसा करने के बजाय, हम इस "निरंतरता जांच" का उपयोग यह जानने के लिए कर सकते हैं कि कब कहना है, "मैं इस बारे में निश्चित नहीं हूँ," जो एआई एजेंटों को वास्तविक दुनिया में सुरक्षित और अधिक भरोसेमंद बनाने की दिशा में एक बड़ा कदम है।
संक्षेप में: यदि एक एआई खुद के लिए एक योजना तय नहीं कर सकता, तो शायद यह उसके उत्तर पर भरोसा करने का सबसे अच्छा समय नहीं है। लेकिन यदि वह हर बार एक ही योजना पर टिका रहता है, तो आप शर्त लगा सकते हैं कि वह सही रास्ते पर है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।