Reasoning Gets Harder for LLMs Inside A Dialogue
यह शोध पत्र BOULDER प्रस्तुत करता है, जो एक नया गतिशील बेंचमार्क है और यह दर्शाता है कि लार्ज लैंग्वेज मॉडल्स (LLMs) आइसोलेटेड सेटिंग्स की तुलना में टास्क-ओरिएंटेड डायलॉग्स के भीतर फ्रेम किए जाने पर रीजनिंग कार्यों में प्रदर्शन का एक महत्वपूर्ण और निरंतर अंतराल प्रदर्शित करते हैं, जिसका मुख्य कारण मल्टी-टर्न इंटरैक्शन, रोल कंडीशनिंग और टूल-यूज़ की जटिलताएं हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ इस शोध पत्र "Reasoning Gets Harder for LLMs Inside A Dialogue" का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ हिंदी अनुवाद दिया गया है।
मुख्य विचार: "परीक्षा बनाम वास्तविक जीवन" की समस्या
कल्पना कीजिए कि आप एक छात्र को गणित की परीक्षा के लिए तैयार कर रहे हैं।
- परीक्षा (अलग किया गया कार्य): आप छात्र को एक सादे कागज पर एक शब्द-समस्या देते हैं: "यदि एक ट्रेन शाम 5:00 बजे निकलती है और 6:00 बजे पहुँचती है, तो यात्रा कितनी लंबी थी?" छात्र इसे पूरी तरह से हल कर लेता है। उसे 'A' ग्रेड मिलता है।
- वास्तविक जीवन (संवाद/डायलॉग): अब, आप उसी छात्र को एक व्यस्त कॉफी शॉप में रख देते हैं। उसने एक टोपी पहनी है जिस पर लिखा है "मैं एक मिलनसार बैरिस्टा हूँ।" वह ड्रिंक्स की ट्रे संभाल रहा है, मौसम के बारे में ग्राहक से बात कर रहा है, और साथ ही उस गणित के सवाल को हल करने की कोशिश भी कर रहा है। अचानक, छात्र भ्रमित हो जाता है, नंबर भूल जाता है, या केवल विनम्र दिखने के लिए गलत उत्तर दे देता है।
यह शोध पत्र पूछता है: क्या लार्ज लैंग्वेज मॉडल्स (LLMs) "मूर्ख" हो जाते हैं जब उन्हें बातचीत में एक सहायक की तरह व्यवहार करना पड़ता है, भले ही वे अकेले समस्याओं को हल करने में जीनियस हों?
इसका उत्तर है: हाँ।
प्रयोग: "BOULDER" का निर्माण
शोधकर्ताओं ने एक नया परीक्षण बनाया जिसे BOULDER (Benchmarking of Usefulness of LLMs in Dialogue-Embedded Reasoning) कहा जाता है। BOULDER को AI के मस्तिष्क के लिए एक "तनाव परीक्षण" (stress test) के रूप में समझें।
उन्होंने 8 अलग-अलग यात्रा परिदृश्य (जैसे ट्रेन बुक करना, होटल खोजना, या टिकट की कीमत की गणना करना) बनाए। प्रत्येक परिदृश्य के लिए, उन्होंने AI का दो तरीकों से परीक्षण किया:
- "आइसोलेटेड" मोड (Isolated Mode): केवल गणित की समस्या और डेटा। कोई चैट नहीं, कोई रोल-प्लेइंग नहीं।
- "डायलॉग" मोड (Dialogue Mode): AI को "कैम्ब्रिज के लिए ट्रैवल गाइड" के रूप में कार्य करना होगा। उसे उपयोगकर्ता के साथ चैट करनी होगी, पिछले संदेशों को याद रखना होगा, ट्रेन का समय देखने के लिए एक "टूल" का उपयोग करना होगा, और गणित हल करते समय एक मैत्रीपूर्ण लहजा बनाए रखना होगा।
परिणाम: डायलॉग मोड में AI का प्रदर्शन काफी गिर गया। यह उस छात्र की तरह था जो शांत वातावरण में परीक्षा में तो सफल रहा, लेकिन कॉफी शॉप के शोर में फेल हो गया।
ऐसा क्यों होता है? (तीन मुख्य कारण)
शोधकर्ता केवल समस्या खोजने तक नहीं रुके; उन्होंने यह पता लगाने के लिए जासूसी की कि AI संघर्ष क्यों कर रहा है। उन्हें तीन मुख्य कारण मिले:
1. "मल्टी-टर्न" भटकाव (लंबी बातचीत)
- उपमा: कल्पना कीजिए कि आप एक जटिल पहेली सुलझाने की कोशिश कर रहे हैं और कोई लगातार आपके कंधे को थपथपा रहा है, पूछ रहा है, "आप कैसे हैं?" और "आपका नाम क्या है?"
- निष्कर्ष: जैसे-जैसे बातचीत लंबी होती जाती है (multi-turn), AI का प्रदर्शन खराब होता जाता है। AI चैट के प्रवाह को बनाए रखने में इतना व्यस्त हो जाता है कि वह गणित की समस्या के वास्तविक तर्क को भूल जाता है। यह गणित हल करने के साथ-साथ गाना गाने जैसा है; गाना गाने में बहुत अधिक मानसिक ऊर्जा खर्च हो जाती है।
2. "रोल" का जाल (वेशभूषा)
- उपमा: कल्पना कीजिए कि एक अभिनेता "विनम्र वेटर" की भूमिका निभाने में इतना अच्छा है कि जब आप उससे गणित का सवाल पूछते हैं, तो वह उत्तर देने के बजाय केवल "अच्छा" दिखने के लिए माफी मांगने लगता है या संक्षिप्त और अस्पष्ट उत्तर देता है।
- निष्कर्ष: जब AI को कहा जाता है, "आप एक सहायक ट्रैवल असिस्टेंट हैं," तो वह अक्सर बहुत अधिक मददगार और बहुत अधिक विनम्र हो जाता है। वह एक स्मार्ट समस्या-समाने वाले के बजाय एक अच्छा बातचीत करने वाला बनने को प्राथमिकता देता है। वह गहराई से सोचने के बजाय बातचीत को आगे बढ़ाने के लिए जल्दी में गलत उत्तर दे सकता है।
3. "टूल" का भ्रम (दोहरा कर्तव्य)
- उपमा: कल्पना कीजिए कि एक शेफ को खाना भी बनाना है और साथ ही एक जटिल रेसिपी बुक पढ़ना, सामग्री के लिए सप्लायर को कॉल करना और भोजन की समीक्षा लिखना भी है।
- निष्कर्ष: डायलॉग सेटिंग में, AI को एक साथ दो काम करने होते हैं: सोचना (तर्क करना) और कार्य करना (जैसे "search_trains" जैसे टूल्स का उपयोग करना)। यह विभाजित ध्यान त्रुटियों का कारण बनता है। AI अक्सर इस बात को लेकर भ्रमित हो जाता है कि वह उपयोगकर्ता से बात कर रहा है या डेटाबेस से।
चौंकाने वाला मोड़: "सोचना" हमेशा मदद नहीं करता
शोधकर्ताओं ने AI को यह कहकर इसे ठीक करने की कोशिश की: "अपना समय लें, चरण-दर-चरण सोचें, और जल्दबाजी न करें।"
- परिणाम: इससे थोड़ी मदद मिली, लेकिन पर्याप्त नहीं। AI अभी भी संघर्ष कर रहा था।
- क्यों? क्योंकि AI "संक्षिप्त" (छोटा और सटीक) होने की कोशिश कर रहा है क्योंकि एक अच्छा चैटबॉट आमतौर पर ऐसा ही करता है। AI को "गहराई से सोचने" के लिए कहना कठिन है जब उसका जॉब डिस्क्रिप्शन ही "त्वरित और मैत्रीपूर्ण" होने का हो।
वास्तविक दुनिया के लिए सीख
यह शोध पत्र एक चेतावनी है। हम वर्तमान में ऐसे AI असिस्टेंट बना रहे हैं जो हमारे ट्रैवल एजेंट, डॉक्टर और वित्तीय सलाहकार होने चाहिए। हम उनका परीक्षण "आइसोलेटेड" बेंचमार्क पर कर रहे हैं जहाँ वे जीनियस दिखते हैं।
लेकिन यह शोध पत्र चेतावनी देता है: सिर्फ इसलिए कि एक AI व्हाइटबोर्ड पर गणित की समस्या हल कर सकता है, इसका मतलब यह नहीं है कि वह आपसे बातचीत करते समय भी उसे हल कर सकता है।
सबक: यदि हम चाहते हैं कि AI वास्तविक जीवन में वास्तव में उपयोगी हो, तो हमें उन्हें शांत क्लासरूम में टेस्ट करना बंद करना होगा और उन्हें वास्तविक बातचीत की शोर भरी, अराजक और मल्टी-टास्किंग दुनिया में टेस्ट करना शुरू करना होगा। अन्यथा, हम एक ऐसे "जीनियस" पर भरोसा कर सकते हैं जो वास्तव में बातचीत के बीच में खो जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।