From Proof to Program: Characterizing Tool-Induced Reasoning Hallucinations in Large Language Models
यह शोध पत्र "टूल-इंड्यूस्ड मायोपिया" (TIM) की पहचान और लक्षण वर्णन करता है, जो एक ऐसी घटना है जहाँ टूल-ऑगमेंटेड लैंग्वेज मॉडल्स (TaLMs) गणितीय समस्याओं पर उच्च अंतिम-उत्तर सटीकता प्राप्त करते हैं लेकिन टूल आउटपुट को तर्क के विकल्प के रूप में उपयोग करने के कारण तर्कसंगत सुसंगतता में गिरावट का सामना करते हैं, और एक प्राथमिकता-अनुकूलन ढांचे का प्रस्ताव करता है ताकि मॉडल्स को टूल्स को तर्क के शॉर्टकट के बजाय सहायक साक्ष्य के रूप में उपयोग करने के लिए पुनर्गठित किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक प्रतिभाशाली छात्र है, मान लीजिए उसका नाम एलेक्स है। एलेक्स गणित में बहुत अच्छा है, लेकिन कभी-कभी वह जटिल गणनाओं में फंस जाता है या उसे किसी विशिष्ट संख्या की जांच करने की आवश्यकता होती है। इसलिए, आप उसे मदद के लिए एक सुपर-फास्ट कैलकुलेटर (कोड इंटरप्रेटर टूल) देते हैं।
लक्ष्य यह है कि एलेक्स कैलकुलेटर का उपयोग अपने काम को सत्यापित करने के लिए एक सहायक के रूप में करे, जबकि कठिन मानसिक कार्य (लॉजिक) खुद ही करता रहे।
हालाँकि, आपके द्वारा साझा किए गए पेपर से एक मजेदार और खतरनाक गड़बड़ी का पता चलता है: एलेक्स कैलकुलेटर को अपने लिए सोचने देने लगता है।
यहाँ शोध के निष्कर्षों का विवरण दिया गया, जिसे रोजमर्रा की भाषा में अनुवादित किया गया है:
1. समस्या: "टूल-इंड्यूस्ड मायोपिया" (TIM)
लेखक इस घटना को टूल-इंड्यूस्ड मायोपिया कहते हैं। "मायोपिया" का अर्थ है निकट दृष्टि दोष (नजदीक की चीजें दिखना, दूर की नहीं)।
- क्या होता है: जब एलेक्स के पास कैलकुलेटर होता है, तो वह बड़ी तस्वीर देखना बंद कर देता है। एक तार्किक प्रमाण लिखने के बजाय (चरण A से चरण B, जो चरण C की ओर ले जाता है), वह बस कैलकुलेटर में यादृच्छिक (रैंडम) नंबर टाइप करना शुरू कर देता है, इस उम्मीद में कि वह सही उत्तर तक पहुँच जाएगा।
- भ्रम: यदि आप केवल अंतिम उत्तर देखते हैं, तो एलेक्स सही उत्तर पा लेता है! लेकिन यदि आप देखते हैं कि वह वहाँ कैसे पहुँचा, तो वह एक गड़बड़ है। उसने "क्यों" को छोड़ दिया और केवल "ब्रूट फोर्स" (जब तक एक काम न कर जाए, तब तक हर संभावना को आज़माना) पर भरोसा किया।
- रूपक: कल्पना करें कि आप एक विशाल पुस्तकालय में एक विशिष्ट पुस्तक खोजने की कोशिश कर रहे हैं।
- सामान्य एलेक्स: वह कैटलॉग सिस्टम का उपयोग करता है, सेक्शन का पता लगाता है, और शेल्फ तक जाता है। वह पुस्तकालय के लेआउट को समझता है।
- टूल-इंड्यूस्ड एलेक्स: वह एक रोबोट वैक्यूम क्लीनर (टूल) पकड़ता है और उसे पूरे पुस्तकालय के फर्श को साफ करने के लिए कहता है। जब रोबोट किताब से टकराता है, तो वह उसे उठा लेता है। उसे किताब मिल गई, लेकिन उसे पता नहीं है कि वह कहाँ थी या पुस्तकालय कैसे व्यवस्थित है। वह बस भाग्यशाली रहा।
2. प्रयोग: PYMATH
इसे साबित करने के लिए, शोधकर्ताओं ने PYMATH नामक एक विशेष परीक्षण बनाया।
- उन्होंने 1,679 कठिन गणितीय समस्याएं चुनीं।
- पेच (Catch): ये समस्याएं इस तरह से बनाई गई हैं कि कैलकुलेटर मदद कर सकता है, लेकिन यह पर्याप्त नहीं है। आपको रणनीति समझने के लिए अभी भी अपने दिमाग का उपयोग करने की आवश्यकता है।
- उन्होंने शीर्ष स्तर के AI मॉडल्स (जैसे GPT-4, Gemini, Claude) का दो मोड में परीक्षण किया:
- बेस मोड (Base Mode): कैलकुलेटर की अनुमति नहीं है।
- TaLM मोड (TaLM Mode): कैलकुलेटर की अनुमति है।
3. चौंकाने वाले परिणाम
परिणाम विरोधाभासी थे:
- स्कोरबोर्ड: कैलकुलेटर वाले मॉडल्स (TaLM) ने सही उत्तर अधिक बार दिए (19% तक बेहतर)।
- तर्क (Reasoning): लेकिन, जब विशेषज्ञों ने समस्याओं को हल करने के तरीके की तुलना की, तो बिना कैलकुलेटर वाले मॉडल्स कहीं अधिक स्मार्ट थे। उन्होंने बेहतर तर्क का उपयोग किया, कम धारणाएं बनाईं और अपने चरणों को स्पष्ट रूप से समझाया।
- "मायोपिया" प्रभाव: मॉडल्स ने जितना अधिक कैलकुलेटर का उपयोग किया, उनका तर्क उतना ही "बेवकूफी भरा" होता गया। उन्होंने कदम छोड़ना शुरू कर दिया, तार्किक छलांग लगाई, और कैलकुलेटर के आउटपुट को एक जादुई सत्य के रूप में माना न कि केवल एक संख्या के रूप में।
उपमा: यह एक ऐसे शेफ की तरह है जो आमतौर पर स्क्रैच से खाना बनाता है। जब आप उसे माइक्रोवेव देते हैं, तो वह खाना बनाना बंद कर देता है और बस फ्रोजन मील को गर्म करने लगता है। भोजन खाने योग्य है (उत्तर सही है), लेकिन उसने अपने खाना बनाने के कौशल (तर्क की गहराई) खो दिए हैं।
4. यह क्यों मायने रखता है
यह डरावना है क्योंकि हम केवल उत्तर देखकर अंतर नहीं बता सकते।
- यदि AI कहता है "उत्तर 42 है," और वह सही है, तो हम भरोसा करते हैं।
- लेकिन यदि वह तर्क के बजाय टूल का उपयोग करके अनुमान और जांच (guessing and checking) के माध्यम से वहाँ पहुँचा है, तो वह एक थोड़े अलग सवाल पर विफल हो सकता है जहाँ अनुमान लगाना काम नहीं आता।
- शोध में पाया गया कि लगभग 55% उच्च-जोखिम वाले मामलों में, AI अपने तर्क को "दिखावा" कर रहा था, टूल के पीछे छिप रहा था।
5. समाधान: AI को "पहले सोचना" सिखाना
शोधकर्ताओं ने एलेक्स को ठीक करने के दो तरीके आजमाए:
"टोका-टाकी वाला नोट" (Prompting): उन्होंने AI के निर्देशों में एक नोट जोड़ा: "हे, कैलकुलेटर का उपयोग केवल अपने काम की जांच करने के लिए करें, अपने लिए सोचने के लिए नहीं।"
- परिणाम: इससे थोड़ी मदद मिली, लेकिन AI के उत्तर थोड़े खराब हो गए क्योंकि वह टूल का उपयोग करने से डर रहा था।
"ट्यूटरिंग" (DPO Fine-Tuning): यह सबसे बड़ी जीत है। उन्होंने AI को "अच्छे तर्क" (टूल का उपयोग सहायता के रूप में करना) बनाम "बुरे तर्क" (टूल को अपना काम करने देना) के उदाहरण दिखाकर प्रशिक्षित किया। उन्होंने AI को बताया: "हम उस समाधान को पसंद करते हैं जहाँ आप अपने तर्क को समझाते हैं, भले ही वहां टूल मौजूद हो।"
- परिणाम: यह सबसे अच्छा रहा! AI सही उत्तर भी पाने लगा और बेहतर स्पष्टीकरण भी लिखने लगा। उसने कैलकुलेटर को एक हीरो के बजाय एक साइडकिक (सहायक) के रूप में मानना सीख लिया।
सारांश
यह पेपर चेतावनी देता है कि AI को सुपर-टूल्स देने से वे स्वचालित रूप से अधिक स्मार्ट विचारक नहीं बन जाते। वास्तव में, यह उन्हें आलसी बना सकता है, जिससे वे कठिन मानसिक कार्य को छोड़कर "ट्रायल एंड एरर" (प्रयास और त्रुटि) पर निर्भर होने लगते हैं।
सीख क्या है? सिर्फ इसलिए कि एक AI सही उत्तर दे रहा है, इसका मतलब यह नहीं है कि वह प्रश्न को समझता है। हमें इन मॉडल्स को अपने "सोचने की मांसपेशियों" को सक्रिय रखने के लिए प्रशिक्षित करने की आवश्यकता है, भले ही उनकी जेब में एक सुपर-कंप्यूटर हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।