LinAlg-Bench: A Forensic Benchmark Revealing Structural Failure Modes in LLM Mathematical Reasoning
LinAlg-Bench यह प्रकट करता है कि लार्ज लैंग्वेज मॉडल्स 4x4 मैट्रिक्स आयामों पर एक संरचनात्मक व्यवहार संबंधी दहलीज (structural behavioral threshold) प्रदर्शित करते हैं, जहाँ वे छोटे कार्यों में निष्पादन त्रुटियों (execution errors) से बड़े कार्यों में व्यवस्थित कम्प्यूटेशनल परित्याग (systematic computational abandonment) और संरचित मतिभ्रम (structured hallucination) की ओर स्थानांतरित हो जाते हैं, जो ज्ञान की कमी के बजाय एक मौलिक वर्किंग मेमोरी सीमा का संकेत देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास बहुत बुद्धिमान, सुशिक्षित रोबोटों की एक टीम है। आप उनसे गणित के सवाल हल करने के लिए कहते हैं। छोटे, सरल सवालों के लिए, वे शानदार हैं। लेकिन जब आप उन्हें थोड़ा बड़ा, अधिक जटिल सवाल देते हैं, तो वे अचानक गणित करना बंद कर देते हैं और ऐसी चीजें बनाने लगते हैं जो सुनने में गणित जैसी लगती हैं।
यह शोध पत्र, LinAlg-Bench, ठीक इसी बात की फोरेंसिक जांच है कि ये रोबोट (लार्ज लैंग्वेज मॉडल्स या LLMs) लीनियर अलजेब्रा (संख्याओं के ग्रिड, जिन्हें मैट्रिसेस कहा जाता है, से संबंधित प्रकार का गणित) करते समय क्यों और कैसे टूट जाते हैं।
यहाँ सरल उपमाओं का उपयोग करके उनके निष्कर्षों का विवरण दिया गया है:
1. परीक्षण: दिमागों के लिए एक "तनाव परीक्षण" (Stress Test)
शोधकर्ताओं ने रोबोट्स से केवल यादृच्छिक (random) गणितीय प्रश्न नहीं पूछे। उन्होंने LinAlg-Bench नामक एक विशिष्ट परीक्षण बनाया।
- सेटअप: उन्होंने रोबोट्स को तीन आकारों के संख्या ग्रिड (मैट्रिसेस) वाले सवाल दिए: 3x3 (छोटा), 4x4 (मध्यम), और 5x5 (बड़ा)।
- चाल: गणित के प्रकार का स्वरूप बिल्कुल समान रहा (जैसे कि "डिटरमिनेंट" या "आइगेनवैल्यू" खोजना)। केवल बदलने वाली चीज़ ग्रिड का आकार था।
- लक्ष्य: यदि रोबोट इसलिए विफल हुए क्योंकि उन्हें गणित पता नहीं था, तो वे सभी आकारों में विफल होने चाहिए। यदि वे इसलिए विफल हुए क्योंकि उनका "दिमाग" थक गया था, तो उन्हें केवल बड़े आकारों पर ही विफल होना चाहिए।
2. खोज: "4x4 की ढलान" (The 4x4 Cliff)
परिणामों ने प्रदर्शन में एक तीव्र "ढलान" दिखाई।
- 3x3 पर (छोटा): लगभग सभी रोबोटों ने इसे सही किया। वे गणित सही ढंग से कर रहे थे।
- 4x4 पर (मध्यम): रोबोट लड़खड़ाने लगे। वे अभी भी गणित करने की कोशिश कर रहे थे, लेकिन उन्होंने चरणों में गलतियाँ कीं (जैसे कि माइनस साइन छोड़ देना या संख्याओं को गलत जोड़ना)।
- 5x5 पर (बड़ा): यहाँ व्यवहार पूरी तरह से बदल गया। रोबोटों ने केवल गणितीय गलतियाँ ही नहीं कीं; उन्होंने हार मान ली। वे गणित करने के बजाय, ऐसी उत्तर देते रहे जो दिखने में गणित जैसे लगते थे (जिनमें सही प्रारूप और तर्कसंगत लगने वाली संख्याएँ थीं) लेकिन वे पूरी तरह से मनगढ़ंत थे।
उपमा: एक छात्र की कल्पना करें जो परीक्षा दे रहा है।
- एक छोटी क्विज़ (3x3) पर, उसे 100% अंक मिलते हैं।
- एक मध्यम टेस्ट (4x4) पर, वह कड़ी मेहनत करता है लेकिन भ्रमित हो जाता है और गणना संबंधी त्रुटियाँ करता है।
- एक लंबे, कठिन टेस्ट (5x5) पर, कठिन समस्या को हल करने के बजाय, वह प्रश्न को देखता है, आह भरता है, और एक ऐसा उत्तर लिख देता है जो टेस्ट पर होने जैसा लगता है (जिसमें सही प्रारूप और तर्कसंगतः लगने वाली संख्याएँ हैं) लेकिन वास्तव में वह पूरी तरह से मनगढ़ंत है।
3. "वर्किंग मेमोरी" (Working Memory) की सीमा
यह शोध पत्र तर्क देता है कि रोबोट इसलिए विफल नहीं हो रहे हैं क्योंकि उनके पास ज्ञान की कमी है (वे नियमों को जानते हैं)। वे वर्किंग मेमोरी की सीमा के कारण विफल हो रहे हैं।
- उपमा: अपने मस्तिष्क को एक डेस्क की तरह समझें।
- 3x3 की समस्या के लिए, आप कागज के सभी टुकड़ों को डेस्क पर फैला सकते हैं और उन्हें हल कर सकते हैं।
- 5x5 की समस्या के लिए, कागज के टुकड़े बहुत अधिक हैं। आपको कुछ कागज हाथ में पकड़ने पड़ते हैं जबकि आप अन्य को लिख रहे होते हैं।
- रोबोट का "डेस्क" बहुत छोटा है। जब समस्या बहुत बड़ी हो जाती है, तो वे सभी मध्यवर्ती चरणों (intermediate steps) को एक साथ अपने "हाथ" में नहीं रख पाते। स्वीकार करने के बजाय कि वे अभिभूत (overwhelmed) हैं, वे भ्रमित (hallucinate) करने लगते हैं।
4. "टूल रोलप्ले" का भ्रम (The "Tool Roleplay" Hallucination)
एक सबसे दिलचस्प खोज यह है कि रोबोट हार कैसे मानते हैं।
- जब गणित बहुत कठिन हो जाता है (5x5 पर), तो रोबोट अक्सर एक कैलकुलेटर या कंप्यूटर प्रोग्राम का नाटक करते हैं जो वास्तव में उनके पास नहीं है।
- उपमा: यह उस छात्र की तरह है जिसे कठिन प्रश्न का उत्तर नहीं पता, इसलिए वह कहता है, "खैर, अगर मेरे पास सुपर-कंप्यूटर होता, तो वह बताता कि उत्तर 42 है," और फिर वह बस "42" लिख देता है।
- शोध पत्र इसे "कन्स्ट्रेंट-अवेयर कॉन्फैबुलेशन" (Constraint-Aware Confabulation) कहता है। रोबोट इतने स्मार्ट हैं कि वे जानते हैं कि उत्तर को कुछ नियमों का पालन करना चाहिए (जैसे कि संख्याओं का योग एक विशिष्ट मान से मेल खाना चाहिए), इसलिए वे एक ऐसा उत्तर बनाते हैं जो उन नियमों में फिट बैठता है, भले ही उन्होंने वास्तव में काम न किया हो।
5. "रणनीति" का जाल (The "Strategy" Trap)
शोधकर्ताओं ने रोबोटों को एक अधिक कुशल गणित विधि का उपयोग करने के लिए मजबूर करके उनकी मदद करने की कोशिश की (जैसे कि उन्हें कहना, "लंबा रास्ता मत अपनाओ, छोटा रास्ता अपनाओ!")।
- परिणाम: इससे कोई मदद नहीं मिली। उन्हें "आसान" विधि का उपयोग करने के लिए मजबूर करने के बावजूद, वे विफल रहे।
- क्यों? समस्या यह नहीं थी कि वे किस विधि का उपयोग कर रहे थे; समस्या यह थी कि वे चरणों को क्रम में नहीं रख पा रहे थे। यह एक थके हुए धावक को छोटे कदम लेने के लिए कहने जैसा है; यदि वे पहले से ही थके हुए हैं, तो छोटे कदम उन्हें दौड़ पूरी करने में मदद नहीं करेंगे।
6. रोबोटों के तीन स्तर (Three Tiers of Robots)
शोध पत्र ने 10 अलग-अलग AI मॉडलों को इस आधार पर तीन समूहों में वर्गीकृत किया कि वे कब टूटे:
- स्तर 1 (सबसे मजबूत): वे 5x5 गणित की समस्याओं को काफी हद तक सही ढंग से संभाल सकते थे, लेकिन जब सबसे जटिल प्रकार का उत्तर (eigenvalues) मांगा गया, तो वे "हार मानने" और मनगढ़ंत उत्तर देने लगे।
- स्तर 2 (मध्यम): उन्होंने मध्यम समस्याओं को ठीक से संभाला लेकिन सबसे कठिन कार्यों पर पूरी तरह से विफल हो गए।
- स्तर 3 (सबसे कमजोर): वे जल्दी विफल होने लगे और बहुत जल्दी हार मान ली, अक्सर मध्यम आकार की समस्याओं के लिए भी मनगढ़ंत उत्तर देने लगे।
मुख्य निष्कर्ष (The Bottom Line)
यह शोध पत्र निष्कर्ष निकालता है कि ये AI मॉडल बेतरतीब ढंग से विफल नहीं होते हैं। उनकी विफलता संरचनात्मक (structural) है।
- वे छोटे कार्यों में उत्कृष्ट हैं।
- वे गणना त्रुटियों के कारण मध्यम कार्यों में संघर्ष करते हैं।
- वे बड़े, जटिल कार्यों पर कार्य को पूरी तरह से छोड़ देते हैं और तर्कसंगत लगने वाले झूठ गढ़ना शुरू कर देते हैं क्योंकि उनकी आंतरिक "वर्किंग मेमोरी" समाप्त हो जाती है।
लेखकों ने अपना सारा डेटा और उपकरण जारी किए हैं ताकि अन्य वैज्ञानिक इस "वर्किंग मेमोरी" की सीमा का अध्ययन कर सकें और इसे ठीक करने का प्रयास कर सकें। उन्होंने सिद्ध किया कि इन मॉडल्स के लिए, गणित को जानना, गणित करने से कहीं अधिक कठिन है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।