Fragile Reasoning: A Mechanistic Analysis of LLM Sensitivity to Meaning-Preserving Perturbations
यह शोध पत्र प्रकट करता है कि बड़े भाषा मॉडल गणितीय तर्क में अर्थ-संरक्षण वाले परिवर्तनों (meaning-preserving perturbations) के प्रति महत्वपूर्ण भंगुरता प्रदर्शित करते हैं और इन विफलताओं को विशिष्ट वास्तुशिल्प पैटर्न (architectural patterns) तक ट्रेस करने के लिए मैकेनिस्टिक पर्टर्बेशन डायग्नोस्टिक्स (MPD) ढांचे को पेश करता है, जो उन्हें लक्षित हस्तक्षेपों के माध्यम से भिन्न रिकवरेबिलिटी (recoverability) के साथ स्थानीयकृत (localized), वितरित (distributed) और उलझे हुए (entangled) प्रकारों में वर्गीकृत करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक प्रतिभाशाली छात्र है जो 90% सटीकता के साथ जटिल गणितीय समस्याओं को हल कर सकता है। आप उससे पूछते हैं, "यदि एलिस के पास 5 सेब हैं और वह 3 और खरीदती है, तो उसके पास कितने होंगे?" वह तुरंत कहता है, "8।"
लेकिन फिर, आप ठीक वही सवाल पूछते हैं, बस नाम बदलकर: "यदि बॉब के पास 5 सेब हैं और वह 3 और खरीदता है, तो उसके पास कितने होंगे?" अचानक, छात्र घबरा जाता है और कहता है, "12।"
आप फिर से कोशिश करते हैं, प्रारूप बदलकर: "यदि एलिस के पास पाँच सेब हैं..." और वह कहता है, "15।"
यह बिल्कुल वही है जो शोधकर्ताओं ने तब पाया जब उन्होंने तीन लोकप्रिय AI मॉडल (Mistral, Llama-3, और Qwen) का परीक्षण किया। वे कितने "स्मार्ट" हैं, इसके बावजूद, वे आश्चर्यजनक रूप से नाजुक हैं। यदि वे समस्या को लिखने के तरीके को बदल देते हैं बिना उसका अर्थ बदले, तो वे अक्सर अपने उत्तर को सही से गलत में बदल देते हैं।
यहाँ सरल उपमाओं का उपयोग करके शोध पत्र के निष्कर्षों का विवरण दिया गया है।
1. समस्या: तर्क का "कांच का घर" (The "Glass House" of Reasoning)
शोधकर्ताओं ने 677 गणित की समस्याएं लीं और प्रत्येक के लिए "जुड़वां" (twins) बनाए।
- नाम बदलना: "एलिस" को "बॉब" में बदलना।
- संख्या बदलना: "$5" को "5 डॉलर" में बदलना।
परिणाम: AI मॉडल इन "जुड़वां" सवालों पर 28% से 45% बार विफल रहे। यह एक ऐसी कार की तरह है जो सीधी सड़क पर तो बेहतरीन चलती है लेकिन स्टीयरिंग व्हील का रंग बदलते ही दुर्घटनाग्रस्त हो जाती है। मॉडल वास्तव में गणित को "समझ" नहीं रहे हैं; वे केवल पैटर्न को याद कर रहे हैं।
2. जांच: "मैकेनिक का टूलकिट" (The "Mechanic's Toolkit")
AI क्यों टूटता है, यह पता लगाने के लिए, लेखकों ने MPD नामक एक डायग्नोस्टिक फ्रेमवर्क बनाया। इसे एक मैकेनिक की तरह समझें जो इंजन के किसी विशिष्ट गियर के घिसने का पता लगाने के लिए उसे खोलकर देख रहा है।
उन्होंने चार उपकरणों का उपयोग किया:
- लॉगिट लेंस (X-Ray): यह उन्हें देखने देता है कि AI अपनी प्रोसेसिंग के हर चरण में क्या "सोच" रहा है। उन्होंने पाया कि विफल सवालों के लिए, AI सफल सवालों की तुलना में प्रक्रिया के बहुत पहले ही गलत उत्तर के बारे में सोचने लगता है।
- एक्टिवेशन पैचिंग ("टाइम ट्रैवल" फिक्स): कल्पना करें कि AI चरण 10 पर गलती करता है। शोधकर्ताओं ने एक समान प्रश्न से "सही मस्तिष्क अवस्था" (correct brain state) ली और उसे चरण 10 पर AI में डाल दिया। यदि AI अचानक सही उत्तर दे देता है, तो समस्या उस विशिष्ट चरण में केंद्रित थी।
- कंपोनेंट एब्लेशन ("बंद करने वाला" टेस्ट): उन्होंने AI के विशिष्ट हिस्सों को बंद कर दिया (जैसे कि कीवर्ड्स पर ध्यान केंद्रित करने वाले "अटेंशन" हेड्स, या भारी काम करने वाले "MLP" लेयर्स) यह देखने के लिए कि कौन सा हिस्सा त्रुटि का कारण बन रहा है।
- CAI ("डोमिनो प्रभाव" मीटर): यह मापता है कि एक छोटी सी गलती AI की परतों के माध्यम से यात्रा करते समय कितनी बढ़ती है। क्या एक छोटी सी त्रुटि एक बड़ी आपदा में बदल जाती है, या AI खुद को सुधार लेता है?
3. खोज: विफलता के तीन अलग-अलग "व्यक्तित्व"
सबसे रोमांचक खोज यह है कि तीनों AI मॉडल तीन पूरी तरह से अलग तरीकों से विफल हुए। यह केवल "AI गणित में बुरा है" नहीं है; बल्कि यह है कि वे कैसे बुरे हैं।
A. "लोकलाइज़र" (Llama-3)
- उपमा: एक ऐसे घर की कल्पना करें जिसमें एक अकेला, कमजोर दरवाजा है। यदि आप उस विशिष्ट दरवाजे को लात मारते हैं, तो घर गिर जाता है। लेकिन यदि आप उस एक दरवाजे को ठीक कर देते हैं, तो घर सुरक्षित रहता है।
- क्या हुआ: जब Llama-3 विफल हुआ, तो त्रुटि एक बहुत ही विशिष्ट परत (उसकी सोच के एक विशिष्ट चरण) में फंसी हुई थी।
- समाधान: क्योंकि समस्या सीमित थी, शोधकर्ता इसे "पैच" कर सके। उस विशिष्ट परत पर सही मस्तिष्क अवस्था को बदलकर, उन्होंने 71% त्रुटियों को ठीक कर दिया। यह अत्यधिक मरम्मत योग्य है।
B. "डिस्ट्रीब्यूटेड" (Mistral)
- उपमा: एक ऐसे घर की कल्पना करें जहाँ पूरी नींव रेत से बनी है। यदि आप कहीं भी धक्का देते हैं, तो पूरा ढांचा डगमगा जाता है। कोई एक कमजोर बिंदु नहीं है; कमजोरी हर जगह है।
- क्या हुआ: जब Mistral विफल हुआ, तो त्रुटि कई परतों में फैली हुई थी।
- समाधान: क्योंकि त्रुटि हर जगह थी, आप एक स्थान पर पैच लगाकर इसे ठीक नहीं कर सकते थे। शोधकर्ता केवल 5% त्रुटियों को ही ठीक कर सके। इसकी मरम्मत करना बहुत कठिन है।
C. "एंटैंगल्ड" (Qwen)
- उपमा: उलझे हुए हेडफ़ोन के एक गुच्छे की कल्पना करें। आप इसे ठीक करने के लिए केवल एक तार नहीं खींच सकते; तार इतने आपस में मिले हुए हैं कि एक को खींचने से पूरा गुच्छा और कस जाता है।
- क्या हुआ: Qwen में, त्रुटि केवल "फोकस" वाले हिस्सों (Attention) में नहीं थी, बल्कि गहराई से "गणना" वाले हिस्सों (MLP) में मिली हुई थी। घटक इतने आपस में जुड़े हुए थे कि एक को ठीक करने से दूसरा टूट जाता था।
- समाधान: यह ठीक करने में सबसे कठिन था। शोधकर्ता मानक पैच का उपयोग करके 0% त्रुटियों को ठीक करने में सफल रहे, और यहाँ तक कि वेट्स (weights) को "सर्जिकल" तरीके से बदलने से चीजें और भी खराब हो गईं।
4. "डोमिनो प्रभाव" (कैस्केडिंग एम्प्लीफिकेशन)
शोधकर्ताओं ने एक नया मीट्रिक पेश किया जिसे CAI कहा जाता है।
- स्थिर AI: जब आप शब्दों को बदलते हैं, तो AI अंतर को नोटिस करता है, लेकिन वह कहता है, "ओह, यह उसी बात को कहने का एक अलग तरीका है," और त्रुटि समाप्त हो जाती है।
- नाजुक AI: AI अंतर को देखता है, भ्रमित होता है, और वह भ्रम उसकी परतों के माध्यम से यात्रा करते समय तेज और तेज होता जाता है, जब तक कि वह गलत उत्तर चिल्लाकर न बता दे।
- महत्व: यह "डोमिनो प्रभाव" केवल इस बात को देखने की तुलना में विफलता का बेहतर भविष्यवक्ता है कि AI पहली बार कब भ्रमित हुआ था।
5. निष्कर्ष: AI की "मरम्मत" करना
शोध पत्र निष्कर्ष निकालता है कि हम सभी AI विफलताओं के साथ एक जैसा व्यवहार नहीं कर सकते।
- यदि कोई AI लोकलाइज़र (Llama-3 की तरह) है, तो हम विशिष्ट परतों को लक्षित करके इसे ठीक कर सकते हैं।
- यदि यह डिस्ट्रीब्यूटेड या एंटैंगल्ड (Mistral या Qwen की तरह) है, तो सरल समाधान काम नहीं करेंगे। हमें यह सोचने की ज़रूरत है कि मॉडल को कैसे बनाया या प्रशिक्षित किया गया है।
संक्षेप में: ये AI मॉडल प्रतिभाशाली लेकिन नाजुक छात्रों की तरह हैं। वे गणित हल कर सकते हैं, लेकिन वे प्रश्न में मामूली बदलाव से लड़खड़ा जाते हैं। शोधकर्ताओं ने अब एक मानचित्र बनाया है जो हमें ठीक दिखा सकता है कि उनका दिमाग कहाँ टूटता है, जो वास्तव में मजबूत और विश्वसनीय AI बनाने की दिशा में पहला कदम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।