Contrastive Attribution in the Wild: An Interpretability Analysis of LLM Failures on Realistic Benchmarks
यह शोध पत्र यथार्थवादी बेंचमार्क पर लार्ज लैंग्वेज मॉडल की विफलताओं का व्यवस्थित रूप से विश्लेषण करने के लिए क्रॉस-लेयर क्षमताओं वाले एक कंट्रास्टिव, LRP-आधारित एट्रिब्यूशन फ्रेमवर्क का परिचय देता है, जो यह प्रकट करता है कि हालांकि टोकन-स्तरीय एट्रिब्यूशन विशिष्ट मामलों में सूचनात्मक संकेत प्रदान करता है, लेकिन यह सभी प्रकार की विफलताओं के लिए सार्वभौमिक रूप से लागू नहीं है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, लेकिन कभी-कभी जिद्दी रोबोट सहायक (एक लार्ज लैंग्वेज मॉडल, या LLM) है। कभी-कभी, जब आप उससे कोई सवाल पूछते हैं, तो वह आपको गलत जवाब देता है। आमतौर पर, जब हम यह पता लगाने की कोशिश करते हैं कि वह क्यों विफल हुआ, तो हम केवल इनपुट और आउटपुट को देखते हैं। यह एक ऐसी कार को देखने जैसा है जो शुरू नहीं हो रही है और यह कहना कि, "खैर, इंजन बंद है," बिना कभी बोनट खोलकर यह देखे कि स्पार्क प्लग गायब हैं या बैटरी खत्म हो गई है।
यह शोध पत्र इन AI रोबोटों के "हुड के नीचे" झांकने के बारे में है ताकि यह देखा जा सके कि जब वे गलतियाँ करते हैं, तो उनके "मस्तिष्क" के अंदर वास्तव में क्या हो रहा है।
यहाँ उनके काम का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. समस्या: "ब्लैक बॉक्स" का रहस्य
अधिकांश पिछले अध्ययन AI की विफलताओं को एक जासूस की तरह देखते थे जो अपराध स्थल को बाहर से देख रहा हो। वे जानते थे कि क्या हुआ (AI ने गलत उत्तर दिया), लेकिन वे नहीं जानते थे कि क्यों हुआ।
- पुराना तरीका: "AI ने 'लंदन' के बजाय 'पेरिस' कहा। शायद यह भ्रमित है?"
- नया तरीका: "आइए AI के मस्तिष्क के अंदर देखें कि किन विशिष्ट विचारों ने उसे 'पेरिस' चुनने के लिए प्रेरित किया और किन विचारों को उसने अनदेखा कर दिया।"
2. उपकरण: "कॉन्ट्रास्टिव एट्रिब्यूशन" (द "क्या होगा अगर" गेम)
लेखकों ने कॉन्ट्रास्टिव एट्रिब्यूशन (Contrastive Attribution) नामक एक विशेष उपकरण बनाया है। इसे एक "क्या होगा अगर" सिम्युलेटर के रूप में सोचें।
जब AI कोई गलती करता है (जैसे, वह गलत शब्द चुनता है), तो शोधकर्ता पूछते हैं: "क्या होगा अगर AI ने सही शब्द चुना होता?"
- वे "गलत शब्द" और "सही शब्द" के बीच के अंतर को लेते हैं।
- वे उस अंतर को AI की परतों (layers) के माध्यम से पीछे की ओर ट्रैक करते हैं, जैसे किसी वीडियो टेप को रिवाइंड करना ताकि यह देखा जा सके कि किन फ्रेम्स ने त्रुटि पैदा की।
- वे एक हीट मैप (heat map) बनाते हैं (जैसे मौसम का नक्शा जो गर्म और ठंडे स्थानों को दिखाता है) जो यह दर्शाता है कि आपके प्रॉम्प्ट के कौन से शब्द "गर्म" थे (जिसने गलत उत्तर को प्रभावित किया) और कौन से "ठंडे" थे (जिन्हें अनदेखा कर दिया गया)।
3. बड़ी चुनौती: "लंबी कहानी" की समस्या
AI मॉडल लंबी कहानियाँ (हजारों शब्द) पढ़ने में माहिर होते हैं। लेकिन एक लंबी कहानी पढ़ रहे AI के मस्तिष्क के अंदर झांकना एक छोटी कैलकुलेटर पर 10 घंटे की फिल्म को फ्रेम-दर-फ्रेम देखने जैसा है—यह बहुत धीमा है और कंप्यूटर को क्रैश कर देता है।
- नवाचार: लेखकों ने एक "बैचिंग ट्रिक" का आविष्कार किया। कल्पना कीजिए कि एक समय में एक फिल्म का फ्रेम देखने के बजाय, आप 100 फ्रेमों को एक साथ रखते हैं और उन सभी को एक साथ प्रोसेस करते हैं। इसने उन्हें कंप्यूटर को बिना क्रैश किए लंबी, जटिल विफलताओं का विश्लेषण करने की अनुमति दी।
4. उन्होंने क्या पाया: "तीन प्रकार की गलतियाँ"
सैकड़ों विफलताओं को देखकर, उन्होंने पाया कि AI के गलत होने के तीन मुख्य कारण हैं:
- प्रकार A: "टनल विजन" (प्रासंगिक टोकन को कम महत्व देना)
- उपमा: आप AI से कहते हैं, "बिना 'E' अक्षर का उपयोग किए एक कविता लिखें।" AI 'E' से भरी कविता लिख देता है।
- निदान: हीट मैप दिखाता है कि AI ने "बिना 'E' अक्षर के उपयोग के" वाले निर्देश को पूरी तरह से अनदेखा कर दिया। वह प्रॉम्प्ट के गलत हिस्से को देख रहा था।
- प्रकार B: "भटकाव" (अप्रासंगिक टोकन को अधिक महत्व देना)
- उपमा: आप पूछते हैं, "फ्रांस का राष्ट्रपति कौन है?" AI कहता है, "एफिल टॉवर।"
- निदान: AI "फ्रांस" शब्द और उसके ट्रेनिंग डेटा में मौजूद एफिल टॉवर की छवि से विचलित हो गया, और "राष्ट्रपति" शब्द को अनदेखा कर दिया। वह गलत सुराग पर ध्यान केंद्रित कर रहा था।
- प्रकार C: "गहरा मस्तिष्क कोहरा" (छिपे हुए आंतरिक संघर्ष)
- उपमा: कभी-कभी AI को सही सुराग मिलते हैं, लेकिन कहीं गहराई में उसकी परतों के बीच, वह भ्रमित हो जाता है और गलत उत्तर की ओर स्विच कर देता है।
- निदान: यह देखना सबसे कठिन है। इनपुट का "हीट मैप" ठीक दिखता है, लेकिन जब उन्होंने एट्रिब्यूशन ग्राफ (Attribution Graph) (एक नक्शा कि विचार AI की परतों के माध्यम से कैसे यात्रा करते हैं) को देखा, तो उन्होंने देखा कि "गलत" विचार जैसे-जैसे मस्तिष्क में गहरा जाता गया, वह मजबूत होता गया, और अंततः सही विचार पर हावी हो गया।
5. अच्छी खबर: बड़े दिमाग इसे ठीक कर देते हैं (ज्यादातर)
उन्होंने छोटे AI मॉडल और बड़े AI मॉडल पर इसका परीक्षण किया।
- परिणाम: जब उन्होंने AI को बड़ा बनाया (अधिक "मस्तिष्क शक्ति"), तो वह सही उत्तर देने लगा।
- प्रमाण: हीट मैप्स ने दिखाया कि बड़ा AI केवल बेहतर अनुमान नहीं लगा रहा था; वह वास्तव में सही सुरागों पर ध्यान दे रहा था। उसने निर्देशों को अनदेखा करना बंद कर दिया और अप्रासंगिक शब्दों से विचलित होना भी बंद कर दिया। यह साबित करता है कि मॉडल को बड़ा बनाना केवल जादू नहीं है; यह वास्तव में उनके सूचना प्रसंस्करण (information processing) के तरीके को बदल देता है।
6. सीमा: यह कोई जादुई छड़ी नहीं है
यह शोध पत्र ईमानदार है: यह उपकरण हर रहस्य को हल नहीं करता है।
- सरल गलतियों के लिए (जैसे निर्देश को अनदेखा करना), यह उपकरण बहुत अच्छा काम करता है।
- जटिल गणितीय समस्याओं के लिए, कभी-कभी टूल त्रुटि को नहीं देख पाता क्योंकि गलती मस्तिष्क के बहुत छोटे, विशिष्ट हिस्से (एक एकल न्यूरॉन) में होती है, जिससे "हीट मैप" बहुत धुंधला हो जाता है। यह घास के ढेर में खोई हुई एक सुई को खोजने के लिए फ्लैशलाइट का उपयोग करने जैसा है जो केवल पूरे ढेर को रोशन करती है।
सारांश
यह शोध पत्र AI के दिमाग के लिए एक सुपर-पावर्ड एक्स-रे देने जैसा है।
- पहले: हम जानते थे कि AI बीमार है, लेकिन हमें नहीं पता था कि कहाँ।
- अब: हम देख सकते हैं कि कौन से विशिष्ट "विचार" (टोकन) बीमारी का कारण बने।
- यह क्यों मायने रखता है: यह डेवलपर्स को AI मॉडल को तेजी से ठीक करने, यह समझने कि वे क्यों विफल होते हैं, और वास्तविक दुनिया के लिए स्मार्ट, अधिक विश्वसनीय सहायक बनाने में मदद करता है।
मुख्य बात: हम आखिरकार अनुमान लगाना बंद कर सकते हैं कि AI क्यों विफल होता है और इसके गलतियों के वास्तविक तंत्र को देख सकते हैं, ठीक वैसे ही जैसे एक मैकेनिक अंततः उस कार के इंजन को देख पाता है जो शुरू नहीं हो रही है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।