Evaluation Framework for Highlight Explanations of Context Utilisation in Language Models
यह शोध पत्र भाषा मॉडलों में संदर्भ उपयोग (context utilization) के हाइलाइट स्पष्टीकरणों का आकलन करने के लिए पहला गोल्ड स्टैंडर्ड मूल्यांकन ढांचा प्रस्तुत करता है, जो यह प्रकट करता है कि जबकि अनुकूलित मैकेनिस्टिक इंटरप्रिटेबिलिटी विधि MechLight मौजूदा तकनीकों से बेहतर प्रदर्शन करती है, सभी विधियां लंबे संदर्भों के साथ संघर्ष करती हैं और स्थितिजन्य पूर्वाग्रह (positional biases) प्रदर्शित करती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही समझदार रोबोट सहायक (एक लैंग्वेज मॉडल) है जो अपनी याददाश्त से बहुत सारे तथ्य जानता है, जैसे कि उसके दिमाग के अंदर बनी एक लाइब्रेरी। कभी-कभी, आप उस रोबोट को जानकारी वाला एक नया कागज देते हैं और उससे एक सवाल पूछते हैं। रोबोट या तो अपनी जानकारी का उपयोग करके उत्तर दे सकता है, या वह आपके नए कागज को देख सकता है।
समस्या यह है कि रोबोट आपको यह नहीं बताता कि उसने किस स्रोत का उपयोग किया। क्या उसने आपका कागज पढ़ा, या उसने सिर्फ अपनी याददाश्त से अनुमान लगाया?
यह शोध पत्र "हाइलाइट एक्सप्लेनेशन्स" (Highlight Explanations) को परखने का एक नया तरीका पेश करता है। इन स्पष्टीकरणों को एक हाइलाइटर पेन की तरह समझें जिसका उपयोग रोबोट आपके कागज के उन सटीक शब्दों को चिह्नित करने के लिए करता है जिन्हें उसने अपने उत्तर के लिए पढ़ा था। लक्ष्य यह देखना है कि हाइलाइटर पेन वास्तव में सही शब्दों की ओर इशारा कर रहा है या वह बस बेतरतीब ढंग से निशान बना रहा है।
यहाँ एक सरल विवरण दिया गया है कि शोधकर्ताओं ने क्या किया और क्या पाया:
1. समस्या: "ब्लैक बॉक्स" (The Black Box)
वर्तमान में, हम आसानी से यह नहीं बता सकते कि रोबोट आपका कागज पढ़ रहा है या केवल अपनी याददाश्त पर भरोसा कर रहा है। मौजूदा उपकरण जो हमें यह दिखाने की कोशिश करते हैं कि "रोबोट क्या सोच रहा है" (जिन्हें 'हाइलाइट एक्सप्लेनेशन्स' कहा जाता है), उन्हें कभी भी ठीक से परखा नहीं गया है कि वे वास्तव में कितने सटीक हैं। यह एक जीपीएस (GPS) होने जैसा है जो दावा तो करता है कि वह रास्ता दिखा रहा है, लेकिन किसी ने कभी यह जांच नहीं की कि क्या वह वास्तव में सही सड़कों की ओर इशारा करता है।
2. समाधान: एक "गोल्ड स्टैंडर्ड" टेस्ट
शोधकर्ताओं ने इन हाइलाइटर्स की जांच करने के लिए एक विशेष परीक्षण प्रयोगशाला बनाई। उन्होंने चार विशिष्ट परिदृश्य बनाए, जो एक जासूसी खेल की तरह हैं:
- टकराव (The Conflict): कागज कहता है "राजधानी अंकारा है," लेकिन रोबोट की याददाश्त कहती है "राजधानी लंदन है।" यदि रोबोट "अंकारा" उत्तर देता है, तो उसने जरूर कागज पढ़ा है। हाइलाइटर को "अंकारा" की ओर इशारा करना चाहिए।
- भटकाव (The Distraction): कागज में बहुत सारी निरर्थक या अप्रासंगिक जानकारी है। हाइलाइटर को निरर्थक जानकारी की ओर इशारा नहीं करना चाहिए।
- दोहरी मुसीबत (The Double Trouble): आप रोबोट को दो अलग-अलग कागज देते हैं जो दोनों उसकी याददाश्त के विपरीत हैं। हाइलाइटर को उस विशिष्ट कागज की ओर इशारा करना होगा जिसे रोबोट ने चुना है।
उन्होंने इन परीक्षणों के लिए एक "गोल्ड स्टैंडर्ड" (सही उत्तर कुंजी) बनाया ताकि वे वस्तुनिष्ठ रूप से हाइलाइटर्स को ग्रेड दे सकें।
### 3. प्रतियोगी (The Contestants)
उन्होंने चार अलग-अलग प्रकार के हाइलाइटर्स का परीक्षण किया:
- "ब्लॉकर" (फीचर एब्लेशन - Feature Ablation): यह विधि एक बार में एक शब्द को छिपाने की कोशिश करती है यह देखने के लिए कि क्या उत्तर बदल जाता है। यह एक शब्द को अपनी उंगली से ढकने जैसा है यह देखने के लिए कि क्या वाक्य अभी भी अर्थपूर्ण है।
- "मैथ विजार्ड" (इंटीग्रेटेड ग्रेडिएंट्स - Integrated Gradients): यह गणना करने के लिए जटिल गणित का उपयोग करता है कि प्रत्येक शब्द ने उत्तर में कितना योगदान दिया।
- "गेज़ ट्रैकर" (अटेंशन - Attention): यह देखता है कि जब रोबोट बोल रहा था, तब उसकी आंतरिक "आंखें" कहाँ देख रही थीं।
- "मैकेनिक" (मेकलाइट - MechLight): यह एक नई विधि है जिसे लेखकों ने बनाया है। अनुमान लगाने के बजाय, उन्होंने रोबोट के दिमाग के अंदर (इसके आंतरिक तंत्र) देखा ताकि उस विशिष्ट गियर या स्विच को खोजा जा सके जिसने कागज का उपयोग करने का निर्णय लिया, और फिर उसे शब्दों तक वापस ट्रैक किया।
4. परिणाम: कौन जीता?
- विजेता: "मैकेनिक" (MechLight) सही शब्दों की ओर इशारा करने में सबसे अच्छा था। यह सबसे विश्वसनीय जासूस था।
- उप-विजेता: "ब्लॉकर" विधि ठीक थी लेकिन बहुत असंगत थी। कभी-कभी यह बहुत अच्छा काम करती थी; अन्य समय में, यह भ्रमित हो जाती थी।
- हारने वाले: आश्चर्यजनक रूप से, "मैथ विजार्ड" और "गेज़ ट्रैकर"—जो अन्य कई उपकरणों में बहुत लोकप्रिय और उपयोग किए जाते हैं—इस विशिष्ट कार्य के लिए बहुत खराब थे। वे अक्सर गलत शब्दों की ओर इशारा करते थे या यह नहीं बता पाते थे कि रोबमा ने किस कागज का उपयोग किया।
5. बड़ी कमियां (The "Gotchas")
सबसे अच्छे हाइलाइटर में भी दो प्रमुख कमजोरियां थीं:
- "लंबे कागज" की समस्या (The "Long Paper" Problem): जैसे-जैसे टेक्स्ट लंबा होता गया, सभी हाइलाइटर्स खराब होते गए। यह घास के ढेर में सुई खोजने जैसा है; ढेर जितना बड़ा होगा, हाइलाइटर के लिए सुई ढूंढना उतना ही कठिन होगा।
- "पोजीशन बायस" (The "Position Bias"): हाइलाइटर्स में एक अजीब आदत थी कि वे अर्थ के बजाय शब्दों के स्थान के आधार पर उन्हें प्राथमिकता देते थे।
- कुछ विधियाँ हमेशा टेक्स्ट के अंत के शब्दों को पसंद करती थीं ("रिसेंसी" बायस)।
- अन्य हमेशा शुरुआत के शब्दों को पसंद करती थीं ("प्राइमेसी" बायस)।
- इसका मतलब है कि यदि आप किसी वाक्य को शुरुआत से अंत में ले जाते हैं, तो हाइलाइटर इस बारे में अपना निर्णय बदल सकता है कि वह वाक्य महत्वपूर्ण था या नहीं, भले ही उसका अर्थ वही रहे।
6. निष्कर्ष
लेखक निष्कर्ष निकालते हैं कि हालांकि हमारे पास ऐसे उपकरण हैं जो बताते हैं कि रोबोट संदर्भ (context) का उपयोग कैसे करता है, लेकिन अधिकांश वर्तमान में अविश्वसनीय हैं। वे अक्सर यह दिखाने में विफल रहते हैं कि रोबोट ने वास्तव में टेक्स्ट के किस हिस्से का उपयोग किया था, खासकर जब टेक्स्ट लंबा हो या जब कई दस्तावेज़ हों।
लेखकों का नया ढांचा (परीक्षण प्रयोगशाला) अब दूसरों के लिए बेहतर, अधिक सटीक हाइलाइटर्स बनाने के लिए उपलब्ध है। उन्होंने अपना कोड और डेटा भी जारी किया है ताकि अन्य वैज्ञानिक इन समस्याओं को ठीक करने का प्रयास कर सकें।
संक्षेप में: हमारे पास AI स्पष्टीकरणों (explainers) को परखने का एक नया, कठोर तरीका है। परीक्षण ने दिखाया कि वर्तमान स्पष्टक अक्सर झूठ बोलते हैं (या कम से कम, बहुत भ्रमित होते हैं), लेकिन अब हमारे पास एक ब्लूप्रिंट है जिससे सच बोलने वाले उपकरण बनाए जा सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।