Temporal Fact Conflicts in LLMs: Reproducibility Insights from Unifying DYNAMICQA and MULAN
यह पुनरुत्पादकता अध्ययन DYNAMICQA और MULAN बेंचमार्क को एकीकृत करके LLMs की टेम्पोरल तथ्यों (temporal facts) को अपडेट करने की क्षमता के बारे में विरोधाभासी निष्कर्षों को सुलझाता है, जिससे यह पता चलता है कि निष्कर्ष डेटासेट डिज़ाइन, मूल्यांकन मेट्रिक्स और मॉडल आकार पर अत्यधिक निर्भर हैं, जिसमें MULAN के परिणाम पद्धतिगत ढांचों (methodological frameworks) में अधिक सामान्यीकरण योग्य सिद्ध होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, विद्वान लाइब्रेरियन है जिसका नाम LLM (लार्ज लैंग्वेज मॉडल) है। इस लाइब्रेरियन ने दुनिया की लगभग हर किताब पढ़ ली है जो एक निश्चित तारीख तक उपलब्ध थी, और उसने उनके अंदर के सभी तथ्यों को याद कर लिया है।
लेकिन यहाँ एक समस्या है: दुनिया बदलती रहती है। राष्ट्रपति चुने जाते हैं, स्पोर्ट्स टीमों के नाम बदलते हैं, और वैज्ञानिक खोजें होती हैं। लाइब्रेरियन की याददाश्त अतीत में अटकी हुई है, लेकिन उनसे आज के बारे में सवाल पूछे जा रहे हैं।
हाल ही में, दो अलग-अलग रिसर्च टीमों ने यह पता लगाने की कोशिश की: "यदि हम लाइब्रेरियन को एक नया अखबार का लेख दें जिसमें 'नया सच' लिखा हो, तो क्या वे उसे सुनेंगे और अपना उत्तर बदलेंगे, या वे अपनी याददाश्त पर अड़े रहेंगे?"
टीम A और टीम B दोनों ने बिल्कुल एक जैसा प्रयोग किया लेकिन उन्हें विपरीत परिणाम मिले।
- टीम A (DYNAMICQA) ने कहा: "बिल्कुल नहीं! लाइब्रेरियन जिद्दी है। अगर वे सोचते हैं कि उत्तर 'X' है, तो वे अखबार की बात नहीं मानेंगे जो कह रहा है कि 'Y' है।"
- टीम B (MULAN) ने कहा: "दरअसल, हाँ! लाइब्रेरियन लचीला है। अगर हम उन्हें नई जानकारी दिखाते हैं, तो वे आसानी से 'Y' पर स्विच कर लेते हैं।"
यह पेपर एक "जासूसी कहानी" है जहाँ लेखक (रितजित और उनके साथी) इस रहस्य को सुलझाने की कोशिश कर रहे हैं। वे वैज्ञानिक रेफरी की तरह काम करते हैं, दोनों खेलों को दोबारा खेलकर देखते हैं कि कौन सही है।
जांच: खेलों को दोबारा खेलना
लेखकों ने महसूस किया कि टीम A और टीम B केवल अलग-अलग तरीके से एक ही खेल नहीं खेल रही थीं; वे अलग-अलग नियमों के साथ बिल्कुल अलग खेल खेल रही थीं।
1. "प्रश्न" बनाम "खाली स्थान भरें"
- टीम A ने लाइब्रेरियन से पूर्ण प्रश्न पूछे जैसे: "अमेरिका का राष्ट्रपति कौन है?" और उन्हें एक लंबा, स्वाभाविक दिखने वाला विकिपीडिया पैराग्राफ संकेत के रूप में दिया।
- टीम B ने लाइब्रेरियन को एक वाक्य पूरा करने के लिए कहा जैसे: "अमेरिका का राष्ट्रपति... है" और उन्हें एक बहुत ही रोबोटिक, कंप्यूटर-जनित संकेत दिया जैसे: "कल्पना करें कि राष्ट्रपति [नाम] हैं। फिर..."
उपमा (Analogy):
कल्पना कीजिए कि आप एक कुत्ते को नया करतब सिखाने की कोशिश कर रहे हैं।
- टीम A एक ट्रीट (इनाम) पकड़े हुए एक लंबे, जटिल वाक्य में कमांड चिल्ला रही है।
- टीम B कुत्ते की नाक थपथपाते हुए एक सरल, दोहराव वाला कमांड फुसफुसा रही है।
- परिणाम: कुत्ता फुसफुसाहट (टीम B) को सुन सकता है लेकिन चिल्लाने (टीम A) को अनदेखा कर सकता है। लेखकों ने पाया कि सवाल पूछने का तरीका पूरी तरह से परिणाम बदल देता है।
2. "फेक न्यूज" बनाम "असली न्यूज"
- टीम A ने वास्तविक, बिखरे हुए, मानव-लिखित पैराग्राफ का उपयोग किया।
- टीम B ने सरल, कंप्यूटर-जनित वाक्यों का उपयोग किया।
उपमा (Analogy):
- टीम A एक शिक्षक की तरह है जो आपको एक गलती सुधारने के लिए पूरी पाठ्यपुस्तक का अध्याय देता है।
- टीम B एक शिक्षक की तरह है जो व्हाइटबोर्ड पर एक बोल्ड वाक्य लिखता है: "उत्तर X है।"
- लेखकों ने पाया कि जब उन्होंने इन शैलियों को आपस में बदला, तो परिणाम भी पलट गए। जब टीम A की "असली न्यूज" शैली को टीम B के प्रश्नों पर इस्तेमाल किया गया, तो लाइब्रेरियन फिर से जिद्दी हो गया। जब टीम B की "रोबोटिक" शैली को टीम A के प्रश्नों पर इस्तेमाल किया गया, तो लाइब्रेरियन लचीला हो गया।
3. "आकार मायने रखता है" प्रयोग
मूल अध्ययनों में केवल एक विशिष्ट आकार (7 बिलियन "मस्तिष्क कोशिकाओं") के लाइब्रेरियन का परीक्षण किया गया था। लेखकों ने छोटे लाइब्रेरियन (1B), मध्यम (4B), और विशाल (12B) लाइब्रेरियन का परीक्षण करने का निर्णय लिया।
उपमा (Analogy):
- उन्होंने पाया कि छोटे लाइब्रेरियन बहुत भ्रमित होते हैं और उन्हें अपडेट करना कठिन होता है।
- विशाल लाइब्रेरियन अपनी पुरानी यादों में बहुत आश्वस्त होते हैं और उन्हें अपडेट करना कठिन होता है।
- मध्यम लाइब्रेरियन ही एकमात्र ऐसे थे जो नई जानकारी को आसानी से सुनते हुए प्रतीत हुए।
यह खोजने जैसा है कि एक बच्चा और एक दादाजी दोनों ही एक नए तथ्य के बारे में जिद्दी हो सकते हैं, लेकिन बीच का एक किशोर सबसे अधिक खुले दिमाग वाला होता है। इसका मतलब है कि "क्या LLM जिद्दी हैं?" का उत्तर इस बात पर निर्भर करता है कि AI का आकार कितना बड़ा है।
बड़ा खुलासा
सभी प्रयोग चलाने के बाद, लेखकों ने निष्कर्ष निकाला कि न तो टीम A गलत थी, और न ही टीम B सही थी।
- टीम A ने साबित किया कि यदि आप प्राकृतिक भाषा के साथ जटिल प्रश्न पूछते हैं, तो LLM जिद्दी होते हैं और समय-संवेदनशील तथ्यों के बारे में अपनी राय बदलने से कतराते हैं।
- टीम B ने साबित किया कि यदि आप सरल, संरचित प्रश्न और रोबोटिक संकेत देते हैं, तो LLM लचीले होते हैं और आसानी से अपडेट हो जाते हैं।
अंतिम सबक:
इन AI मॉडल्स का व्यवहार कोई स्थिर व्यक्तित्व लक्षण नहीं है। यह एक गिरगिट की तरह है।
- यदि आप प्रयोग को टीम A के कपड़ों में सजाते हैं, तो AI जिद्दी दिखता है।
- यदि आप इसे टीम B के कपड़ों में सजाते हैं, तो AI लचीला दिखता है।
आपको इसकी परवाह क्यों करनी चाहिए?
यदि आप डॉक्टरों, वकीलों या पत्रकारों की मदद के लिए AI बना रहे हैं, तो आपको यह जानना आवश्यक है। आप सिर्फ यह नहीं कह सकते, "हमारा AI तथ्यों को अपडेट करने में अच्छा है।" आपको यह पूछना होगा: "किन परिस्थितियों में?"
- यदि आपके AI से प्राकृतिक बातचीत (जैसे चैटबॉट) में पूछा जाता है, तो वह नई खबरों को अनदेखा कर सकता है।
- यदि आपके AI का उपयोग एक कठोर डेटाबेस सिस्टम में किया जाता है, तो वह तुरंत अपडेट हो सकता है।
मुख्य बात (Takeaway):
AI की दुनिया पेचीदा है। क्या एक AI नई जानकारी सुनता है या नहीं, यह इस पर निर्भर करता है कि आप सवाल कैसे पूछते हैं, सवाल कैसा दिखता है, और AI का दिमाग कितना बड़ा है। कोई एक "हाँ" या "ना" वाला जवाब नहीं है; यह सब संदर्भ (context) के बारे में है।
लेखकों ने अपना कोड और डेटा सार्वजनिक कर दिया है, और सभी को इन "गिरगिटों" का परीक्षण जारी रखने के लिए आमंत्रित किया है ताकि देखा जा सके कि वे विभिन्न स्थितियों में कैसे प्रतिक्रिया देते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।