Representational Curvature Modulates Behavioral Uncertainty in Large Language Models
यह शोध पत्र यह प्रदर्शित करता है कि एक मॉडल के रिप्रजेंटेशनल प्रक्षेपवक्र (representational trajectory) का ज्यामितीय वक्रता (geometric curvature)—कि वह प्रोसेसिंग के दौरान कितना "मुड़ता" है—लार्ज लैंग्वेज मॉडल्स की प्रेडिक्टिव अनसर्टेन्टी (एन्ट्रॉपी) के साथ सीधे तौर पर सह-संबंधित है और इसका उपयोग उसे नियंत्रित करने के लिए किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक पेशेवर फिगर स्केटर को अपना प्रदर्शन करते हुए देख रहे हैं।
जब स्केटर बर्फ पर एक सहज, अनुमानित और सीधी रेखा में चल रहा होता है, तो आप आसानी से अनुमान लगा सकते हैं कि तीन सेकंड में वह कहाँ होगा। आपको आश्चर्य नहीं होता; आप "निश्चित" होते हैं। लेकिन यदि स्केटर अचानक तीखे, टेढ़े-मेढ़े, ज़िग-ज़ैग मोड़ लेने लगे, तो आप उनकी अगली चाल का अनुमान नहीं लगा पाएंगे। आप "अनिश्चितता" का अनुभव करते हैं।
MIT के शोधकर्ताओं द्वारा लिखे गए यह शोध पत्र सुझाव देता है कि लार्ज लैंग्वेज मॉडल्स (जैसे ChatGPT) भी बिल्कुल इसी तरह काम करते हैं।
मुख्य विचार: "सुचारू पथ" बनाम "टेढ़ा-मेढ़ा पथ"
जब एक AI किसी वाक्य को पढ़ता है, तो वह केवल शब्दों को नहीं देखता; वह उन शब्दों को एक उच्च-आयामी स्थान (high-dimensional space) में एक गणितीय "पथ" (जिसे ट्रैजेक्टरी कहा जाता है) में बदल देता है।
शोधकर्ताओं ने इस बात के बीच एक सीधा संबंध खोजा है कि इस गणितीय पथ का आकार और अगला शब्द चुनने के बारे में AI कितना आत्मविश्वासी है:
- सीधा पथ (कम वक्रता/Curvature = उच्च आत्मविश्वास): जब AI एक अनुमानित वाक्य को प्रोसेस कर रहा होता है (जैसे, "बिल्ली चटाई पर..."), तो उसका आंतरिक गणितीय पथ अपेक्षाकृत सीधा होता है। क्योंकि पथ सुचारू है, AI आसानी से "एक्सट्रपलेशन" (अनुमान) लगा सकता है कि पथ किस दिशा में जा रहा है। इससे लो एंट्रॉपी (low entropy) होती है, जिसका अर्थ है कि AI पूरी तरह सुनिश्चित है कि अगला शब्द "चटाई" होगा।
- मुड़ता हुआ पथ (उच्च वक्रता/Curvature = निम्न आत्मविश्वास): जब वाक्य जटिल, आश्चर्यजनक या संदिग्ध हो जाता है, तो AI का आंतरिक पथ तीखे मोड़ लेने लगता है और मुड़ने लगता है। ये तीखे मोड़ ही वे हैं जिन्हें शोधकर्ता "वक्रता" (curvature) कहते हैं। जब पथ मुड़ता है, तो AI आसानी से अगली दिशा का अनुमान नहीं लगा पाता, जिससे हाई एंट्रॉपी (high entropy) होती है—AI "अनिश्चित" हो जाता है और कई अलग-अलग शब्दों के बीच चयन करने में संघर्ष कर सकता है।
उन्होंने इसे कैसे सिद्ध किया ("स्टीयरिंग व्हील" परीक्षण)
यह सुनिश्चित करने के लिए कि यह केवल एक संयोग नहीं था, शोधकर्ताओं ने एक "परटर्बेशन" (perturbation) प्रयोग किया। इसे एक ड्राइविंग इंस्ट्रक्टर द्वारा कार के स्टीयरिंग व्हील को हल्का सा धकेलने जैसा समझें:
- लक्षित धक्का (The Targeted Nudge): यदि उन्होंने AI के "स्टीयरिंग" को विशेष रूप से इसके वर्तमान पथ के अनुदिश धकेला ताकि यह अधिक तीव्रता से मुड़े, तो AI तुरंत अधिक भ्रमित (अनिश्चितता बढ़ गई) हो गया।
- यादृच्छिक धक्का (The Random Nudge): यदि उन्होंने AI को पूरी तरह से यादृच्छिक (random), अप्रासंगिक दिशा में धकेला, तो AI के आत्मविश्वास में कोई बदलाव नहीं आया।
इससे सिद्ध हुआ कि पथ की ज्यामिति (geometry) केवल एक दुष्प्रभाव नहीं है; यह वास्तव में वह "इंजन" है जो यह तय करता है कि AI निर्णय कैसे लेता है।
क्या हम AI को "अधिक सुचारू" बनने के लिए "प्रशिक्षित" कर सकते हैं?
अंत में, शोधकर्ताओं ने यह देखने की कोशिश की कि क्या वे AI को एक "अधिक सुचारू स्केटर" बनने की शिक्षा दे सकते हैं। उन्होंने AI की प्रशिक्षण प्रक्रिया में एक नया नियम जोड़ा: "अपने गणितीय पथों को जितना संभव हो सके उतना सीधा रखने का प्रयास करें।"
उन्होंने पाया कि यह काम कर गया! "अनटैंगल्ड" (untangled) मॉडल (वे मॉडल जिन्हें सुचारू रहने के लिए प्रशिक्षित किया गया था) अधिक आत्मविश्वासी थे और उनमें अनिश्चितता कम थी, और—महत्वपूर्ण रूप से—वे मूर्ख नहीं हुए। वे अपनी उच्च सटीकता बनाए रखते हुए अपने आंतरिक तर्क में अधिक "निर्णायक" होने में सक्षम थे।
यह क्यों महत्वपूर्ण है?
अभी के समय में, हम जानते हैं कि LLMs अविश्वसनीय रूप से स्मार्ट हैं, लेकिन हमें हमेशा यह पता नहीं होता कि वे कुछ चीजों के बारे में इतने निश्चित क्यों होते हैं और अन्य चीजों के बारे में 'हैलुसिनेशन' (मनगढ़ंत बातें बनाना) क्यों करते हैं।
यह शोध सुझाव देता है कि अनिश्चितता AI के विचारों के आकार में ही लिखी होती है। AI के मस्तिष्क के "घुमावों" को समझकर, हम अंततः ऐसे मॉडल बना पाएंगे जो अधिक विश्वसनीय, अधिक अनुमानित और यह जानने में बेहतर होंगे कि वे वास्तव में कब भ्रमित हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।