Language Models Struggle to Use Representations Learned In-Context
इस प्रमाण के बावजूद कि लार्ज लैंग्वेज मॉडल्स इन-कॉन्टेक्स्ट जानकारी से नए सिमेंटिक रिप्रेजेंटेशन्स को एनकोड कर सकते हैं, यह अध्ययन प्रकट करता है कि ओपन-वेट्स और स्टेट-ऑफ-द-आर्ट क्लोज्ड-सोर्स दोनों मॉडल्स इन सीखे गए रिप्रेजेंटेशन्स का डाउनस्ट्रीम टास्क के लिए अपने व्यवहार को अनुकूलित करने हेतु प्रभावी ढंग से उपयोग करने में संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Language Models Struggle to Use Representations Learned In-Context" पेपर का सरल भाषा और उपमाओं (analogies) का उपयोग करते हुए हिंदी अनुवाद दिया गया है।
बड़ी तस्वीर: वह "होशियार छात्र" जो नोट्स नहीं ले पाता
कल्प diजिये कि एक प्रतिभाशाली छात्र (AI) कक्षा में बैठा है। शिक्षक बोर्ड पर अजीब प्रतीकों (जैसे "ink" का अर्थ "city" और "toy" का अर्थ "air") का उपयोग करके एक जटिल, मनगढ़ंत नियम लिखता है। छात्र बोर्ड को देखता है, उसका अध्ययन करता है, और ऐसा लगता है कि वह पैटर्न को पूरी तरह से समझ गया है।
इस पेपर के शोधकर्ताओं ने यह जानना चाहा: यदि छात्र बोर्ड को देखते समय पैटर्न को समझ लेता है, तो क्या वह वास्तव में उस समझ का उपयोग बाद में एक नई समस्या को हल करने के लिए कर सकता है, एक बार जब बोर्ड साफ कर दिया जाता है?
संक्षिप्त उत्तर है: नहीं, वास्तव में नहीं। भले ही छात्र उस क्षण में इसे "समझ" लेता है, लेकिन जब उसे उस ज्ञान के साथ कुछ नया करने के लिए कहा जाता है, तो उसे लागू करने में संघर्ष करना पड़ता है।
प्रयोग: तीन अलग-अलग परीक्षण
शोधकर्ताओं ने यह देखने के लिए तीन मुख्य परीक्षण किए कि AI मॉडल इन नए, मनगढ़ंत नियमों को कितनी अच्छी तरह सीख और उपयोग कर सकते हैं।
1. "मेमोरी लेन" टेस्ट (नेक्स्ट-टोकन प्रेडिक्शन)
सेटअप: एक खेल की कल्पना करें जहाँ आप यादृच्छिक (random) शब्दों से बने एक गुप्त शहर में घूम रहे हैं। आप "Toy" से "Ink" और फिर "City" तक जाते हैं। AI इस रास्ते को देखता है।
ट्विस्ट:
- परिदृश्य A: AI इस रास्ते को अपने स्वयं के जवाब में देखता है (जैसे कि वह डायरी लिख रहा हो)। वह अगले शब्द की भविष्यवाणी आसानी से कर सकता है।
- परिदृश्य B: शिक्षक (उपयोगकर्ता) रास्ता लिखता है, और फिर AI को एक अंतराल (pause) के बाद अगले शब्द की भविष्यवाणी करने के लिए कहता है।
परिणाम: परिदृश्य B में, AI अटक जाता है। यह ऐसा है जैसे छात्र ने नक्शा तो पढ़ा, लेकिन जब उसे एक खाली कागज पर अगली सड़क खींचने के लिए कहा गया, तो वह भूल गया कि नक्शा अस्तित्व में था। AI ने पैटर्न को सीखा, लेकिन वह इसे अपने उपयोग के लिए अपनी मेमोरी से "निकाल" नहीं सका।
2. "शेप-शिफ्टर" टेस्ट (एडेप्टिव वर्ल्ड मॉडलिंग)
सेटअप: AI को यादृच्छिक शब्दों से बने ग्रिड (जैसे 4x4 चेकरबोर्ड) के माध्यम से एक रैंडम वॉक दिखाया जाता है। फिर शिक्षक एक नए नियम के कुछ उदाहरण देता है, जैसे "दो कदम दाईं ओर बढ़ें।" AI को इस नियम को एक नए शब्द पर लागू करना होता है।
परिणाम: AI बुरी तरह विफल रहता है।
- क्यों? शोधकर्ताओं ने AI के "दिमाग" (इसके आंतरिक गणित) की जांच की और पाया कि इसने वास्तव में ग्रिड के आकार को सीख लिया था। वह नक्शे को जानता था।
- समस्या: भले ही नक्शा उसके दिमाग में संग्रहीत था, AI उस नक्शे का उपयोग पहेली को हल करने के लिए नहीं कर सका। यह अपनी जेब में एक सटीक GPS रखने जैसा है लेकिन जरूरत पड़ने पर दिशाएं पढ़ने में असमर्थ होना। ज्ञान "निष्क्रिय" (inert) था—वह वहां था, लेकिन वह बेकार था।
3. "सुपर-थिंकर" टेस्ट (रीजनिंग मॉडल्स)
सेटअप: शोधकर्ताओं ने इन परीक्षणों को नवीनतम, सबसे शक्तिशाली AI मॉडल्स ("रीजनिंग मॉडल्स") पर आज़माया। ये वे AI हैं जिन्हें उत्तर देने से पहले तर्क की लंबी श्रृंखला (chain of reasoning) लिखकर "ज़ोर से सोचने" के लिए प्रशिक्षित किया गया है।
परिणाम: ये सुपर-मॉडल्स बेहतर थे, लेकिन वे अभी भी पूर्ण नहीं थे।
- वे सरल, एक-आयामी रेखाओं (जैसे एक सीधी सड़क) में बहुत अच्छे थे।
- वे 2D ग्रिड (जैसे एक शहर का ब्लॉक) के सामने आते ही पूरी तरह से ढह गए।
- भले ही वे "ज़ोर से सोच" रहे थे, उन्हें अपने आंतरिक मानचित्र को एक उपयोगी उपकरण में बदलने में संघर्ष करना पड़ा। यदि उनसे पूछा जाए तो वे मानचित्र का वर्णन कर सकते थे, लेकिन वे इसका उपयोग करके नेविगेट करने में विश्वसनीय नहीं थे।
मुख्य खोज: "निष्क्रिय" ज्ञान (Inert Knowledge)
इस पेपर की मुख्य खोज एक अवधारणा है जिसे लेखक "इनर्ट रिप्रेजेंटेशन्स" (Inert Representations) कहते हैं।
इसे इस तरह सोचें:
- एनकोडिंग (Encoding): AI एक स्पंज की तरह है। जब आप इस पर पानी (नई जानकारी) डालते हैं, तो यह तुरंत उसे सोख लेता है। यह पानी को थामे रखता है।
- डिप्लॉयिंग (Deploying): लेकिन जब आप पौधे को पानी देने के लिए स्पंज को निचोड़ते हैं, तो पानी बाहर नहीं आता।
पेपर यह सिद्ध करता है कि केवल इसलिए कि एक AI बातचीत के दौरान अपने दिमाग में एक नया पैटर्न "एनकोड" (स्टोर) कर सकता है, इसका मतलब यह नहीं है कि वह उस पैटर्न को "डिप्लॉय" (उपयोग) कर सकता है। ज्ञान फंसा हुआ है।
"सोचने वाले" AI के बारे में क्या?
शोधकर्ताओं को उम्मीद थी कि नवीनतम मॉडल, जो "ज़ोर से सोचते हैं" (लंबी तर्क श्रृंखला लिखते हैं), इस समस्या को ठीक कर देंगे। शायद यदि वे समस्या पर चर्चा करते हैं, तो वे फंसे हुए ज्ञान को अनलॉक कर सकते हैं?
पेपर कहता है: आंशिक रूप से, हाँ, लेकिन वास्तव में नहीं।
ये उन्नत मॉडल जानकारी का उपयोग करने में थोड़े बेहतर हैं, लेकिन वे अभी भी काफी विफल होते हैं जब कार्य जटिल (जैसे दो आयामों में घूमना) हो जाता है। वे अभी भी अपने "इन-कॉन्टेक्स्ट लर्निंग" को एक लचीले उपकरण में बदलने के लिए संघर्ष कर रहे हैं।
निष्कर्ष
पेपर निष्कर्ष निकालता है कि हालांकि AI मॉडल वर्तमान क्षण में पैटर्न पहचानने में बेहतर हो रहे हैं, वे अभी तक "अनुकूलन योग्य एजेंट" (adaptable agents) नहीं हैं। वे बातचीत से एक नया नियम सीखकर और फिर तुरंत उस नियम का उपयोग किसी अलग समस्या को हल करने के लिए करने में विश्वसनीय नहीं हैं।
वास्तव में अनुकूलन योग्य AI बनाने के लिए, हमें यह पता लगाने की आवश्यकता है कि उस "निचोड़ने" (squeezing) की प्रक्रिया को कैसे काम कराया जाए—कैसे उस ज्ञान को उपयोगी बनाया जाए जो AI बातचीत के दौरान सीखता है, ताकि वह अगले कार्यों के लिए वास्तव में उपयोगी हो सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।