Belief or Circuitry? Causal Evidence for In-Context Graph Learning
यह शोधपत्र कारण संबंधी साक्ष्य प्रदान करता है कि बड़े भाषा मॉडल (large language models) एक दोहरी प्रक्रिया के माध्यम से इन-कॉन्टेक्स्ट ग्राफ संरचनाओं को सीखते हैं, जहाँ वास्तविक वैश्विक टोपोलॉजी अनुमान (global topology inference) और स्थानीय पैटर्न मिलान (local pattern matching) एक एकल रणनीति पर निर्भर रहने के बजाय एक साथ संचालित होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े रहस्यमय रोबोट को एक भूलभुलैया (maze) में रास्ता खोजना सिखा रहे हैं। आप उसे एक रास्ते के कुछ कदम दिखाते हैं और फिर उससे अगला कदम पहचानने के लिए कहते हैं। वह बड़ा सवाल जो शोधकर्ता पूछ रहे हैं वह है: रोबोट रास्ता कैसे पता लगाता है?
क्या वह बस पिछले कुछ कदमों को याद कर रहा है (जैसे कोई तोता शब्दों को दोहराता है)? या क्या वह वास्तव में अपने दिमाग में पूरे भूलभुलैया का एक मानसिक मानचित्र (mental map) बना रहा है (जैसे एक इंसान पूरे लेआउट को समझता है)?
यह शोध पत्र, जिसका शीर्षक "Belief or Circuitry?" है, एक लार्ज लैंग्वेज मॉडल (जैसे वे जो चैटबॉट्स को संचालित करते हैं) और दो अलग-अलग प्रकार के मानचित्रों पर "रैंडम वॉक" के खेल का उपयोग करके इस प्रश्न का उत्तर देने की कोशिश करता है: एक ग्रिड (जैसे कई चौराहों वाला एक शहर का ब्लॉक) और एक रिंग (जैसे एक गोलाकार ट्रैक)।
यहाँ शोधकर्ताओं ने जो पाया है, उसका सरल विवरण दिया गया है:
1. "विश्वास" (Belief) बनाम "नकल" (Copying) की बहस
लंबे समय से, लोग इस बात पर बहस कर रहे थे कि ये AI मॉडल संदर्भ (context) से कैसे सीखते हैं।
- "नकल करने वाला" सिद्धांत (The "Copying" Theory): मॉडल बस पिछले कुछ शब्दों को देखता है और कहता है, "ओह, मैंने पहले इस शब्द के बाद वह शब्द देखा है, इसलिए मैं फिर से वही अनुमान लगाऊंगा।" यह एक ऐसे छात्र की तरह है जो परीक्षा से पहले केवल पाठ्यपुस्तक का अंतिम पृष्ठ पढ़ता है।
- "विश्वास करने वाला" सिद्धांत (The "Belief" Theory): मॉडल वास्तव में एक छिपी हुई संरचना का अनुमान लगा रहा है। वह सोच रहा है, "इन सुरागों के आधार पर, मेरा विश्वास है कि मैं एक रिंग ट्रैक पर हूँ, ग्रिड पर नहीं," और फिर वह उस मानसिक मानचित्र का उपयोग करके भविष्यवाणियां करता है।
2. प्रयोग: मानचित्रों का मिश्रण
शोधकर्ताओं ने मॉडल को केवल एक मानचित्र नहीं दिया; उन्होंने उसे एक मिश्रण दिया। कल्पना कीजिए कि आप रोबोट को एक ऐसा रास्ता दिखा रहे हैं जो एक ग्रिड और एक रिंग के बीच बार-बार कूदता है।
- यदि रोबोट केवल एक नकल करने वाला होता, तो उसे दोनों आकारों के बीच के अंतर से कोई फर्क नहीं पड़ता। वह बस वही कॉपी करता जो उसने हाल ही में देखा था।
- यदि रोबोट एक विश्वास करने वाला होता, तो वह दोनों आकारों के साथ अलग तरह से व्यवहार करता। वह समझ जाता कि "रिंग" सरल और सीखने में आसान है, जबकि "ग्रिड" अधिक जटिल है और इसे समझने के लिए अधिक साक्ष्यों की आवश्यकता होती है।
परिणाम: रोबोट एक विश्वास करने वाले की तरह व्यवहार करता है। उसे जटिल ग्रिड के प्रति "कमि़ट" होने में अधिक समय लगा, जबकि सरल रिंग के लिए कम। वह केवल नकल नहीं कर रहा था; वह जिस मानचित्र पर वह था, उसकी जटिलता को तौल रहा था।
3. "एक्स-रे" टेस्ट (दिमाग के अंदर देखना)
यह देखने के लिए कि रोबोट यह कैसे कर रहा था, शोधकर्ताओं ने उसके आंतरिक "मस्तिष्क तरंगों" (गणितीय रूप से, इसे 'रेसिड्यूअल स्ट्रीम' कहा जाता है) को देखा। उन्होंने PCA नामक एक तकनीक का उपयोग किया (इसे एक एक्स-रे की तरह समझें जो एक 3D वस्तु को उसके आकार को देखने के लिए 2D छाया में बदल देता है)।
- यदि यह केवल नकल करना होता तो वे क्या उम्मीद करते: रोबोट का मस्तिष्क ग्रिड और रिंग का एक धुंधला मिश्रण दिखता, जो आपस में मिला हुआ हो।
- उन्होंने वास्तव में क्या देखा: प्रयोग के मध्य में, रोबोट के मस्तिष्क ने दो अलग-अलग, स्पष्ट मानचित्र एक ही समय में रखे हुए थे। उसके मस्तिष्क के एक हिस्से में "ग्रिड" आकार था, और एक पूरी तरह से अलग हिस्से में "रिंग" आकार था। वे अलग-अलग कमरों में बजने वाले दो अलग-अलग रेडियो स्टेशनों की तरह थे, न कि शोर से भरे ढेर की तरह।
यह इस बात का पुख्ता प्रमाण है कि मॉडल केवल नकल नहीं कर रहा है; वह दुनिया की एक संरचित समझ बनाए रख रहा है।
4. "रिमोट कंट्रोल" टेस्ट (कारण संबंधी प्रमाण)
अंत में, शोधकर्ता जानना चाहते थे कि: "क्या यह मानसिक मानचित्र वास्तव में रोबोट को सही अनुमान लगाने के लिए प्रेरित करता है, या यह केवल एक साइड इफेक्ट है?"
उन्होंने दो तरकीबें इस्तेमाल कीं:
- "ब्रेन स्वैप" (पैचिंग): उन्होंने एक ऐसे रोबोट का "ब्रेन स्टेट" लिया जो उत्तर जानता था और उसे एक ऐसे रोब होते में बदल दिया जो भ्रमित था।
- परिणाम: भ्रमित रोबोट अचानक उत्तर जान गया। यह साबित करता है कि मस्तिष्क में मौजूद जानकारी ही भविष्यवाणी को संचालित करती है।
- "धक्का देना" (स्टीयरिंग): उन्होंने रोबोट को "ग्रिड" या "रिंग" की दिशा में एक छोटा सा गणितीय धक्का दिया।
- परिणाम: रोबोट के अनुमान ठीक उसी दिशा में बदल गए जिस दिशा में उन्हें धकेला गया था। यदि उन्होंने उसे "रिंग" की ओर धकेला, तो उसने रिंग के पड़ोसियों का अनुमान लगाया।
मुख्य निष्कर्ष
शोध पत्र यह निष्कर्ष निकालता है कि उत्तर "विश्वास या सर्किट्री" नहीं है। यह दोनों है।
AI को एक अपराध सुलझाने वाले जासूस की तरह समझें:
- सर्किट्री (नकल करना): वह तत्काल सुरागों (पिछले पदचिह्नों) को देखता है।
- विश्वास (संरचना): वह संदिग्ध की प्रोफाइल के बारे में एक सिद्धांत बनाता है (मानचित्र)।
मॉडल एक ही समय में दोनों काम करता है। वह हालिया पैटर्न को कॉपी करने के लिए अपने "इंडक्शन सर्किट्स" का उपयोग करता है, लेकिन वह एक वास्तविक, आंतरिक मॉडल भी बनाता है। ये दोनों प्रणालियाँ समानांतर में काम करती हैं, और अंतिम उत्तर तत्काल सुरागों और व्यापक परिप्रेक्ष्य के सिद्धांत को मिलाने से आता है।
संक्षेप में: AI केवल वही दोहराने वाला तोता नहीं है जो सुनता है; यह एक निर्माता है जो दुनिया का एक मानसिक मॉडल तैयार कर रहा है, भले ही वह दुनिया केवल बिंदुओं और रेखाओं का एक सरल खेल हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।