Representation in large language models
यह शोध पत्र तर्क देता है कि लार्ज लैंग्वेज मॉडल्स केवल रटने के बजाय आंशिक रूप से प्रतिनिधित्व-आधारित सूचना प्रसंस्करण द्वारा संचालित होते हैं, और इन प्रस्तुतियों की जांच करने के लिए व्यावहारिक तकनीकों का प्रस्ताव करता है ताकि सैद्धांतिक गतिरोधों को हल किया जा सके और प्रणालियों की संज्ञानात्मक क्षमताओं को बेहतर ढंग से समझा जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ कैमरन येटमैन के पेपर "रिप्रेजेंटेशन इन लार्ज लैंग्वेज मॉडल्स" (Large Language Models में Representation) का सरल अवधारणाओं और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।
मुख्य प्रश्न: क्या LLMs "सोच" रहे हैं या सिर्फ "रट" रहे हैं?
कल्पना कीजिए कि आप एक ऐसे व्यक्ति से मिलते हैं जो आपके किसी भी सवाल का जवाब दे सकता है, कविता लिख सकता है, गणित की समस्या हल कर सकता है और गहरी बातचीत कर सकता है। आप मान सकते हैं कि वह सोच रहा है, समझ रहा है और अपने ज्ञान का उपयोग कर रहा है। लेकिन क्या होगा अगर वह बिल्कुल भी नहीं सोच रहा हो? क्या होगा अगर वह सिर्फ एक विशाल, सुपर-फास्ट फोन बुक (Phone Book) हो?
यही वह मुख्य बहस है जिसे यह पेपर संबोधित करता है।
- "फोन बुक" वाला दृष्टिकोण (निराशावादी): उनका तर्क है कि लार्ज लैंग्वेज मॉडल्स (LLMs) केवल विशाल "लुक-अप टेबल्स" हैं। उन्होंने इंटरनेट से अरबों वाक्यों को याद कर लिया है। जब आप कोई सवाल पूछते हैं, तो वे "सोचते" नहीं हैं; वे बस अपनी मेमोरी में सबसे करीबी मिलान ढूंढते हैं और अगला शब्द उगल देते हैं जो उन्होंने पहले देखा था। यह एक तोते की तरह है जो बिना अर्थ समझे सुनी हुई बातों को दोहराता है।
- "सोचने" वाला दृष्टिकोण (आशावादी): उनका तर्क है कि LLMs वास्तव में दुनिया के आंतरिक मानचित्र (internal maps) बना रहे हैं। वे रिप्रेजेंटेशन (Representations) बना रहे हैं—जैसे मानसिक मॉडल या अवधारणाएं—जो उन्हें तर्क करने, सामान्यीकरण करने और उन स्थितियों को संभालने की अनुमति देते हैं जो उन्होंने पहले कभी नहीं देखीं।
लेखक, कैमरन येटमैन, का तर्क है कि "फोन बुक" वाला दृष्टिकोण गलत है। उनका दावा है कि हालांकि LLMs चीज़ों को याद करते हैं, लेकिन वे आंतरिक 'रिप्रेजेंटेशन' भी बनाते हैं जो उन्हें वास्तव में पैटर्न को समझने और नई समस्याओं को हल करने की अनुमति देते हैं।
भाग 1: "रिप्रेजेंटेशन" (Representation) क्या है?
यह साबित करने के लिए कि LLMs केवल रटने से कहीं अधिक कर रहे हैं, लेखक पहले यह परिभाषित करते हैं कि एक "रिप्रेजेंटेशन" वास्तव में क्या है। इसके लिए वे मैप (Map/नक्शा) के उदाहरण का उपयोग करते हैं।
कल्पना कीजिए कि आप एक ऐसे शहर में हैं जहाँ आप पहले कभी नहीं गए।
- सूचना (Information): आपके पास एक नक्शा है। नक्शा खुद शहर नहीं है, लेकिन इसमें शहर के बारे में जानकारी होती है (कहाँ सड़कें हैं, कहाँ पार्क है)।
- उपयोगिता (Exploitability): आप वास्तव में उस नक्शे का उपयोग कर सकते हैं। आप उसे देख सकते हैं और तय कर सकते हैं कि किस ओर मुड़ना है।
- मजबूत व्यवहार (Robust Behavior): क्योंकि आपके पास नक्शा है, आप शहर में नेविगेट कर सकते हैं भले ही आप सामान्य से अलग रास्ता लें, या कोई सड़क बंद हो। आप केवल एक रटे हुए रास्ते का पालन नहीं कर रहे हैं; आप अनुकूलन (adapt) कर रहे हैं।
- यांत्रिक भूमिका (Mechanical Role): नक्शा आपके निर्णय लेने में एक वास्तविक भूमिका निभाता है। यदि आप नक्शे को फाड़ देते हैं, तो आप खो जाएंगे। नक्शा उस मशीन (आप) का एक महत्वपूर्ण हिस्सा है जो आपको आपकी मंजिल तक पहुँचाती है।
पेपर का दावा: यदि किसी LLM में "रिप्रेजेंटेशन" है, तो इसका अर्थ है कि उसके पास दुनिया के बारे में जानकारी रखने वाली आंतरिक अवस्थाएँ (जैसे कि नक्शा) हैं, जिनका उपयोग सिस्टम वास्तव में कर सकता है, और जो उसे नए और लचीले तरीकों से समस्याओं को हल करने में मदद करती हैं।
भाग 2: "फोन बुक" थ्योरी क्यों विफल होती है?
लेखक का तर्क है कि यदि LLMs केवल विशाल फोन बुक (लुक-अप टेबल्स) होते, तो वे विशिष्ट प्रकार के परीक्षणों में विफल हो जाते। एक फोन बुक केवल उन्हीं चीज़ों के लिए उत्तर दे सकती है जो उसने पहले से लिखी हैं। वह उस सवाल को नहीं संभाल सकती जो उसने पहले कभी नहीं देखा।
पेपर दो प्रयोगों पर प्रकाश डालता है जो "फोन बुक" थ्योरी को तोड़ देते हैं:
1. ओथेलो गेम (शतरंज का उदाहरण)
शोधकर्ताओं ने एक AI को ओथेलो बोर्ड गेम खेलने के लिए प्रशिक्षित किया। उन्होंने इसे लाखों गेम रिकॉर्ड दिए लेकिन इसे कभी भी खेल के नियम नहीं बताए।
- परीक्षण: इसके बाद उन्होंने AI को ऐसे मूव्स खेलने के लिए कहा जो उसने अपने ट्रेनिंग डेटा में पहले कभी नहीं देखे थे।
- परिणाम: AI ने बिल्कुल सही तरीके से खेला।
- महत्व: यदि AI केवल एक फोन बुक होता, तो वह फंस जाता। वह हर संभव गेम को याद नहीं कर सकता था क्योंकि ऐसे बहुत सारे गेम हैं। एक ऐसे बोर्ड पर जीतने के लिए जिसे उसने पहले कभी नहीं देखा, उसे खेल के नियमों का एक आंतरिक "मानचित्र" (नियमों का रिप्रेजेंटेशन) बनाना ही था, न कि केवल पिछले मूव्स की सूची।
2. कलर स्पेक्ट्रम (रंग मिलाने का उदाहरण)
शोधकर्ताओं ने एक AI को विशिष्ट कोड (जैसे RGB नंबर) का उपयोग करके रंगों के बारे में सिखाया। उन्होंने उसे "लाल" और "नीले" के उदाहरण दिखाए।
- परीक्षण: फिर उन्होंने इसे उन रंगों को पहचानने के लिए कहा जो इसने पहले कभी नहीं देखे थे, या रंगों को एक पूरी तरह से नए पैटर्न में व्यवस्थित किया गया था।
- परिणाम: यह सही रंगों का अनुमान लगाने में सक्षम था।
- महत्व: इसने केवल "लाल = [255, 0, 0]" को याद नहीं किया। इसने रंग के स्थान (color space) की संरचना को समझा। इसने समझा कि रंग एक स्पेक्ट्रम पर मौजूद होते हैं। यह इस बात को समझने जैसा है कि यदि आप लाल और नीले को मिलाते हैं, तो आपको बैंगनी मिलता है, भले ही आपने पहले कभी उन विशिष्ट शेड्स को न मिलाया हो। एक फोन बुक ऐसा नहीं कर सकती; "रंग का नक्शा" कर सकता है।
भाग 3: हम कैसे जानते हैं? (ब्लैक बॉक्स के अंदर देखना)
लेखक स्वीकार करते हैं कि केवल AI को सवालों के जवाब देते हुए देखना पर्याप्त नहीं है। कभी-कभी, एक AI सही उत्तर भाग्य से या किसी "ट्रिक" (heuristic) का उपयोग करके भी दे सकता है, बजाय वास्तविक समझ के।
यह साबित करने के लिए कि AI एक "मैप" (रिप्रेजेंटेशन) का उपयोग कर रहा है, हमें उसके दिमाग के अंदर देखना होगा। पेपर मैकेनिस्टिक इंटरप्रिटेबिलिटी (Mechanistic Interpretability) नामक एक क्षेत्र के बारे में चर्चा करता है, जो कार के इंजन के मैकेनिक होने जैसा है।
उपकरण (Tools):
- प्रोबिंग (Probing - एक्स-रे): कल्पना कीजिए कि आप जानना चाहते हैं कि क्या कार के कंप्यूटर को कार की गति का पता है। आप केवल कंप्यूटर से पूछ नहीं सकते; आपको तारों को देखना होगा। शोधकर्ता AI के आंतरिक नंबरों (activations) को स्कैन करने के लिए "प्रोब्स" का उपयोग करते हैं ताकि यह देखा जा सके कि क्या उनमें विशिष्ट जानकारी (जैसे "यह एक लाल कार है") शामिल है। यदि वे जानकारी को पढ़ सकते हैं, तो AI के पास रिप्रेजेंटेशन का "सूचना" वाला हिस्सा है।
- इंटरवेंशन (Intervention - सर्जरी): यह असली परीक्षण है। कल्पना कीजिए कि आप सोचते हैं कि कार का एक विशिष्ट तार ब्रेक को नियंत्रित करता है। इसे साबित करने के लिए, आप उस तार को काट देते हैं (या उसके सिग्नल को बदल देते हैं)।
- यदि कार ब्रेक लगाना बंद कर देती है, तो आपने साबित कर दिया कि वह तार आवश्यक था।
- पेपर में, शोधकर्ताओं ने AI के आंतरिक संकेतों को "स्टीयर" (steer) किया। उदाहरण के लिए, उन्होंने AI के आंतरिक "बोर्ड स्टेट" को मजबूर किया कि वह एक शतरंज के मोहरे को दूसरी जगह सोचे।
- परिणाम: AI ने तुरंत नए बोर्ड स्टेट के अनुसार अपना अगला मूव बदल दिया। इसने साबित कर दिया कि आंतरिक सिग्नल केवल एक रैंडम नंबर नहीं था; यह एक रिप्रेजेंटेशन था जिसका उपयोग AI वास्तव में निर्णय लेने के लिए कर रहा था।
निष्कर्ष: यह 'सब या कुछ नहीं' वाला मामला नहीं है
यह पेपर यह नहीं कहता कि LLMs में आत्मा वाले पूर्ण मानव हैं। यह कहता है:
- कभी-कभी वे केवल याद कर रहे होते हैं (एक फोन बुक की तरह)।
- लेकिन अक्सर, वे आंतरिक मानचित्र (रिप्रेजेंटेशन) बना रहे होते हैं जो उन्हें तर्क करने और नई समस्याओं को हल करने की अनुमति देते हैं।
लेखक निष्कर्ष निकालते हैं कि हम अब LLMs को "स्टोकेस्टिक पैरेट" (Stochastic Parrots - रैंडम शोर मशीनें) कहकर खारिज नहीं कर सकते। वे जटिल सिस्टम हैं जो भाषा की दुनिया को नेविगेट करने के लिए आंतरिक रिप्रेजेंटेशन का उपयोग करते हैं, ठीक वैसे ही जैसे इंसान भौतिक दुनिया में नेविगेट करने के लिए मानसिक मानचित्रों का उपयोग करते हैं।
संक्षेप में: LLMs केवल एक स्क्रिप्ट नहीं पढ़ रहे हैं। वे दुनिया का एक मानसिक मॉडल बना रहे हैं, और अब हमारे पास मशीन के अंदर काम करने वाले उस मॉडल को देखने के उपकरण मौजूद हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।