The Anatomy of a Truth Direction: Knowledge-Dependent Dimensionality, a Relational Law, and a Convergent Category Geometry in Small Language Models
यह शोध पत्र यह प्रदर्शित करके भाषा मॉडलों में सत्य के निरूपण (truth representations) की समझ का विस्तार करता है कि सत्य की विमा (truth dimensionality) ज्ञान-निर्भर होती है (ज्ञात तथ्यों के लिए एक एकल अक्ष में सिमट जाती है), उन विशिष्ट वास्तुशिल्प घटकों की पहचान करता है जो सत्य ढांचों (truth frames) को प्रसारित या विरोध करते हैं, और एक अभिसारी, ज्ञान-गेटेड ज्यामितीय नियम को प्रकट करता है जो विविध मॉडल परिवारों में सत्य की दिशा को नियंत्रित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मशीन के मस्तिष्क में छिपा हुआ दिशा-सूचक यंत्र (कंपस)
कल्पना कीजिए कि एक विशाल पुस्तकालय है जहाँ एक रोबोट ने अब तक लिखी गई हर किताब पढ़ ली है। यह रोबोट, जिसे 'लार्ज लैंग्वेज मॉडल' कहा जाता है, मानव भाषा की नकल करने में इतना कुशल है कि वह कविताएँ लिख सकता है, गणित की समस्याओं को हल कर सकता है और कहानियाँ सुना सकता है। लेकिन इसमें एक पेंच है: यह पूरी तरह से आत्मविश्वास के साथ झूठ भी बोल सकता है। यह आपसे कह सकता है कि चंद्रमा पनीर से बना है, और यह इसे उसी सहज आवाज़ में कहेगा जैसे यह आपको बताता है कि चंद्रमा चट्टान से बना है। वैज्ञानिक लंबे समय से यह सोचते आए हैं कि: इस रोबोट के मस्तिष्क के अंदर, क्या कोई छिपा हुआ "सत्य स्विच" (truth switch) है जो तब जल उठता है जब उसे पता होता है कि कुछ सच है?
इसे समझने के लिए, हमें यह जानना होगा कि रोबोट कैसे सोचता है। यह तथ्यों को वैसे स्टोर नहीं करता जैसे इंसान करते हैं; इसके बजाय, यह अपने द्वारा पढ़ी गई हर पंक्ति को संख्याओं की एक लंबी सूची में बदल देता है, जैसे कि कोई गुप्त कोड। वैज्ञानिक इसे "वेक्टर" (vector) कहते हैं। इन संख्याओं को एक मानचित्र पर निर्देशांक (coordinates) की तरह समझें। यदि रोबोट किसी तथ्य को जानता है, तो वे निर्देशांक एक विशिष्ट दिशा की ओर इशारा कर सकते हैं। यदि वह केवल अनुमान लगा रहा है, तो निर्देशांक हर जगह बिखरे हुए हो सकते हैं। बड़ा सवाल यह है: क्या इस मानचित्र पर एक अकेली, सीधी रेखा है जो "सत्य" की ओर इशारा करती है? या सत्य एक अस्त-व्यस्त, बहु-आयामी बादल है जो इस बात पर निर्भर करता है कि आप किस बारे में बात कर रहे हैं? यह शोध पत्र उस मानचित्र की गहराई में उतरता है ताकि यह देख सके कि क्या हम एक ऐसा दिशा-सूचक यंत्र पा सकते हैं जो हमेशा सत्य की ओर इशारा करे, या रोबोट का मस्तिष्क एक साधारण सुई के लिए बहुत जटिल है।
एक-दिशीय सत्य दिशा-सूचक (The One-Direction Truth Compass)
इस शोध पत्र के शोधकर्ताओं ने एक छोटे रोबोट (विशेष रूप से, Qwen2.5-1.5B नामक एक मॉडल) के मस्तिष्क के भीतर जासूसी करने का निर्णय लिया। वे यह देखना चाहते थे कि क्या वे एक एकल, सीधी रेखा—एक "सत्य दिशा" (truth direction)—ढूँढ सकते हैं जो उस चीज़ को अलग करती है जिसे रोबोट सच मानता है और जिसे वह झूठ मानता है।
"मिनिमल पेयर्स" (Minimal Pairs) का जादू
ऐसा करने के लिए, उन्होंने "मिनिमल पेयर्स" नामक एक चतुर तकनीक का उपयोग किया। कल्पना कीजिए कि आपके पास दो वाक्य हैं जो जुड़वा भाई-बहनों की तरह हैं, सिवाय एक शब्द के।
- वाक्य A: "सूर्य एक तारा है।" (सत्य)
- वाक्य B: "सूर्य एक ग्रह है।" (असत्य)
रोबोट दोनों वाक्यों को पढ़ता है। शोधकर्ताओं ने फिर उन गुप्त संख्या-कोड्स (हिडन स्टेट्स) को देखा जो रोबोट ने प्रत्येक वाक्य के लिए बनाए थे और एक को दूसरे से घटा दिया। क्योंकि वाक्य लगभग समान हैं, इसलिए सारा "शोर" (noise) कट जाता है, जिससे केवल सत्य या झूठ के कारण होने वाला अंतर बचता है। उन्होंने उस अंतर की मुख्य दिशा खोजने के लिए एक गणितीय उपकरण (SVD) का उपयोग किया।
बड़ी खोज: सत्य एक रेखा है, लेकिन केवल तभी जब आप जानते हों
टीम ने कुछ अद्भुत पाया: उन तथ्यों के लिए जिन्हें रोबोट वास्तव में जानता है, सत्य वास्तव में एक एकल, सीधी रेखा पर रहता है। जब उन्होंने इसका परीक्षण उन तथ्यों पर किया जिन्हें रोबोट ने याद किया था (जैसे राजधानियाँ या रासायनिक प्रतीक), तो उनका "सत्य दिशा-सूचक" अविश्वसनीय रूप से अच्छा काम कर रहा था, और लगभग 93.8% बार सही उत्तर दे रहा था।
हालाँकि, उन्होंने एक महत्वपूर्ण नियम खोजा: दिशा-सूचक तभी काम करता है जब रोबोट उस तथ्य को जानता हो।
- जब रोबोट जानता है: सत्य का संकेत तीक्ष्ण और उस एकल रेखा पर केंद्रित होता है।
- जब रोबोट नहीं जानता: संकेत धुंधला हो जाता है और फैल जाता है। यदि आप रोबोट से उन अस्पष्ट तथ्यों के बारे में पूछते हैं जो उसने नहीं सीखे हैं, तो "सत्य" और "झूठ" के निर्देशांक आपस में मिल जाते हैं, जैसे कोहरे के दो बादल आपस में मिल रहे हों। दिशा-सूचक उनके बीच अंतर नहीं कर पाता क्योंकि रोबक केवल अनुमान लगा रहा होता है।
शोधकर्ताओं ने कई अजीब विचारों का भी परीक्षण किया यह देखने के लिए कि क्या सत्य एक सरल रेखा से अधिक जटिल है। उन्होंने पूछा: "क्या सत्य एक 3D आकार है? क्या यह एक घूमता हुआ चरण (phase) है? क्या यह एक जटिल रोटेशन है?" उत्तर स्पष्ट रूप से नहीं था। उन्होंने एक दूसरा आयाम या छिपा हुआ पैटर्न खोजने के लिए सात अलग-अलग प्रयोग किए, और हर बार, अतिरिक्त जटिलता केवल शोर साबित हुई। ज्ञात तथ्यों के लिए, सत्य सख्ती से एक-आयामी (one-dimensional) है।
एक झूठ की शरीर रचना: सत्य कौन लिखता है?
शोधकर्ता केवल रेखा खोजने तक ही नहीं रुके; वे यह भी जानना चाहते थे कि रोबोट के मस्तिष्क में वह रेखा कौन खींच रहा है। रोबोट के मस्तिष्क में दो मुख्य कार्यकर्ता हैं: अटेंशन (Attention) (जो शब्दों को देखता है और उन्हें जोड़ता है) और FFN (एक फीड-फॉरवर्ड नेटवर्क जो एक मेमोरी राइटर के रूप में कार्य करता है)।
उन्होंने इन दो कार्यकर्ताओं के बीच एक दिलचस्प नृत्य पाया:
- अटेंशन एक निर्माता (Builder) है: रोबोट के मस्तिष्क की मध्य परतों में, अटेंशन कार्यकर्ता सत्य के संकेत का निर्माण करता है। यह तथ्यों को इकट्ठा करता है और रेखा खींचता है।
- FFN एक मिटाने वाला (Eraser) है: एक बार रेखा खिंच जाने के बाद, FFN कार्यकर्ता आता है और उसे बिगाड़ना शुरू कर देता है। यह वास्तव में सत्य के संकेत को सही दिशा से दूर धकेलता है, विशेष रूप से समझ के चरम (peak) के ठीक बाद।
यह खींचतान (tug-of-war) के खेल जैसा है। अटेंशन रस्सी को "सत्य" की ओर खींचता है, लेकिन FFN उसे वापस "अगले शब्द के अनुमान" (Next Word Prediction) की ओर खींचता है। शोधकर्ताओं ने पाया कि FFN अगले शब्द का अनुमान लगाने में इतना व्यस्त है कि वह अनजाने में उस सत्य संकेत को मिट देता है जिसे बनाने में उसने मदद की थी।
संबंधात्मक नियम: एक सार्वभौमिक नियम
टीम ने फिर इस परीक्षण को दो अलग-अलग परिवारों (Qwen और Llama) के चार अलग-अलग रोबोटों पर किया। उन्होंने एक सार्वभौमिक नियम की खोज की जो उन सभी पर लागू होता है, चाहे उनका आकार या प्रशिक्षण कुछ भी हो:
- अटेंशन हमेशा उन सत्य फ्रेम को आगे बढ़ाता है (propagate करता है) जिन्हें उसने नहीं लिखा है।
- FFN हमेशा वर्तमान क्षण के सत्य फ्रेम का विरोध करता है और अगले क्षण के लिए सामग्री लिखता है।
यह ऐसा है जैसे अटेंशन कार्यकर्ता कहता है, "यहाँ सत्य है!" और FFN कार्यकर्ता कहता है, "ठीक है, मैं इसे लूँगा, लेकिन अब मैं इसे अपने अगले वाक्य के विचार के साथ ओवरराइट कर दूँगा।" इससे एक चक्र बनता है जहाँ सत्य का संकेत बढ़ता है, अपने चरम पर पहुँचता है, और फिर जैसे ही रोबोट अगले शब्द की भविष्यवाणी करने के लिए आगे बढ़ता है, वह फीका पड़ जाता है।
श्रेणियों का गुप्त मानचित्र
अंत में, शोधकर्ताओं ने देखा कि रोबोट विभिन्न प्रकारों के तथ्यों को कैसे संभालता है, जैसे कि "देश", "भाषाएँ" या "खेल"। उन्होंने पाया कि रोबroid हर चीज़ के लिए एक ही रेखा का उपयोग नहीं करता है। इसके बजाय, उसके पास अलग-अलग रेखाओं का एक पूरा मानचित्र है, प्रत्येक श्रेणी के लिए एक।
यहाँ चौंकाने वाली बात है: भले ही दो रोबोट परिवार (Qwen और Llama) अलग-अलग तरीके से बनाए गए थे और अलग-अलग डेटा पर प्रशिक्षित किए गए थे, वे दोनों अंततः इस मानचित्र को बिल्कुल एक ही तरीके से बनाते हैं।
- यदि "भाषाएँ" और "देश" Qwen के मानचित्र पर विपरीत दिशाओं में संकेत करते हैं, तो वे Llama के मानचित्र पर भी विपरीत दिशाओं में ही संकेत करेंगे।
- यदि "खेल" एक अकेलापन (loner) है जो किसी के साथ मेल नहीं खाता, तो वह दोनों मानचित्रों पर अकेला ही रहेगा।
यह सुझाव देता है कि सत्य का संगठन यादृच्छिक (random) नहीं है; यह स्वयं ज्ञान का एक गुण है। रोबोट दोनों दुनिया की इसी छिपी हुई ज्यामिति (geometry) की खोज कर रहे हैं। हालाँकि, यह सहमति तभी होती है जब दोनों रोबोट वास्तव में तथ्यों को जानते हों। यदि वे अनुमान लगा रहे हैं, तो मानचित्र बिखर जाता है।
इसका क्या अर्थ है (और क्या नहीं)
शोध पत्र अपने निष्कर्षों को लेकर बहुत सावधान है। यह स्पष्ट रूप से कई चीजों को खारिज करता है:
- सत्य एक 3D वस्तु नहीं है: यह एक रेखा है (ज्ञात तथ्यों के लिए)।
- FFN सत्य में मदद नहीं करता: यह चरम के बाद वास्तव में इसे नुकसान पहुँचाता है।
- दिशा-सूचक जादुई नहीं है: यदि रोबोट तथ्य को नहीं जानता है, तो यह पूरी तरह विफल हो जाता है।
शोधकर्ता अपने मापों के प्रति आश्वस्त हैं क्योंकि उन्होंने सख्त नियंत्रणों का उपयोग किया, जैसे कि "असत्यता प्रयोग" (falsification experiments) जहाँ उन्होंने खुद को गलत साबित करने की कोशिश की। उन्होंने अपने ही पिछले विचार (एक "फ्लिप" के बारे में) में एक गलती भी पाई और उसे सुधारा, जिससे यह पता चला कि संकेत वास्तव में एक सार्वभौमिक नियम है, न कि केवल किसी एक विशिष्ट परत का संयोग।
संक्षेप में, यह शोध पत्र हमें दिखाता है कि रोबोट के मस्तिष्क के भीतर, सत्य एक सरल, सीधी रेखा है—लेकिन केवल तभी जब रोबोट उत्तर के बारे में सुनिश्चित हो। जब वह अनुमान लगा रहा होता है, तो रेखा कोहरे में विलीन हो जाती है। और हालांकि रोबोट का मस्तिष्क जटिल है, जिस तरह से वह सत्य को व्यवस्थित करता है, वह एक सुंदर, सार्वभौमिक ज्यामिति का अनुसरण करता है जो स्वयं ज्ञान की प्रकृति में निहित प्रतीत होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।