The Illusion of Latent Generalization: Bi-directionality and the Reversal Curse
यह शोध पत्र यह प्रदर्शित करता है कि जबकि द्विदिश प्रशिक्षण उद्देश्य (bidirectional training objectives) स्रोत संस्थाओं को स्पष्ट रूप से भविष्यवाणी लक्ष्यों के रूप में बनाकर भाषा मॉडलों में 'रिवर्ज़ल कर्से' (reversal curse) को कम कर सकते हैं, वे ऐसा एक एकीकृत, दिशा-निरपेक्ष लेटेंट सामान्यीकरण (direction-agnostic latent generalization) उत्पन्न करने के बजाय फॉरवर्ड और रिवर्स तथ्यों को अलग-अलग निरूपणों के रूप में संग्रहीत करके करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "The Illusion of Latent Generalization" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।
बड़ी समस्या: AI की "एकतरफा सड़क" (One-Way Street)
कल्पना कीजिए कि आप एक छात्र को एक सरल तथ्य सिखाते हैं: "बिल्ली कुत्ते से बड़ी है।"
यदि आप बाद में उनसे पूछते हैं, "क्या कुत्ता बिल्ली से छोटा है?" तो उन्हें आसानी से "हाँ" कहना चाहिए।
हालाँकि, मानक AI मॉडल (जिन्हें लार्ज लैंग्वेज मॉडल्स या LLMs कहा जाता है) अक्सर इसमें विफल रहते हैं। वे वाक्य "बिल्ली > कुत्ता" को पूरी तरह से सीख लेते हैं, लेकिन यदि आप पूछते हैं "कुत्ता < बिल्ली?", तो वे भ्रमित हो जाते हैं और कहते हैं कि उन्हें नहीं पता। इसे "रिवर्सल कर्स" (Reversal Curse) कहा जाता है।
यह किसी को केवल एकतरफा सड़क पर गाड़ी चलाना सिखाने जैसा है। वे आगे जाना जानते हैं, लेकिन यदि आप उन्हें पीछे जाने के लिए कहते हैं, तो वे घबरा जाते हैं क्योंकि उन्होंने कभी उस विशिष्ट दिशा में अभ्यास नहीं किया था।
"समाधान": दोनों दिशाओं को सिखाना
शोधकर्ताओं ने AI के सीखने के तरीके को बदलकर इसे ठीक करने की कोशिश की। केवल वाक्यों को बाएं से दाएं पढ़ने के बजाय (जैसे एक मानक किताब), उन्होंने ऐसे तरीकों का उपयोग किया जिनसे AI एक ही समय में दोनों तरफ से शब्दों को देख सके (जैसे क्रॉसवर्ड पज़ल या "खाली स्थान भरें" वाला खेल)।
परिणाम: AI अचानक तथ्यों को उलटने (reverse करने) में बहुत अच्छा हो गया। वह "बिल्ली > कुत्ता" की तरह ही "कुत्ता < बिल्ली" का उत्तर भी उतनी ही अच्छी तरह दे सका।
बड़ा सवाल: क्या AI ने वास्तव में "बड़ा/छोटा" के विचार को एक एकल, लचीले विचार के रूप में समझा? या उसने केवल दो अलग-अलग उत्तरों को रट लिया?
जांच: "दो-दराज वाला सिस्टम" (Two-Drawer System) बनाम "जादुई दर्पण" (Magic Mirror)
इस पेपर के लेखक यह जानना चाहते थे कि: जब AI तथ्यों को उलटने में बेहतर होता है, तो वास्तव में उसके दिमाग के अंदर क्या हो रहा है?
उन्होंने दो मुख्य सिद्धांतों का परीक्षण किया:
- जादुई दर्पण (एकीकृत अवधारणा - Unified Concept): AI ने "बड़ा/छोटा" की एक एकल, पूर्ण अवधारणा सीख ली। इससे कोई फर्क नहीं पड़ता कि आप किस दिशा में पूछ रहे हैं; वह बस दर्पण को देखता है और उत्तर देख लेता है।
- दो-दराज वाला सिस्टम (अलग प्रविष्टियाँ - Separate Entries): AI ने कोई जादुई अवधारणा नहीं सीखी। इसके बजाय, उसने बस दो अलग-अलग फाइलें याद कर लीं: एक फाइल "बिल्ली > कुत्ता" के लिए और एक नई, अलग फाइल "कुत्ता < बिल्ली" के लिए।
निष्कर्ष: यह "दो-दराज वाला सिस्टम" है
पेपर निष्कर्ष निकालता है कि सिद्धांत #2 सही है। AI एक गहरी, लचीली समझ विकसित नहीं कर रहा है। वह बस एक दूसरा मेमोरी स्लॉट भर रहा है।
यहाँ बताया गया है कि उन्होंने इसे कैसे सिद्ध किया:
1. "स्रोत" का नियम (The "Source" Rule)
उन्होंने पाया कि AI के लिए उल्टा तथ्य सीखने के लिए, उसे प्रशिक्षण के दौरान स्पष्ट रूप से 'स्रोत' (यानी "बिल्ली") का अनुमान लगाने के लिए मजबूर करना पड़ा था।
- उपमा: कल्पना कीजिए कि एक शिक्षक केवल पूछता है, "कौन बड़ा है?" (उत्तर: बिल्ली)। छात्र "बिल्ली" कहना सीख जाता है।
- यदि शिक्षक कभी भी यह नहीं पूछता, "कौन छोटा है?" (उत्तर: कुत्ता), तो छात्र "कुत्ता" से शुरू होने वाले प्रश्न के लिए "बिल्ली" को याद नहीं कर पाएगा।
- AI केवल तभी उल्टा तथ्य सीखता है जब उसे "कुत्ता" को शुरुआती बिंदु बनाते समय "बिल्ली" का अनुमान लगाने का अभ्यास करने के लिए मजबूर किया जाता है।
2. दूरी का परीक्षण (The "Map" Analency)
शोधकर्ताओं ने इस बात की गणितीय "दूरी" देखी कि AI कैसे एक तथ्य को दूसरे तथ्य के रूप में संग्रहीत करता है।
- यदि यह जादुई दर्पण होता: तो दोनों तथ्य एक-दूसरे के बिल्कुल बगल में, लगभग छूते हुए रखे होते, क्योंकि वे एक ही विचार हैं।
- जो उन्होंने पाया: दोनों तथ्य एक-दूसरे से दूर रखे गए थे, जैसे फोन बुक की दो अलग-अलग प्रविष्टियाँ।
- एक प्रकार के प्रशिक्षण (MLM) में, AI ने उन्हें इस तरह संग्रहीत किया कि वे "विषय" (बिल्ली के बारे में सभी तथ्य एक साथ) द्वारा समूहबद्ध थे।
- दूसरे प्रकार (Decoder-only) में, उल्टा तथ्य मूल तथ्य से इतना अलग था कि AI ने उन्हें लगभग पूरी तरह से असंबंधित विषयों की तरह माना।
3. "ब्रिज" टेस्ट (The "Bridge" Test)
उन्होंने यह देखने की कोशिश की कि क्या कोई सरल गणितीय "पुल" (नियम) था जो "बिल्ली" की स्मृति को "कुत्ता" की स्मृति में बदल सके।
- परिणाम: वहां कोई पुल नहीं था। AI केवल एक अलग स्मृति प्रविष्टि (memory entry) को ही प्राप्त कर सकता था।
"प्रेडिक्शन बायस" का आश्चर्य (The "Prediction Bias" Surprise)
पेपर में यह भी पाया गया कि AI कैसे सीखता है, इसके बारे में कुछ डरावनी बात है।
- प्रयोग: उन्होंने AI को सीखते समय लगातार "कुत्ता" शब्द दिखाया, लेकिन उन्होंने AI को कभी भी "कुत्ता" शब्द का अनुमान लगाने या लिखने के लिए नहीं कहा। उन्होंने केवल "बिल्ली" का अनुमान लगाने के लिए कहा।
- परिणाम: AI "कुत्ता" शब्द को पूरी तरह से भूल गया। भले ही उसने इसे हजारों बार देखा था, क्योंकि उसे इसे उत्पन्न (generate) करने के लिए मजबूर नहीं किया गया था, AI ने इसे अदृश्य बैकग्राउंड शोर की तरह माना।
- सबक: AI केवल देखकर चीजें नहीं "सीखता"। वह केवल वही सीखता है जिसे उसे उत्पन्न करने के लिए मजबूर किया जाता है।
निचोड़ (The Bottom Line)
यह पेपर हमें चेतावनी देता है कि AI के बेहतर व्यवहार से धोखा न खाएं।
- भ्रम (The Illusion): AI ऐसा दिखता है जैसे उसने तर्क की एक लचीली, मानव जैसी अवधारणा सीख ली है।
- वास्तविकता: उसने केवल उलटे प्रश्न के लिए एक दूसरा, अलग उत्तर याद करना सीख लिया है।
यह क्यों मायने रखता है?
यदि हम इन मॉडल्स पर जटिल तर्क (reasoning) के लिए भरोसा करते हैं, तो हमें लग सकता है कि वे दुनिया को हमसे बेहतर समझते हैं। वे एक बहुत अच्छे छात्र की तरह हैं जिसने हर संभव प्रश्न प्रारूप के लिए उत्तर कुंजी (answer key) रट ली है, लेकिन यदि आप उनसे किसी ऐसे तरीके से सवाल पूछते हैं जो उन्होंने पहले नहीं देखा है, तो वे फिर भी विफल हो सकते हैं। उन्होंने अवधारणा नहीं सीखी है; उन्होंने बस विशिष्ट पैटर्न के लिए खाली स्थान भरना सीख लिया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।