Formalizing Latent Thoughts: Four Axioms of Thought Representation in LLMs
यह शोध पत्र एक स्वयंसिद्ध ढांचे (axiomatic framework) को प्रस्तुत करता जिसमें एलएलएम (LLM) में लेटेंट थॉट रिप्रेजेंटेशन (latent thought representations) का डाउनस्ट्रीम सटीकता से स्वतंत्र रूप से मूल्यांकन करने के लिए चार कार्यात्मक मेट्रिक्स शामिल हैं, जो यह प्रकट करता है कि वर्तमान मॉडल इन स्वयंसिद्धों को संतुष्ट करने में संरचनात्मक रूप से विफल रहते हैं क्योंकि वे इनपुट एम्बेडिंग्स के परे न्यूनतम जानकारी को एनकोड करते हैं और एक ही कार्य के भीतर विशिष्ट प्रश्नों के बीच अंतर करने की क्षमता का अभाव रखते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक लार्ज लैंग्वेज मॉडल (LLM) की कल्पना एक अत्यंत प्रतिभाशाली लेकिन बहुत ही निजी स्वभाव वाले शेफ (रसोइये) के रूप में करें। जब आप उससे कोई गणित का सवाल हल करने या किसी पेचीदा प्रश्न का उत्तर देने के लिए कहते हैं, तो वह तुरंत उत्तर नहीं उगल देता। इसके बजाय, वह एक "सोचने" की प्रक्रिया से गुजरता है।
अतीत में, हम इस सोच को देख सकते थे क्योंकि शेफ इसे चरण-दर-चरण लिखता था (जैसे कि "चेन ऑफ थॉट")। लेकिन हाल ही में, डेवलपर्स ने शेफ को तेजी से सोचने के लिए प्रेरित करने की कोशिश की है, जिसमें उन चरणों को निरंतर, अदृश्य संख्याओं (जिसे लेटेंट थॉट रिप्रेजेंटेशन कहा जाता है) के एक "ब्लैक बॉक्स" के भीतर छिपा दिया गया है। विचार यह है: "यदि अंतिम उत्तर सही है, तो छिपी हुई सोच भी अच्छी ही होगी, है ना?"
समस्या:
लेखक कहते हैं, "इतना जल्दी नहीं।" सिर्फ इसलिए कि शेफ एक स्वादिष्ट व्यंजन परोसता है (एक सही उत्तर), इसका मतलब यह नहीं है कि छिपी हुई सोच वास्तव में तार्किक थी। शेफ शायद केवल अनुमान लगा रहा हो, या उसकी "सोच" एक अस्त-व्यस्त मिश्रण हो सकती है जो केवल संयोग से काम करती है।
इसे ठीक करने के लिए, लेखकों ने शेफ के छिपे हुए विचारों का निरीक्षण करने का एक नया तरीका बनाया है, और वह भी अंतिम उत्तर को देखे बिना। उन्होंने एक "चार-बिंदु निरीक्षण चेकलिस्ट" (जिसे एक्सिओम्स/Axioms कहा गया है) बनाई है ताकि यह देखा जा सके कि क्या छिपे हुए विचार वास्तव में अपना काम कर रहे हैं।
चार-बिंदु निरीक्षण चेकलिस्ट
"थॉट" (विचार) की कल्पना उस गुप्त नोट के रूप में करें जिसे शेफ खाना पकाने से पहले लिखता है। शोध का तर्क है कि एक अच्छा गुप्त नोट को चार परीक्षणों को पास करना चाहिए:
कॉज़ैलिटी (कारण और प्रभाव का परीक्षण):
- रूपक: यदि आप शेफ की लिखित रेसिपी को उनके गुप्त नोट से बदल दें, तो क्या अंतिम व्यंजन का स्वाद अभी भी वैसा ही रहेगा?
- दावा: गुप्त नोट में ठीक उतनी ही जानकारी होनी चाहिए जितनी कि तर्क के चरणों (reasoning steps) में है। यदि आप चरणों को नोट से बदलते हैं, तो मॉडल अभी भी पूरी तरह से उत्तर की भविष्यवाणी करने में सक्षम होना चाहिए। यदि नोट में कोई महत्वपूर्ण सामग्री गायब है, तो व्यंजन विफल हो जाएगा।
मिनिमैलिटी (कोई फालतू चीज़ नहीं वाला परीक्षण):
- रूपक: कल्पना करें कि शेफ को बिल्ली के बारे में 50 पन्नों की कहानी दी गई है, लेकिन सवाल केवल मौसम के बारे में है। एक अच्छे गुप्त नोट में केवल मौसम की जानकारी होनी चाहिए, न कि बिल्ली के बारे में पूरी कहानी।
- दावा: विचार एक संकुचित, कुशल सारांश होना चाहिए। इसमें अतिरिक्त "शोर" या प्रॉम्प्ट के अप्रासंगिक विवरण नहीं होने चाहिए जो समस्या को हल करने में मदद नहीं करते हैं।
सेपरेबिलिटी (विशिष्ट पहचान का परीक्षण):
- रूपक: यदि आप शेफ को दो बहुत मिलते-जुलते गणित के सवाल देते हैं (जैसे, "2+2 क्या है?" और "2+3 क्या है?"), तो उनके गुप्त नोट पूरी तरह से अलग दिखने चाहिए। यदि दोनों समस्याओं के लिए नोट एक जैसे दिखते हैं, तो शेफ वास्तव में प्रश्नों के बीच अंतर नहीं कर रहा है; वह केवल अनुमान लगा रहा है।
- दावा: छिपे हुए विचार को हर विशिष्ट प्रश्न के लिए अद्वितीय होना चाहिए। इसे एक समस्या को दूसरी समस्या से स्पष्ट रूप से अलग करना होगा, भले ही वे समान दिखते हों।
स्टेबिलिटी (निरंतरता का परीक्षण):
- रूपक: यदि शेफ एक वाक्य में कहता है "उत्तर चार है" और दूसरे में "यह चार है", तो गुप्त नोट वही होना चाहिए। साथ ही, यदि शेफ भ्रमित है और कभी "हाँ" और कभी "नहीं" कहता है, तो गुप्त नोट को उस भ्रम को दर्शाना चाहिए, न कि केवल एक पक्ष को बेतरतीब ढंग से चुनना चाहिए।
- दावा: शब्दों के थोड़ा बदलने से विचार नहीं बदलना चाहिए। इसे यह भी सटीक रूप से दर्शाना चाहिए कि मॉडल कितना अनिश्चित है।
उन्होंने क्या पाया (ऑडिट)
शोधकर्ताओं ने पांच अलग-अलग लोकप्रिय AI मॉडलों (जैसे Llama और DeepSeek) को लिया और उन्हें 23 अलग-अलग रीजनिंग कार्यों (जैसे स्थानिक पहेलियाँ, तर्क खेल और गणित) के माध्यम से परखा। उन्होंने इन मॉडलों द्वारा उत्पन्न "गुप्त नोट्स" की जांच अपने चार-बिंदु चेकलिस्ट के विरुद्ध की।
चौंकाने वाला परिणाम:
कोई भी मॉडल चारों परीक्षणों को पास नहीं कर सका।
- वे कार्यों के बीच अंतर बता सकते थे: मॉडल एक "गणित" के प्रश्न और एक "इतिहास" के प्रश्न के बीच अंतर बता सकते थे।
- लेकिन वे सूक्ष्म विवरणों में विफल रहे: जब एक ही कार्य के भीतर दो अलग-अलग प्रश्न पूछे गए (जैसे, दो अलग-अलग गणित के सवाल), तो मॉडलों के "गुप्त नोट" लगभग एक जैसे दिखे। वे एक सामान्य ढेर (generic blob) में बदल गए।
- प्रॉम्प्ट 'थॉट' से बेहतर था: आश्चर्यजनक रूप से, मूल प्रश्न (प्रॉम्प्ट) का सरल टेक्स्ट अक्सर मॉडल द्वारा उत्पन्न जटिल छिपी हुई संख्याओं की तुलना में एक बेहतर "थॉट रिप्रेजेंटेशन" था। छिपे हुए विचारों ने बहुत अधिक नई जानकारी नहीं जोड़ी; वे ज्यादातर केवल इनपुट की प्रतिध्वनि (echo) थे।
मुख्य निष्कर्ष
यह पेपर निष्कर्ष निकालता है कि यह विफलता इसलिए नहीं है क्योंकि मॉडल बहुत छोटे हैं या उन्हें खराब तरीके से प्रशिक्षित किया गया है। यह एक संरचनात्मक समस्या है। सबसे बड़े, सबसे उन्नत मॉडल भी वर्तमान में हर एक प्रश्न के लिए एक वास्तविक, विशिष्ट "विचार" बनाने में विफल हो रहे हैं। वे सही उत्तर देने में अच्छे हैं, लेकिन उनकी आंतरिक "सोच" की प्रक्रिया अक्सर एक ढह चुकी, सामान्य धुंधली स्थिति में होती है जो वास्तव में विशिष्ट समस्याओं के बीच अंतर नहीं करती है।
संक्षेप में: मॉडल सही उत्तर प्राप्त कर रहे हैं, लेकिन उनकी "सोच" एक ऐसे टूटे हुए तरीके से काम कर रही है जिसे मानक परीक्षण नहीं देख सकते। लेखकों की नई चेकलिस्ट वह उपकरण है जिसकी आवश्यकता इन छिपे हुए दोषों को खोजने के लिए है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।