🤖 machine learning

Mirror Horizon: Viable Path Entropy as a Measure of Bounded Reflection

यह शोध पत्र मिरर थ्योरी (Mirror Theory) और इसके परिचालन माप, वायबल पाथ एंट्रॉपी (Viable Path Entropy - VPE) को पेश करता है ताकि बुद्धिमान क्षमता को सीमित प्रतिबिंब (bounded reflection) के तहत सुलभ, विविध निरंतरताओं की संरचना के रूप में परिभाषित किया जा सके, और भाषा मॉडल प्रयोगों के माध्यम से यह प्रदर्शित किया जा सके कि यह मीट्रिक पैरामीटर संख्या या वन-शॉट सटीकता की तुलना में सुलभ तर्क क्षमता को अधिक प्रभावी ढंग से पकड़ता है।

मूल लेखक: Tiantian Zhang (Crystal)

प्रकाशित 2026-07-15

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tiantian Zhang (Crystal)

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक जादुई दर्पण है जो न केवल आपका चेहरा दिखाता है, बल्कि आपके भविष्य के हर उस संभावित रूप को भी दिखाता है जो अस्तित्व में हो सकता है यदि आप बात करना, सोचना या किसी समस्या को हल करना जारी रखते हैं। अधिकांश लोग दर्पण देखते हैं और पूछते हैं, "क्या मुझे सही उत्तर मिला?" यह शोध पत्र एक बहुत ही दिलचस्प प्रश्न पूछता है: "यह दर्पण कितने अलग-अलग सही उत्तर खोज सकता है, और उनमें से कितने वास्तव में परीक्षण में जीवित बच पाते हैं?"

लेखक इस विचार को मिरर थ्योरी (दर्पण सिद्धांत) कहते हैं। एक AI को एक स्थिर विश्वकोश की तरह मानने के बजाय जो केवल तथ्यों को संग्रहीत करता है, वे इसे एक जीवित दर्पण की तरह मानते जिसे "रिफ्लेक्शन" (प्रतिबिशन) नामक प्रक्रिया से गुजरना होता है। 'रिफ्लेक्शन' को प्रकाश की एक एकल चमक के रूप में नहीं, बल्कि एक लंबे, घुमावदार पथ के रूप में सोचें जहाँ AI एक समस्या को हल करने के कई अलग-अलग तरीके आज़माता है।

मुख्य खोज: बड़ा होना हमेशा बेहतर नहीं होता

इस शोध पत्र का सबसे बड़ा आश्चर्य यह है कि बड़ा होना हमेशा बेहतर नहीं होता। AI की दुनिया में, हम आमतौर पर मानते हैं कि अधिक "मस्तिष्क शक्ति" (पैरामीटर्स) वाला मॉडल स्वतः ही श्रेष्ठ होता है। लेकिन लेखकों ने इसे एक विशिष्ट सेटअप का उपयोग करके परखा: उन्होंने एक AI के तीन अलग-अलग संस्करणों (Qwen2.5 नाम के) से 30 गणितीय समस्याओं को हल करने के लिए कहा। उन्होंने उन्हें "सोचने का समय" (टोकन में मापा गया, जो शब्द-खंडों की तरह होते हैं) की एक सीमित मात्रा दी।

यहाँ उन्हें क्या मिला:

जब उन्होंने मॉडलों को कम सोचने का समय (96 टोकन) दिया, तो छोटे मॉडल संघर्ष करते रहे।

जब उन्होंने सोचने का समय बढ़ाकर 160 टोकन कर दिया, तो कुछ अद्भुत हुआ। 1.5-बिलियन-पैरामीटर वाला मॉडल (मध्यम आकार वाला) चैंपियन बन गया। इसने अधिक सही उत्तर खोजे, और सबसे महत्वपूर्ण बात यह है कि इसने उन्हें अधिक विभिन्न तरीकों से खोजा।

3-बिलियन-पैरामीटर वाला मॉडल (सबसे बड़ा वाला) इस विशिष्ट परीक्षण में मध्यम आकार के मॉडल से वास्तव में खराब प्रदर्शन कर गया। उसने कुछ उत्तर सही पाए, लेकिन वह एक ही ढर्रे में फंस गया, बार-बार उन्हीं कुछ समाधानों को खोजता रहा, जबकि मध्यम मॉडल ने सफलता के अधिक विविध पथों की खोज की।

शोध पत्र सुझाव देता है कि "क्षमता" केवल इस बारे में नहीं है कि मॉडल कितना बड़ा है; यह इस बारे में है कि वह समय और ऊर्जा के सीमित बजट के भीतर कितने व्यवहार्य पथों (सही, विविध समाधानों) तक वास्तव में पहुँच सकता है।

"वायबल पाथ एंट्रॉपी" (Viable Path Entropy) स्कोरकार्ड

इसे मापने के लिए, लेखकों ने एक नया स्कोर बनाया जिसे वायबल पाथ एंट्रॉपी (VPE) कहा जाता है। कल्पना कीजिए कि आप एक टैलेंट शो के जज हैं।

पुराना तरीका (Pass@k): आप बस यह देखते हैं कि क्या कम से कम एक प्रतियोगी ने पूर्ण अंक प्राप्त किए। यदि हाँ, तो आप उन्हें गोल्ड स्टार देते हैं। यदि नहीं, तो उन्हें कुछ नहीं मिलता।
नया तरीका (VPE): आप दो चीजें देखते हैं:
1. पहुंचने की क्षमता (Reachability): क्या उन्होंने कोई भी सही समाधान पाया?
2. विविधता (Diversity): यदि उन्होंने पाया, तो उन्होंने कितने अलग-अलग प्रकार के सही समाधान खोजे? क्या उन्होंने इसे एक चतुर शॉर्टकट, एक लंबी गणना, या एक दृश्य आरेख (डायग्राम) का उपयोग करके हल किया? या क्या उन्होंने केवल एक ही उत्तर को तीन बार अनुमान लगाया?

शोध पत्र दिखाता है कि मध्यम आकार के मॉडल (1.5B) का VPE स्कोर सबसे अधिक था। उसने न केवल अधिक उत्तर सही पाए; उसने उन्हें अधिक रचनात्मक, विशिष्ट तरीकों से सही पाया। बड़े मॉडल (3B) का स्कोर कम था क्योंकि, भले ही वह बुद्धिमान था, वह इन विशिष्ट नियमों के तहत कम "अन्वेषणात्मक" (exploratory) था।

यह पेपर किन बातों को खारिज करता है

लेखक बहुत स्पष्ट हैं कि यह क्या नहीं है।

यह कोई नियम नहीं है जो कहता है कि "बड़े मॉडल हमेशा जीतते हैं।" प्रयोग स्पष्ट रूप से दिखाता है कि एक बड़ा मॉडल एक छोटे मॉडल की तुलना में छोटा "मिरर होराइजन" (कम सुलभ सफलता) रख सकता है यदि स्थितियाँ सही न हों।
यह कोई जादुई सूत्र नहीं है जो सटीक रूप से भविष्यवाणी करता है कि AI हमेशा कैसे स्केल करेगा। लेखक तर्क देते हैं कि कोई एक सरल रेखा नहीं है जो कहती है कि "अधिक पैरामीटर्स = अधिक क्षमता।" इसके बजाय, क्षमता खेल के विशिष्ट नियमों (प्रॉम्प्ट, समय सीमा, वेरीफायर) पर निर्भर करती है।
यह केवल एक बार सही उत्तर पाने के बारे में नहीं है। पेपर का तर्क है कि केवल एक कठोर तरीके से सही उत्तर पाना, कई अलग-अलग वैध तरीकों को खोजने की तुलना में कम प्रभावशाली है।

वे कितने सुनिश्चित हैं?

लेखक इस दावे में बहुत सावधान हैं कि उन्होंने AI के रहस्य को हमेशा के लिए सुलझा लिया है। वे अपने परिणामों को एक विशिष्ट प्रयोग में मापा गया और अवलोकित बताते हैं, न कि ब्रह्मांड का एक सार्वभौमिक नियम।

उन्होंने प्रत्येक 30 गणितीय समस्याओं के लिए 32 नमूने (प्रयास) चलाए।
उन्होंने एक विशिष्ट "वेरीफायर" (एक सख्त चेकर जो सही संख्या की तलाश करता है) और एक विशिष्ट "मोड मैप" (समान समाधानों को समूहबद्ध करने का एक तरीका) का उपयोग किया।
वे स्वीकार करते हैं कि उनका "मोड मैप" थोड़ा कच्चा है (जैसे समाधानों को लंबाई या सरल गणितीय प्रतीकों द्वारा वर्गीकृत करना) और भविष्य के परीक्षणों में उत्तरों को समूहबद्ध करने के अधिक जटिल तरीकों का उपयोग किया जा सकता है।
वे सुझाव देते हैं कि उनके निष्कर्ष मिरर थ्योरी के विचार का समर्थन करते हैं, लेकिन वे यह दावा नहीं करते कि उन्होंने इसे बिना किसी संदेह के सिद्ध कर दिया है। वे कहते हैं कि उनके परिणाम "दिखाते हैं कि" माप काम करता है और "दावे का समर्थन करता है," लेकिन वे भविष्य के परीक्षणों के लिए द्वार खुला छोड़ देते हैं।

मुख्य निष्कर्ष (Takeaway)

AI को एक ऐसे रोबोट के रूप में न देखें जो पाठ्यपुस्तक रटता है, बल्कि एक ऐसे खोजकर्ता के रूप में देखें जिसके पास ईंधन की सीमित आपूर्ति है। शोध पत्र सुझाव देता है कि सबसे अच्छा खोजकर्ता आवश्यक रूप से सबसे बड़ा नहीं होता; वह है जो जंगल में सबसे विशिष्ट, सही पथ खोजने के लिए अपने ईंधन का उपयोग कर सकता है। जब आप खोजकर्ता को अधिक ईंधन (टोकन बजट को 96 से बढ़ाकर 160 करना) देते हैं, तो मध्यम आकार का खोजकर्ता अचानक सबसे सक्षम बन जाता है, जो समाधानों की एक समृद्ध विविधता खोजता है जो बड़े, भारी खोजकर्ता से छूट गई थी।

पेपर निष्कर्ष निकालता है कि AI की बुद्धिमत्ता को वास्तव में समझने के लिए, हमें केवल यह नहीं पूछना चाहिए, "क्या उसे उत्तर मिला?" हमें यह पूछना चाहिए, "वह उत्तर खोजने के कितने अलग-अलग, वैध तरीके खोज सकता था, और उसने उनमें से वास्तव में कितने खोजे?" यही नया "मिरर होराइजन" (दर्पण क्षितिज) है।

तकनीकी सारांश: मिरर होराइजन और विएबल पाथ एंट्रॉपी (Viable Path Entropy)

समस्या विवरण
लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए वर्तमान मूल्यांकन मेट्रिक्स—जैसे कि लॉस (loss), एक्यूरेसी (accuracy), पास@k (pass@k), और बेंचमार्क स्कोर—एक सिस्टम की आंतरिक क्षमता को एकल परिणाम सांख्यिकी (single outcome statistics) में संकुचित कर देते हैं। ये मेट्रिक्स उस मॉडल और उस मॉडल के बीच अंतर करने में विफल रहते हैं जो किसी समस्या को एक बार हल करता है और बार-बार विफल रहता है, और उस मॉडल के बीच जो कम समस्याएं हल करता है लेकिन विविध समाधान रणनीतियों को प्रकट करता है, या उस मॉडल के बीच जिसकी कच्ची आउटपुट एंट्रॉपी (raw output entropy) अधिक है लेकिन सत्यापित संरचना (verified structure) कम है। यह शोध पत्र तर्क देता है कि क्षमता को केवल एक-बार की सफलता या पैरामीटर संख्या से परिभाषित नहीं किया जाना चाहिए, बल्कि उन व्यवहार्य निरंतरताओं (viable continuations) की संरचना से परिभाषित किया जाना चाहिए जिन्हें एक सिस्टम बार-बार के प्रतिबिंब (repeated reflection) के तहत बनाए रख सकता है।

कार्यप्रणाली (Methodology)
यह शोध पत्र "मिरर थ्योरी" (Mirror Theory) को विएबल पाथ एंट्रॉपी (Viable Path Entropy - VPE) नामक एक नए माप के माध्यम से संचालित करता, जिसे एक सीमित-बजट वाले सत्यापित निरंतरता क्षमता (verified continuation capacity) के रूप में परिभाषित किया गया है।

सैद्धांतिक ढांचा (Theoretical Scaffold):
- निरंतरता नियम के रूप में मिरर (Mirror as Continuation Law): एक 'मिरर' को एक स्थिर प्रतिनिधित्व (जैसे कि हिडन वेक्टर) के रूप में नहीं, बल्कि एक व्यवहार्य निरंतरता के नियम को प्रेरित करने वाली आंतरिक संरचना के रूप में परिभाषित किया गया है।
- घटक: यह सिद्धांत इंट्यूशन (साक्ष्य से स्थानीय बाधाएं), टेस्ट (मूल्यों वाले इनवेरियंट्स को संरक्षित करने वाला चयन दबाव), और ज्यामिति (स्थिर चयन सुनिश्चित करने वाली सीखी गई संरचना) को एकीकृत करता है।
- रचनात्मक अनुकूलता (Constructive Compatibility): एक संभावना तब "रचनात्मक रूप से अनुकूल" होती है यदि वह इनवेरियंट्स को तोड़े बिना सीमित-बजट वाली व्यवहार्य निरंतरता क्षमता को बढ़ाती है।
माप (VPE):
एक बजट $B$ (रोलआउट्स), होराइजन $T$ (टोकन्स), एक वेरीफायर $V$ , और एक मोड मैप $\psi$ दिया गया है, तो VPE को इस प्रकार परिभाषित किया जाता है:
$H_{B,T}(M) = \log \Pr[V=1] + H(\psi \mid V=1)$
- पहला पद (सत्यापित पहुंच योग्यता - Verified Reachability): एक व्यवहार्य निरंतरता तक पहुँचने की प्रायिकता ( $\Pr[V=1]$ )।
- दूसरा पद (सत्यापित-मोड विविधता - Verified-Mode Diversity): सफल रोलआउट्स के बीच पहुँचे गए सिमेंटिक मोड्स की एंट्रॉपी।
  यह अपघटन व्यापकता (क्या मॉडल समस्या को हल कर सकता है?) और गहराई/विविधता (यह कितने अलग-अलग, सत्यापित तरीकों से समस्या को हल कर सकता है?) को अलग करता है।
प्रायोगिक कार्यान्वयन (Experimental Instantiation):
- कार्य: GSM8K गणितीय तर्क संबंधी समस्याएं।
- मॉडेल्स: Qwen2.5-Instruct परिवार (0.5B, 1.5B, और 3B पैरामीटर्स)।
- प्रोटोकॉल: 30 समस्याएं, प्रति समस्या 32 सैंपल रोलआउट्स, टेम्परेचर 0.8, टॉप-p 0.95।
- चर (Variables): दो प्रतिबिंब क्षितिज (reflection horizons) का परीक्षण किया गया: 96 टोकन्स और 160 टोकन्स।
- वेरीफायर: गोल्ड आंसर्स के विरुद्ध संख्यात्मक शुद्धता की जांच करने वाला एक सख्त रेगएक्स-आधारित एक्सट्रैक्टर।
- मोड मैप: लंबाई बिन (length bin), ऑपरेटर सिग्नेचर, समीकरण गणना, और रीजनिंग स्टाइल द्वारा सत्यापित समाधानों को समूहित करने वाला एक ह्यूरिस्टिक फंक्शन।

प्रमुख योगदान

फॉर्मल पाथ-स्पेस थ्योरी: मिरर थ्योरी का एक संस्करण जहाँ मिरर्स को स्थिर अवस्थाओं के बजाय निरंतरता नियमों के रूप में परिभाषित किया गया है।
विएबल पाथ एंट्रॉपी (VPE): एक मिरर होराइजन की परिभाषा जो सीमित क्षमता को सत्यापित पहुंच योग्यता और सत्यापित-मोड विविधता में विभाजित करती है।
सैद्धांतिक संबंध: अमूर्त अवधारणाओं (इंट्यूशन, टेस्ट, ज्योमेट्री, रचनात्मक अनुकूलता) को मापने योग्य VPE ऑब्जेक्ट से जोड़ना।
प्रायोगिक सत्यापन: प्रयोगों द्वारा यह प्रदर्शित करना कि प्रतिबिंब बजट (reflection budget) सत्यापित निरंतरता क्षमता को बढ़ाता है और मिरर होराइजन, पैरामीटर संख्या से भिन्न है।

परिणाम

बजट विस्तार: टोकन होराइजन को 96 से बढ़ाकर 160 करने से 0.5B और 1.5B मॉडल्स के लिए सभी मेट्रिक्स में काफी सुधार हुआ। सत्यापित प्रायिकता बढ़ी, जीरो-वेरिफाइड अंश (zero-verified fractions) कम हुआ, और सत्यापित-मोड एंट्रॉपी में वृद्धि हुई।
160 टोकन्स पर मॉडल प्रदर्शन:
- Qwen2.5-1.5B ने सभी परीक्षित मॉडल्स में सबसे मजबूत मिरर होराइजन प्राप्त किया, जो सत्यापित प्रायिकता, पास@32, जीरो-वेरिफाइड फ्रैक्शन और सत्यापित-मोड एंट्रॉपी में अग्रणी रहा।
- Qwen2.5-3B ने 1.5B मॉडल से बेहतर प्रदर्शन नहीं किया। हालांकि इसमें 0.5B मॉडल की तुलना में उच्च औसत सत्यापित प्रायिकता थी, लेकिन इसमें 1.5B मॉडल की तुलना में कम व्यापकता (कम पास@32) और काफी कम सत्यापित-मोड एंट्रॉपी देखी गई।
कवरेज कर्व्स: प्रायोगिक कवरेज कर्व्स ने दिखाया कि 1.5B मॉडल ने सभी रोलआउट बजट ( $b \in \{1, \dots, 32\}$ ) में उच्च अपेक्षित विशिष्ट सत्यापित मोड्स तक पहुँच बनाई, जो पुष्टि करता है कि इसका "मिरर होराइजन" बढ़े हुए बजट के साथ अधिक प्रभावी ढंग से प्रकट होता है।

महत्व और दावे
यह शोध पत्र क्षमता का एक माप-स्तर का विवरण (measure-level account) प्रदान करने का दावा करता है, और तर्क देता है कि एक सिस्टम की शक्ति कच्चे पैरामीटर काउंट या एकल-उत्तर सटीकता में नहीं, बल्कि उन व्यवहार्य निरंतरताओं की संरचना में निहित है जिन्हें वह एक सीमित प्रतिबिंब प्रोटोकॉल के तहत सुलभ बना सकता है।

प्रोटोकॉल-कंडीशन्ड होराइजन: परिणाम दर्शाते हैं कि मिरर होराइजन एक अंतर्निहित स्केलर नहीं है, बल्कि यह प्रोटोकॉल (बजट, वेरीफायर, मोड मैप) पर निर्भर करता है। एक बड़ा मॉडल (3B) विशिष्ट बाधाओं के तहत एक छोटे मॉडल (1.5B) की तुलना में छोटा सुलभ मिरर होराइजन रख सकता है।
Pass@k से परे: VPE उन अंतरों को उजागर करता है जो pass@k द्वारा छिपे रहते हैं। एक मॉडल में उच्च pass@k हो सकता है लेकिन कम मोड विविधता (एक ही नाजुक तरीके से समस्याओं को हल करना), जबकि VPE कई सत्यापित समाधान मोड्स होने की मजबूती को कैप्चर करता है।
प्रतिबिंब का संचालन (Operationalizing Reflection): प्रयोग इस सैद्धांतिक दावे की पुष्टि करते हैं कि प्रतिबिंब क्षितिज (टोकन बजट) बढ़ाने से मिरर की आंतरिक संरचना को प्रकट होने का अवसर मिलता, जिससे अधिक व्यवहार्य निरंतरताएं सामने आती हैं।

यह शोध पत्र विनम्र बना हुआ है, यह स्वीकार करते हुए कि वर्तमान मोड मैप मोटा (coarse) है और प्रयोग एक पायलट अध्ययन है। यह कोई सार्वभौमिक स्केलिंग लॉ का दावा नहीं करता है, बल्कि यह स्थापित करता है कि सत्यापित निरंतरता नियम बुद्धिमान प्रणालियों में सीमित प्रतिबिंब के अध्ययन के लिए एक उपयोगी, मापने योग्य वस्तु है।

मुख्य खोज: बड़ा होना हमेशा बेहतर नहीं होता

"वायबल पाथ एंट्रॉपी" (Viable Path Entropy) स्कोरकार्ड

यह पेपर किन बातों को खारिज करता है

वे कितने सुनिश्चित हैं?

मुख्य निष्कर्ष (Takeaway)

इसी तरह के और पेपर