🤖 machine learning

Predictable Compression Failures: Order Sensitivity and Information Budgeting for Evidence-Grounded Binary Adjudication

यह शोध पत्र साक्ष्य-आधारित बाइनरी अधिचारण (evidence-grounded binary adjudication) में आदेश-प्रेरित संपीड़न विफलताओं (order-induced compression failures) को मापने और कम करने के लिए क्वांटिफाइड मार्टिंगेल उल्लंघन सीमाओं (Quantified Martingale Violation bounds) और एक अपेक्षा-स्तर के विसंपीड़न नियम (Expectation-level Decompression Law) का उपयोग करने वाले एक सैद्धांतिक ढांचे को प्रस्तुत करता है, जो एक निश्चित सूचना पर्याप्तता अनुपात गेट (Information Sufficiency Ratio gate) को सक्षम बनाता है जो विविध क्यूए (QA) बेंचमार्क में नियंत्रित परित्याग (abstention) के साथ शून्य के करीब मतिभ्रम (hallucination) दर प्राप्त करता है।

मूल लेखक: Leon Chlon, Ahmed Karim, Maggie Chlon, MarcAntonio Awada

प्रकाशित 2026-06-08

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Leon Chlon, Ahmed Karim, Maggie Chlon, MarcAntonio Awada

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ एक सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करके शोध पत्र (paper) की व्याख्या दी गई है।

बड़ी समस्या: "सीटिंग चार्ट" (बैठने की व्यवस्था) का मुद्दा

कल्पना कीजिए कि आप एक न्यायाधीश हैं जिसे यह तय करना है कि क्या कोई आरोपी दोषी है। आपके पास सबूतों के कागजात का एक ढेर है। एक आदर्श दुनिया में, इससे कोई फर्क नहीं पड़ना चाहिए कि आपने कागजात ऊपर से नीचे पढ़े, नीचे से ऊपर, या उन्हें रैंडम तरीके से मिला कर पढ़ा; फैसला वही होना चाहिए।

हालाँकि, यह शोध पत्र बताता है कि आधुनिक AI मॉडल (जिन्हें ट्रांसफॉर्मर कहा जाता है) सीटिंग चार्ट से भ्रमित होने वाले बहुत संवेदनशील न्यायाधीशों की तरह हैं। यदि आप सबूतों का क्रम बदल देते हैं, तो AI अपना मन बदल सकता है। कभी वह कहता है "दोषी," और यदि आप दो कागजों को आपस में बदल देते हैं, तो वह अचानक "निर्दोष" कह देता है। यह AI को अविश्वसनीय बनाता है क्योंकि इसका उत्तर इस पर निर्भर करता है कि आपने तथ्य उसे कैसे दिए, न कि केवल इस पर कि तथ्य क्या हैं।

मुख्य विचार: "अपेक्षा बनाम वास्तविकता" (Expectation vs. Reality)

लेखक बताते हैं कि AI मॉडल औसत (average) रूप से अच्छा होने के लिए प्रशिक्षित होते हैं। यदि आप सबूतों को दस लाख बार मिलाते और परिणामों का औसत निकालते, तो AI बहुत बुद्धिमान होता। लेकिन वास्तविक दुनिया में, हमें सबूतों का केवल एक विशिष्ट क्रम मिलता है।

अपेक्षा (The Expectation): AI सभी संभावित क्रमों के माध्यम से "औसत सत्य" को जानता है।
वास्तविकता (The Reality): AI को एक विशिष्ट क्रम के आधार पर उत्तर देना होता है, जो एक "खराब" क्रम हो सकता है जहाँ AI भ्रमित हो जाता है।

AI जो जानता है (औसत पर) और जो वह वास्तव में कहता है (एक विशिष्ट क्रम में), इस बीच का अंतर ही "एक्सपेक्टेशन-रियलाइजेशन गैप" (Expectation–Realization Gap) है।

समाधान: तीन नए उपकरण

इसे ठीक करने के लिए, लेखकों ने एक "सेफ्टी किट" बनाई जिसमें तीन विशिष्ट उपकरण हैं, जो यह तय करते हैं कि कब AI पर भरोसा करना सुरक्षित है और कब उसे चुप रहना चाहिए।

1. "शफल टेस्ट" (क्वांटिफाइड मार्टिंगेल वायलेशन)

सबसे पहले, लेखकों ने गणितीय रूप से सिद्ध किया कि जैसे-जैसे आप अधिक सबूत जोड़ते हैं, भ्रम धीरे-धीरे बढ़ता है।

उदाहरण: कल्पना कीजिए कि लोगों की एक लंबी कतार एक संदेश पास कर रही है। यदि कतार छोटी है, तो एक छोटा सा फेरबदल मायने नहीं रखता। यदि कतार बहुत बड़ी है, तो संदेश बिगड़ जाता है। पेपर दिखाता है कि AI के लिए, यह गड़बड़ी सबूतों के टुकड़ों की संख्या के लॉग (logarithm) की तरह बढ़ती है। यह अनुमानित है। यदि आप जानते हैं कि आपके पास कितने सबूत हैं, तो आप अनुमान लगा सकते हैं कि यदि आप उन्हें मिला (shuffle) देते हैं तो AI कितना डगमगा सकता है।

2. "ट्रस्ट बजट" (बिट्स-टू-ट्रस्ट और इंफॉर्मेशन सफिशिएंसी)

लेखकों ने महसूस किया कि 100% निश्चित होने के लिए, AI को कुछ "सूचना ऊर्जा" (या बजट) की आवश्यकता होती है।

उदाहरण: AI के आत्मविश्वास को एक बैटरी की तरह सोचें।
- B2T (Bits-to-Trust): यह "न्यूनतम बैटरी चार्ज" है जो सुरक्षित रूप से "हाँ" या "नहीं" कहने के लिए आवश्यक है। यदि उत्तर दुर्लभ या कठिन है, तो आपको बड़ी बैटरी की आवश्यकता होती है।
- ISR (Information Sufficiency Ratio): यह एक सरल गणितीय जांच है: क्या हमारे पास पर्याप्त बैटरी है?
  - यदि वर्तमान बैटरी / आवश्यक बैटरी 1 से अधिक है, तो AI उत्तर देने के लिए सुरक्षित है।
  - यदि यह 1 से कम है, तो बैटरी बहुत कम है। AI को अनुमान लगाने और संभावित रूप से झूठ बोलने (hallucinating) के बजाय मौन रहना (abstain) चाहिए।

3. "हैलुसिनेशन रिस्क" (भ्रम का जोखिम) मीटर

उन्होंने यह मापने का भी एक तरीका बनाया कि AI के मनगढ़ंत बातें बनाने का जोखिम कितना है।

उदाहरण: यदि AI कमजोर बैटरी के साथ उत्तर देने की कोशिश कर रहा है, तो यह कोहरे भरी रात में गाड़ी चलाने की कोशिश करने वाले थके हुए ड्राइवर की तरह है। दुर्घटना (hallucination) का जोखिम बढ़ जाता है। पेपर का गणित दिखाता है कि यदि आप "ISR > 1" नियम का पालन करते हैं, तो आप भ्रम (hallucination) के जोखिम को अविश्वसनीय रूप से कम (उनके परीक्षणों में 0% से 0.7% के बीच) रख सकते हैं।

उन्होंने इसका परीक्षण कैसे किया?

शोधकर्ताओं ने केवल गणित नहीं किया; उन्होंने वास्तविक दुनिया के सवालों (जैसे "सुपर बाउल किसने जीता?" या "क्या यह चिकित्सा तथ्य सत्य है?") पर इसका परीक्षण किया।

शफल (Shuffle): उन्होंने हजारों सवालों को लिया और प्रत्येक सवाल के लिए सबूतों को 16 अलग-अलग तरीकों से मिलाया।
परिणाम: उन्होंने पाया कि AI के उत्तर वास्तव में डगमगाते (dispersion) थे, लेकिन वह डगमगाहट उसी अनुमानित पैटर्न का पालन करती थी जो उन्होंने गणना की थी।
गेटकीपर (Gatekeeper): उन्होंने अपने "ISR" नियम का उपयोग एक गेटकीपर के रूप में किया।
- जब नियम ने "जाओ" (Go) कहा, तो AI लगभग हर समय सही था।
- जब नियम ने "रुको" (Stop) कहा, तो AI चुप रहा।
- महत्वपूर्ण रूप से: एक सख्त परीक्षण में जहाँ उन्होंने नियमों को डेटा के अनुसार नहीं बदला, सिस्टम ने भ्रम (hallucinations) को शून्य के करीब रखा, जिससे साबित हुआ कि गणित वास्तविक दुनिया में काम करता है।

निष्कर्ष (The Bottom Line)

यह पेपर हमें यह तरीका देता है कि हम AI को भ्रमित होने पर आत्मविश्वास से अनुमान लगाने से कैसे रोकें। केवल यह उम्मीद करने के बजाय कि AI सही होगा, हम एक सरल गणितीय जांच (ISR Gate) का उपयोग कर सकते हैं कि क्या AI के पास उत्तर देने के लिए पर्याप्त "सूचना ईंधन" है। यदि नहीं, तो हम इसे रुकने और अधिक सबूत मांगने के लिए कहते हैं, जिससे तथ्य गढ़ने की संभावना खत्म हो जाती है।

संक्षेप में: AI पर सिर्फ इसलिए भरोसा न करें क्योंकि वह आत्मविश्वास से बोल रहा है। पहले उसकी "बैटरी का स्तर" जांचें। यदि बैटरी कम है, तो उसे चुप रहने दें।

तकनीकी सारांश: अनुमानित संपीड़न विफलताएं (Predictable Compression Failures)

1. समस्या विवरण (Problem Statement)

यह शोध पत्र साक्ष्य-आधारित बाइनरी अधिनिर्णय (evidence-grounded binary adjudication) में एक महत्वपूर्ण विश्वसनीयता संबंधी समस्या को संबोधित करता है, जो ट्रांसफॉर्मर मॉडलों (Transformer models) में देखी जाती है। सपोर्ट/रिफ्यूट वर्गीकरण, हाँ/नहीं निर्णयों, या सत्यापनक-समर्थित पास/फेल निर्णयों जैसे कार्यों में, मॉडल का आउटपुट इस बात के प्रति संवेदनशील होता है कि विनिमय योग्य साक्ष्य खंडों (exchangeable evidence chunks) को किस क्रम (order) में प्रस्तुत किया गया है।

यद्यपि साक्ष्य सेट सैद्धांतिक रूप से विनिमय योग्य (exchangeable) है (अर्थात पुनर्व्यवस्था करने से सत्य मान नहीं बदलना चाहिए), ट्रांसफॉर्मर अपने पोजीशनल एनकोडिंग के कारण विभिन्न क्रमों ( $\pi$ ) के लिए अलग-अलग प्रायिकताएं ( $q_\pi$ ) उत्पन्न करते हैं। यह "क्रम संवेदनशीलता" (order sensitivity) भविष्यवाणियों में बिखराव पैदा करती है, जिससे अविश्वसनीय उत्तर या असंगत त्याग दर (abstention rates) उत्पन्न होती है। लेखक तर्क देते हैं कि 'नेक्स्ट-टोकन ट्रेनिंग' क्रमों के ऊपर अपेक्षित सशर्त विवरण लंबाई (expected conditional description length) को न्यूनतम करती है, जिससे एक मॉडल औसत पर बेयस-इष्टतम (Bayes-optimal) हो सकता है, लेकिन किसी निश्चित क्रम पर एक क्रम-अपरिवर्तनीय भविष्यवक्ता (permutation-invariant predictor) से काफी विचलित हो सकता है। अपेक्षा (expectation) (क्रमों के ऊपर औसत) और साक्षात्कार (realization) (निश्चित क्रम) के बीच का यह अंतर एक "अनुमानित संपीड़न विफलता" (predictable compression failure) कहलाता है।

2. कार्यप्रणाली और सैद्धांतिक ढांचा (Methodology and Theoretical Framework)

शोध पत्र इस घटना को दो प्राथमिक सैद्धांतिक दृष्टिकोणों के माध्यम से औपचारिक रूप देता है: क्वांटिफाइड मार्टिंगेल उल्लंघन (Quantified Martingale Violations - QMV) और एक्स्पेक्टेशन-लेवल डीकंप्रेशन लॉ (Expectation-level Decompression Law - EDFL)।

2.1 क्वांटिफाइड मार्टिंगेल उल्लंघन (QMV)

लेखक साक्ष्य क्रम को एक बाधा चर (nuisance variable) मानते हैं और पोजीशनल संवेदनशीलता द्वारा प्रेरित बिखराव को मॉडल करते हैं।

धारणा: बर्नौली भविष्यवाणी का लॉजिट (logit) एक विशिष्ट क्षय प्रोफाइल (जैसे हार्मोनिक क्षय जहाँ संवेदनशीलता $\propto t^{-\alpha}$ ) के साथ स्थानीय आसन्न-रैंक संवेदनशीलता प्रदर्शित करता है।
थ्योरम 1 और 2: इन धारणाओं के तहत, अपेक्षित पूर्ण बिखराव ( $E_\pi |R_\pi|$ $E_{π} ∣ R_{π} ∣$ ) रैंक परिवर्तनों के प्रति लॉजिट की संचयी संवेदनशीलता द्वारा सीमित होता है।
- यदि क्षय हार्मोनिक ( $\alpha=1$ ) है, तो बिखराव $O(\log n)$ के रूप में बढ़ता है।
- यदि क्षय धीमा ( $\alpha < 1$ ) है, तो यह बहुपद रूप में बढ़ता है ( $O(n^{1-\alpha})$ )।
- यदि क्षय तेज़ ( $\alpha > 1$ ) है, तो बिखराव सीमित रहता है ( $O(1)$ )।
प्रपोजिशन 2: जेन्सन-शैनन डाइवर्जेंस (JSD) का उपयोग करके पिंस्कर की असमानता (Pinsker's inequality) के माध्यम से बिखराव को सीमित करने वाला एक धारणा-मुक्त प्रमाण प्रदान करता है।

2.2 एक्स्पेक्टेशन-लेवल डीकंप्रेशन लॉ (EDFL)

EDFL इस सैद्धांतिक सीमाओं को बाइनरी अधिनिर्णय के लिए क्रियाशील मेट्रिक्स में परिवर्तित करता है। यह बर्नौली प्रेडिकेट्स के लिए KL कॉनवेक्सिटी (KL convexity) और डेटा-प्रोसेसिंग बाउंड का विशेषीकरण करता है।

मुख्य अवधारणा: यह एक पूर्व प्रायिकता द्रव्यमान ( $\bar{q}$ ) से लक्ष्य पश्चातवर्ती द्रव्यमान ( $p$ ) तक स्थानांतरित होने के लिए आवश्यक न्यूनतम सूचना बजट ( $\bar{\Delta}$ ) स्थापित करता है।
दुर्लभ घटना स्केलिंग (Rare Event Scaling): दुर्लभ घटनाओं के लिए, आवश्यक बजट $\log(1/\bar{q})$ के रूप में स्केल करता है।
परिचालन योजनाकार (Operational Planners): EDFL स्पष्ट मेट्रिक्स प्रदान करता है:
- बिट्स-टू-ट्रस्ट (Bits-to-Trust - B2T): एक लक्षित विश्वसनीयता $p^\star = 1 - h^\star$ पर उत्तर पर विश्वास करने के लिए आवश्यक न्यूनतम सूचना बजट। इसकी गणना $KL(Ber(p^\star) \| Ber(q_{lo}))$ के रूप में की जाती है, जहाँ $q_{lo}$ क्रम मिश्रण का रूढ़िवादी निचला स्तर है।
- रिस्क-ऑफ-हैलुसिनेशन (Risk-of-Hallucination - RoH): मापे गए बजट द्वारा निहित अवशिष्ट जोखिम।
- इंफॉर्मेशन सफिशिएंसी रेशियो (Information Sufficiency Ratio - ISR): उपलब्ध बजट और आवश्यक बजट का अनुपात ( $\bar{\Delta} / B2T$ )।

2.3 परिनियोजन तंत्र (Deployment Mechanism)

लेखक एक निश्चित ISR गेटिंग नियम (एल्गोरिदम 1) प्रस्तावित करते हैं:

निर्णय नियम: उत्तर दें यदि $ISR \ge 1$ ; अन्यथा, त्याग (abstain) करें या अधिक साक्ष्य प्राप्त करें।
कार्यान्वयन: इसमें साक्ष्य के $m$ क्रमों का नमूना लेना, प्रत्येक के लिए मॉडल की प्रायिकता की गणना करना, औसत बजट $\bar{\Delta}$ (KL डाइवर्जेंस के माध्यम-से) की गणना करना और इसे B2T थ्रेशोल्ड के विरुद्ध तुलना करना शामिल है।
संदर्भ वितरण (Reference Distribution): इस पद्धति के लिए प्रेडिकेट $g$ के लिए एक संदर्भ वितरण $P_{ref}$ की आवश्यकता होती। इसे नियत ऑर्ैकल्स (जैसे डेटाबेस लुकअप, यूनिट टेस्ट), मूल्यांकन में गोल्ड लेबल्स, या कैलिब्रेटेड सत्यापनकों के माध्यम से स्थापित किया जा सकता है।

3. मुख्य योगदान (Key Contributions)

क्वांटिफाइड ऑर्डर सेंसिटिविटी: शोध पत्र एक QMV बाउंड सिद्ध करता है जो दिखाता है कि क्रम-प्रेरित बिखराव हार्मोनिक पोजीशनल संवेदनशीलता के तहत $O(\log n)$ स्केलिंग का पालन करता है, जो इस वृद्धि के लिए स्पष्ट स्थिरांक (constants) प्रदान करता है।
EDFL एक क्रियाशील विशेषीकरण के रूप में: यह एक्स्पेक्टेशन-लेवल डीकंप्रेशन लॉ को व्युत्पन्न करता है, जो अमूर्त कॉनवेक्सिटी बाउंड्स को क्लोज्ड-फॉर्म प्लानर्स (B2T, RoH, ISR) और एक निश्चित, ऑडिट योग्य $ISR=1$ निर्णय सीमा में बदल देता है।
डिप्लॉयबल आंसर/एब्स्टेन इंटरफेस: लेखक एक व्यावहारिक प्रक्रिया (एल्गोरिदम 1) को परिभाषित करते हैं जो सूचना पर्याप्तता का अनुमान लगाने के लिए क्रम मिश्रणों (permutation mixtures) का उपयोग करती है, जिससे मॉडल को तब उत्तर देने से रोकने की अनुमति मिलती है जब सूचना बजट लक्षित विश्वसनीयता सुनिश्चित करने के लिए अपर्याप्त हो।

4. अनुभवजन्य सत्यापन (Empirical Validation)

इस सिद्धांत को FEVER, HotpotQA, NQ-Open, PopQA और एक कस्टम कंट्रोल्स बेंचमार्क से 3,059 ग्राउंडेड आइटम्स पर Qwen2-7B और Llama3.1-8B का उपयोग करके सत्यापित किया गया।

बिखराव स्केलिंग (प्रयोग 1):
- देखा गया कि माध्य पूर्ण अवशेष (mean absolute residuals) अनुमानित $a + b \log n$ स्केलिंग लॉ का पालन करते हैं।
- Qwen2-7B ने Llama3.1-8B ( $b \approx 0.147$ ) की तुलना में काफी उच्च बिखराव ढलान ( $b \approx 0.377$ ) दिखाया, जो मजबूत पोजीशनल संवेदनशीलता का संकेत देता है।
- यूनिफॉर्म परम्यूटेशन मिश्रणों ने सकारात्मक जेन्सन गैप (क्रॉस-एन्ट्रॉपी में सुधार) दिए, जो पुष्टि करता है कि क्रमों पर औसत निकालने से हानि (loss) कम होती है। यूनिफॉर्म मिश्रण को लगभग-MDL इष्टतम पाया गया, जिसमें इष्टतमता अंतराल (optimality gaps) $< 10^{-4}$ नैट्स/टोकन था।
कारण डोज-रिस्पॉन्स (प्रयोग 2):
- प्रॉम्प्ट लंबाई को स्थिर रखते हुए "सपोर्ट डोज" (सहायक साक्ष्य खंडों की संख्या) को बदलने वाला एक रैंडमाइज्ड अध्ययन।
- परिणामों ने एक कारण संबंध दिखाया: सपोर्ट डोज बढ़ाने से सूचना बजट अनुमान ( $\bar{\Delta}$ ) कम हुआ और हैलुसिनेशन दर भी कम हुई। फिट की गई ढलान ने प्रति अतिरिक्त सूचना बजट (nat) लगभग 12.7 कम हैलुसिनेशन का संकेत दिया।
होल्ड-आउट ऑडिट (प्रयोग 3):
- Gemma-2-9B फाइन-ट्यून किए गए मॉडल का उपयोग करके 528 होल्ड-आउट आइटम्स पर एक पूर्व-निर्धारित ऑडिट।
- एनालिटिकली फिक्स्ड $ISR=1$ गेट का उपयोग करते हुए (बिना पोस्ट-हॉक ट्यूनिंग के), सिस्टम ने 0.0–0.7% की हैलुसिनेशन दर के साथ 20.6–27.9% की एब्स्टेंशन दर (95% CIs) प्राप्त की।
- यह दर्शाता है कि ऑपरेटिंग पॉइंट सार्वभौमिक अंशांकन (universal calibration) के दावों के बिना, उच्च विश्वसनीयता के लिए कवरेज का व्यापार करने की क्षमता रखता है।

5. महत्व और दावे (Significance and Claims)

शोध पत्र एक असत्य सिद्ध करने योग्य (falsifiable), आउट-ऑफ-सैंपल ऑपरेटिंग पॉइंट प्रदान करने का दावा करता है। इसका महत्व निम्नलिखित में निहित है:

प्रशिक्षण और परिनियोजन का सामंजस्य: यह समझाता है कि क्यों क्रॉस-एन्ट्रॉपी (अपेक्षा) को कम करने के लिए प्रशिक्षित मॉडल अभी भी विशिष्ट क्रमों पर विफल हो सकते हैं (साक्षात्कार) और इस अंतर को पाटने का एक तरीका प्रदान करता है।
कैलिब्रेशन से आगे बढ़ना: सीखे गए कॉन्फिडेंस थ्रेशोल्ड पर निर्भर रहने के बजाय जो सामान्यीकरण नहीं कर सकते, ISR गेट सूचना-सैद्धांतिक सिद्धांतों (KL डाइवर्जेंस) से विश्लेषणात्मक रूप से व्युत्पन्न है।
सत्यापन योग्य विश्वसनीयता: यह ढांचा सत्यायक-सापेक्ष प्रेडिकेट्स (verifier-relative predicates) के लिए सीमित है। लेखक स्पष्ट रूप से कहते हैं कि उनके गारंटी एक विशिष्टता, नियत उपकरण, या कैलिब्रेटेड सत्यापनक द्वारा प्रेरित संदर्भ वितरण के सापेक्ष हैं। वे बिना किसी सत्यापन प्राथमिक (verification primitive) के अनियंत्रित जनरेशन या मॉडलों के लिए सार्वभौमिक अंशांकन का दावा नहीं करते हैं।

यह कार्य एक "डिप्लॉयमेंट-फेसिंग" समाधान के रूप में स्थित है, जो एक ठोस नियम (उत्तर दें यदि $ISR \ge 1$ ) प्रदान करता है जो सिस्टम को तब त्याग (abstain) करने की अनुमति देता है जब सूचना बजट लक्षित विश्वसनीयता का समर्थन करने के लिए अपर्याप्त हो, जिससे हैलुसिनेशन के जोखिम को नियंत्रित किया जा सके।