🤖 machine learning

Epistemic Throughput: Fundamental Limits of Attention-Constrained Inference

यह शोध पत्र एक "JaKoB" स्केलिंग लॉ (scaling law) को व्युुत्पन्न करने के लिए "अटेंशन-कंस्ट्रेंड इन्फरेंस" (Attention-Constrained Inference) शासन को औपचारिक रूप देता है, जो यह दर्शाता है कि एपिस्टेमिक थ्रूपुट (epistemic throughput)—जो दुर्लभ सत्यापन के तहत पोस्टीरियर अनसर्टेन्टी (posterior uncertainty) में कमी है—स्क्रीनिंग की गुणवत्ता, मात्रा और सत्यापन क्षमता के गुणनफल के वर्गमूल के साथ स्केल करता है, जिससे यह प्रकट होता है कि सस्ती स्क्रीनिंग का विस्तार दुर्लभ सत्यापन संसाधनों को गैर-रैखिक रूप से प्रवर्धित कर सकता है, विशेष रूप से तब जब सूचनात्मक रिकॉर्ड दुर्लभ हों और स्कोर हेवी-टेल्ड वितरण (heavy-tailed distributions) का पालन करते हों।

मूल लेखक: Lei You

प्रकाशित 2026-02-16

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Lei You

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "एपिस्टेमिक थ्रूपुट: अटेंशन-कंस्ट्रेंड इन्फरेंस की मौलिक सीमाएँ" (Epistemic Throughput: Fundamental Limits of Attention-Constrained Inference) पेपर का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।

बड़ी तस्वीर: "हेस्टैक" (सूखी घास का ढेर) की समस्या

कल्पना कीजिए कि आप एक जासूस हैं जो मिट्टी के एक विशाल ढेर में छिपे एक अकेले, असली हीरे को खोजने की कोशिश कर रहे हैं। आज की AI की दुनिया में हम इसी तरह जी रहे हैं।

हेस्टैक (सूखी घास का ढेर): AI मॉडल अब मुफ्त में लाखों लेख, कोड स्निपेट्स और तथ्य उत्पन्न कर सकते हैं। यह मिट्टी का एक विशाल ढेर है।
हीरा: वह एक जानकारी जो वास्तव में सत्य और उपयोगी है।
समस्या: आपके पास (इंसान या निर्णय लेने वाली प्रणाली के पास) चीजों की जांच करने के लिए बहुत कम समय और ऊर्जा है। आप सारी मिट्टी को नहीं पढ़ सकते। आपके पास केवल कुछ मुट्ठी भर चीजों का सावधानीपूर्वक निरीक्षण करने के लिए ही पर्याप्त ऊर्जा है।

पेपर एक सरल प्रश्न पूछता है: हम सबसे अधिक हीरे खोजने के लिए अपनी सीमित ऊर्जा का उपयोग कैसे करें?

दो-चरणीय रणनीति: "स्क्रीन" और "सीव" (छलनी)

लेखक प्रस्तावित करते हैं कि हम केवल अनुमान नहीं लगा सकते। हमें एक दो-चरणीय प्रक्रिया की आवश्यकता है, जिसे वे अटेंशन-कंस्ट्रेंड इन्फरेंस (ACI) कहते हैं।

सस्ता स्क्रीन (व्यापक ध्यान/Broad Attention):
कल्पना कीजिए कि आपके पास एक मेटल डिटेक्टर है। यह तेज़ है, सस्ता है, और आप इसे मिट्टी के पूरे ढेर पर घुमा सकते हैं। यह तब बीप करता है जब इसे कुछ ऐसा मिलता है जो शायद धातु हो। लेकिन यह शोर भरा (noisy) है! यह पत्थरों, बोतल के ढक्कनों और असली सोने के लिए भी बीप करता है।

AI के संदर्भ में: यह हजारों सारांशों को स्कैन करना या एक त्वरित AI चेक का उपयोग करना है ताकि यह देखा जा सके कि क्या कोई स्रोत आशाजनक लग रहा है।

महंगा सीव (गहरा ध्यान/Deep Attention):
आपके पास केवल 10 वस्तुओं को ध्यान से खोदकर जांचने का समय है। आप उन वस्तुओं को लेते हैं जिन्होंने आपके मेटल डिटेक्टर पर सबसे ज़ोर से बीप किया था और उन्हें हीरा देखने के लिए खोद निकालते हैं।

AI के संदर्भ में: यह एक मानव विशेषज्ञ द्वारा पूरा टेक्स्ट पढ़ना, एक जटिल कोड टेस्ट चलाना, या किसी विशिष्ट दावे की तथ्य-जांच (fact-check) करना है।

स्वर्णिम खोज: "JaKoB" नियम

पेपर की मुख्य खोज एक गणितीय नियम (जिसे JaKoB स्केलिंग लॉ कहा गया है) है जो हमें बताता है कि यदि हम "सीव" (छलनी) से पहले "स्क्रीन" (स्कैनिंग) का उपयोग करते हैं, तो हम कितना बेहतर कर सकते हैं।

उन्होंने पाया कि आपकी सीमित खुदाई के समय (वेरिफिकेशन) का मूल्य केवल रैखिक (linear) नहीं है। स्क्रीनिंग से इसे एक जबरदस्त बढ़ावा (boost) मिलता है।

इसे इस प्रकार समझें:

रैंडम गेसिंग (यादृच्छिक अनुमान): यदि आप मेटल डिटेक्टर के बिना ढेर में से 10 चीजें चुनते हैं, तो आपको शायद 1 हीरा मिले (यदि ढेर में 10% हीरे हैं)।
एक कमजोर मेटल डिटेक्टर के साथ: भले ही आपका डिटेक्टर खराब हो (यह पत्थरों के लिए भी बीप करता है), यदि आप पहले मिट्टी का एक विशाल ढेर स्कैन करते हैं, तो आप उन 10 चीजों को "चुन" (cherry-pick) सकते हैं जिन्होंने सबसे ज़ोर से बीप किया था।
जादू: पेपर यह सिद्ध करता है कि खुदाई करने के लिए कुछ वस्तुओं को खोजने हेतु मिट्टी के एक विशाल ढेर ( $K$ ) को स्कैन करने से, आपकी सफलता दर केवल थोड़ी सी नहीं बढ़ती। यह प्रयास के वर्गमूल (square root) के अनुपात में बढ़ती है।

उपमा:
कल्पना कीजिए कि आप मछली पकड़ रहे हैं।

वेरिफिकेशन ( $B$ ) उन मछलियों की संख्या है जिन्हें आप वास्तव में पकड़ सकते हैं और रख सकते हैं।
स्क्रीनिंग ( $K$ ) उस जाल का आकार है जिसे आप पानी में खींचते हैं।
नियम: यदि आप 100 गुना बड़ा जाल खींचते हैं, तो आप केवल 100 गुना अधिक मछलियाँ नहीं पकड़ते। क्योंकि आप उस विशाल जाल से सबसे अच्छी मछलियाँ चुन सकते हैं, इसलिए आप काफी अधिक मछलियाँ पकड़ते हैं, भले ही आपका जाल थोड़ा लीक होने वाला (noisy) हो।

गुप्त सामग्री: "हैवी टेल्स" (Heavy Tails)

यहाँ पेपर का सबसे आश्चर्यजनक हिस्सा है। यह पता चलता है कि आपका मेटल डिटेक्टर कैसे बीप करता है, यह आपकी सोच से कहीं अधिक महत्वपूर्ण है।

"गौसियन" ट्रैप (सामान्य वितरण/Normal Distribution): कल्पना कीजिए कि एक मेटल डिटेक्टर जो ज्यादातर मध्यम आवाज़ में बीप करता है, जिसमें बहुत कम चरम (extreme) बीप होती है। यदि आप मिट्टी का ढेर 10 गुना बड़ा करते हैं, तो आपको बहुत कम मदद मिलती है। लाभ बहुत धीरे बढ़ता है (लॉगारिदमिक रूप से)। यह सूखी घास के ढेर में सुई खोजने जैसा है जहाँ आप केवल थोड़ी अधिक नुकीली सुइयों की तलाश कर रहे हैं; आप बहुत अधिक नहीं पाएंगे।
"हैवी टेल" (पारेटो वितरण/Pareto Distribution): कल्पना कीजिए कि एक मेटल डिटेक्टर जो आमतौर पर शांति से बीप करता है, लेकिन कभी-कभी कुछ वाकई विशेष मिलने पर सायरन की तरह चिल्लाता है। यदि आपके पास इस तरह का डिटेक्टर है, तो मिट्टी का ढेर 10 गुना बड़ा करना एक गेम-चेंजर है। आप उन चिल्लाने वाले "सायरनों" (उच्च गुणवत्ता वाले उम्मीदवारों) को खोजने की बहुत अधिक संभावना रखते हैं।

सबक: अपने सीमित ध्यान का अधिकतम लाभ उठाने के लिए, आपके स्क्रीनिंग टूल को केवल "औसत" नहीं होना चाहिए। इसे कभी-कभी चरम आउटलेयर्स (extreme outliers) उत्पन्न करने के लिए डिज़ाइन किया जाना चाहिए—ऐसे उम्मीदवार जो इतने स्पष्ट रूप से अच्छे हों कि वे चिल्लाकर कहें "मुझे चेक करो!"

आज के AI के लिए यह क्यों मायने रखता है

हम वर्तमान में AI-जनित सामग्री में डूब रहे हैं।

पुराना तरीका: हमने AI को इतना पूर्ण बनाने की कोशिश की ताकि हमें उसे चेक न करना पड़े। (जो असंभव है)।
नया तरीका (एपिस्टेमिक कम्युनिकेशन): हम स्वीकार करते हैं कि AI गलतियाँ करेगा। इसके बजाय, हम ऐसी प्रणालियाँ बनाते हैं जो:
1. सस्ते में लाखों विचार उत्पन्न करती हैं।
2. एक "स्क्रीनिंग" प्रणाली का उपयोग करती हैं जो चरम आउटलेयर्स (उन "सायरनों") को पहचानने में अच्छी है।
3. अपना कीमती मानव समय केवल उन कुछ आउटलेयर्स पर खर्च करती है।

एक वाक्य में सारांश

जब आपके पास लाखों सस्ते अनुमान हों लेकिन जांचने के लिए केवल कुछ मिनट हों, तो सत्य खोजने का सबसे अच्छा तरीका यादृच्छिक रूप से जांचना नहीं है; बल्कि डेटा के एक विशाल हिस्से को एक शोर भरे फिल्टर के साथ स्कैन करना है ताकि उन कुछ "चिल्लाने वाले" उम्मीदवारों को खोजा जा सके जो आपके गहरे ध्यान के योग्य हैं, क्योंकि उस स्क्रीनिंग का मूल्य आपके द्वारा स्कैन किए गए डेटा के वर्गमूल के साथ बढ़ता है।

यहाँ लेई यू (Lei You) के शोध पत्र "Epistemic Throughput: Fundamental Limits of Attention-Constrained Inference" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण: अटेंशन-कंस्ट्रेंड इन्फरेंस (ACI) रिजीम

यह शोध पत्र आधुनिक AI प्रणालियों, विशेष रूप से जेनरेटिव मॉडल्स और टूल उपयोग (tool use) से जुड़ी एक महत्वपूर्ण बाधा को संबोधित करता है। जबकि विश्वसनीय सामग्री (कैंडिडेट्स) उत्पन्न करने की लागत लगभग शून्य तक गिर गई है, सत्यता के सत्यापन (verification) की लागत उच्च बनी हुई है। यह एक ऐसी विषमता पैदा करता है जहाँ निर्णय लेने वालों के सामने "पब्लिक रिकॉर्ड्स" (भूसे का ढेर/haystack) का भारी आयतन होता है, लेकिन गहन सत्यापन के लिए उनके पास सीमित बजट होता है।

मुख्य समस्या को अटेंशन-कंस्ट्रेंड इन्फरेंस (ACI) के रूप में औपचारिक रूप दिया गया है:

संदर्भ (Context): $K$ रिकॉर्ड्स का एक बड़ा पूल मौजूद है। केवल एक छोटा उपसमूह $B$ ( $B \ll K$ ) ही महंगी, उच्च-सटीकता वाली सत्यापन प्रक्रिया के अधीन किया जा सकता है।
लक्ष्य: सीमित अटेंशन के प्रतिबंध के तहत, एक लेटेंट ग्राउंड ट्रुथ $\Theta$ के बारे में पोस्टीरियर अनसर्टेन्टी (posterior uncertainty) में कमी (इन्फॉर्मेशन गेन) को अधिकतम करना।
मेट्रिक: यह पेपर बेयस लॉग-लॉस (Bayes log-loss) का उपयोग करके एपिस्टेमिक थ्रूपुट (Epistemic Throughput) को परिभाषित करता है, जो प्रति विंडो प्राप्त होने वाली अधिकतम पोस्टीरियर अनसर्टेन्टी में कमी है।
दो-चरणीय पाइपलाइन (Two-Stage Pipeline):
1. स्क्रीनिंग (व्यापक अटेंशन - Broad Attention): एक सस्ता, शोरयुक्त (noisy) प्रोसेस सभी $K$ रिकॉर्ड्स का निरीक्षण करता है ताकि स्कोर जनरेट किए जा सकें।
2. वेरिफिकेशन (गहन अटेंशन - Deep Attention): एक महंगा प्रोसेस स्क्रीनिंग स्कोर के आधार पर चुने गए अधिकतम $B$ रिकॉर्ड्स को सत्यापित करता है।

2. कार्यप्रणाली और मॉडलिंग (Methodology and Modeling)

लेखक स्क्रीनिंग और वेरिफिकेशन के बीच के अंतर्संबंध का विश्लेषण करने के लिए एक सूचना-सैद्धांतिक (information-theoretic) ढांचा विकसित करते हैं।

सिस्टम मॉडल:
- लेटेंट स्टेट (Latent State): एक बाइनरी टाइप $T \in \{0, 1\}$ यह दर्शाता है कि कोई रिकॉर्ड सूचनात्मक ( $T=1$ ) है या नहीं, जिसकी व्यापकता (prevalence) $p$ है।
- स्क्रीनिंग चैनल (Screening Channel): एक शोरयुक्त सांख्यिकी $Z$ उत्पन्न करता है जो $T$ के साथ सह-संबंधित (correlated) है। स्क्रीनिंग की गुणवत्ता को म्यूचुअल इंफॉर्मेशन $J = I(T; Z)$ द्वारा मापा जाता है। महत्वपूर्ण बात यह है कि स्क्रीनिंग सीधे $\Theta$ को प्रकट नहीं करती है; यह केवल संभावित रूप से सूचनात्मक रिकॉर्ड्स की पहचान करती है।
- वेरिफिकेशन चैनल (Verification Channel): यदि किसी रिकॉर्ड को सत्यापित किया जाता है, तो डिकोडर $(T, V)$ को देखता है। यदि $T=1$ , तो $V$ , $\Theta$ के बारे में जानकारी प्रदान करता है जिसकी क्षमता $I_{ver} = I(\Theta; V | T=1)$ है। यदि $T=0$ , तो $V$ कोई जानकारी प्रदान नहीं करता।
पॉलिसी (Policy): सिस्टम वेरिफिकेशन के लिए स्क्रीनिंग स्कोर $\eta(Z) = P(T=1|Z)$ के आधार पर शीर्ष- $B$ रिकॉर्ड्स का चयन करता है।
विश्लेषण उपकरण: पेपर ऑर्डर स्टैटिस्टिक्स (order statistics), एक्सट्रीम वैल्यू थ्योरी (extreme value theory), और डेटा प्रोसेसिंग इनइक्वेलिटीज (data processing inequalities) का उपयोग करके सूचना लाभ (information gain) के लिए सीमाएं (bounds) प्राप्त करता है।

3. मुख्य योगदान

A. "JaKoB" स्केलिंग लॉ

केंद्रीय सैद्धांतिक परिणाम एक मौलिक स्केलिंग लॉ है जो अधिकतम सूचना लाभ (एपिस्टेमिक थ्रूपुट) का वर्णन करता है। यह लाभ निम्नलिखित द्वारा सीमित है:
$\text{Gain} \approx I_{ver} \cdot B \left( p + c \sqrt{\frac{JK}{B}} \right)$
जहाँ:

$I_{ver} \cdot B$ : वेरिफिकेशन बजट की बेसलाइन क्षमता।
$p$ : सूचनात्मक रिकॉर्ड्स की व्यापकता (रैंडम हिट रेट)।
$c \sqrt{JK/B}$ : इन्फॉर्मेशन लीवरेज टर्म (Information leverage term)।
व्याख्या: सस्ते स्क्रीनिंग वॉल्यूम $K$ का विस्तार वेरिफिकेशन बजट $B$ को नॉन-लीनियर रूप से एम्प्लीफाई (amplify) कर सकता है। गेन, स्क्रीनिंग क्वालिटी ( $J$ ), स्क्रीनिंग वॉल्यूम ( $K$ ), और वेरिफिकेशन बजट के व्युत्क्रम ( $1/B$ ) के गुणनफल के वर्गमूल के साथ स्केल करता है।

B. कंस्ट्रक्टिव अचीवेबिलिटी (Constructive Achievability)

पेपर यह सिद्ध करता है कि यह सैद्धांतिक सीमा केवल एक बाउंड नहीं है बल्कि इसे कुशलतापूर्वक प्राप्त (efficiently achievable) किया जा सकता है। एक सरल स्कोर-आधारित वेरिफिकेशन पॉलिसी (K का निरीक्षण करें, स्कोर द्वारा रैंक करें, शीर्ष-B को सत्यापित करें) "वीक-स्क्रीनिंग" रिजीम (जहाँ स्क्रीनिंग स्कोर प्रायर प्रिवेलेंस के करीब होते हैं) में इस स्केलिंग को प्राप्त करती है।

C. "गौसियन ट्रैप" बनाम "हैवी-टेल्ड लीवरेज" (The "Gaussian Trap" vs. Heavy-Tailed Leverage)

स्पार्स रिजीम ( $B \ll K$ ) में स्क्रीनिंग स्कोर के वितरण के संबंध में एक महत्वपूर्ण निष्कर्ष है:

लाइट-टेल्ड स्कोर (जैसे Gaussian): लीवरेज ओवरसैंपलिंग रेशियो $K/B$ के साथ केवल लॉगारिदमिक (logarithmically) रूप से बढ़ता है। स्क्रीनिंग प्रयास को दोगुना करने से घटते हुए प्रतिफल (diminishing returns) मिलते हैं।
हैवी-टेल्ड स्कोर (जैसे Pareto): लीवरेज $K/B$ के साथ पॉलीनोमियल (polynomially) रूप से बढ़ता है। इसका तात्पर्य है कि बड़े पैमाने पर स्क्रीनिंग प्रभावी होने के लिए, स्कोरिंग तंत्र को कभी-कभी अत्यधिक "क्लीन हिट्स" (ऐसे कैंडिडेट जो औसत से बहुत अधिक सत्य होने की संभावना रखते हैं) उत्पन्न करने में सक्षम होना चाहिए।

4. मुख्य परिणाम और प्रमेय (Key Results and Theorems)

थ्योरम 6 (Converse Bound): सूचना लाभ पर ऊपरी सीमा स्थापित करता है। यह दिखाता है कि कोई भी पॉलिसी JaKoB लॉ द्वारा परिभाषित गेन से अधिक नहीं हो सकती। इसका प्रमाण एक सिलेक्शन एनरिचमेंट बाउंड (Selection Enrichment Bound) (लेम्मा 4) पर आधारित है, जो यह सीमित करता है कि एक शोरयुक्त स्कोर हिट रेट को कितना समृद्ध कर सकता है।
थ्योरम 10 (Achievability): दर्शाता है कि एक टॉप- $B$ सिलेक्शन पॉलिसी वीक-स्क्रीनिंग धारणाओं (लोकल लॉजिस्टिक रिग्रेशन के माध्यम से मॉडल की गई) के तहत $\sqrt{JK/B}$ स्केलिंग प्राप्त करती है।
प्रपोजिशन 12 और 13 (Tail Behavior):
- गौसियन स्कोर के लिए, टेल लीवरेज $m_G(\alpha) \sim \sqrt{\ln(1/\alpha)}$ है।
- पारेटो (Pareto) स्कोर (एक्सपोनेंट $\nu$ ) के लिए, टेल लीवरेज $m_G(\alpha) \sim \alpha^{-1/\nu}$ है।
- निष्कर्ष: हेस्टैक (haystack) रिजीम में, बड़े पैमाने पर स्क्रीनिंग की उपयोगिता पूरी तरह से स्कोर डिस्ट्रीब्यूशन के अपर-टेल व्यवहार (upper-tail behavior) द्वारा निर्धारित होती है।

5. महत्व और निहितार्थ (Significance and Implications)

नया प्रतिमान: एपिस्टेमिक कम्युनिकेशन (Epistemic Communication): लेखक "एपिस्टेमिक कम्युनिकेशन" को एक नए प्रतिमान के रूप में प्रस्तावित करते हैं जो पारंपरिक विश्वसनीयता (बिट रेट) या सिमेंटिक कम्युनिकेशन से अलग है। लक्ष्य अटेंशन बाधाओं के तहत सत्यापित सत्यों (verified truths) को प्राप्त करने की दर को अधिकतम करना है।
AI सिस्टम के लिए डिजाइन सिद्धांत:
- औसत के बजाय स्क्रीनिंग क्वालिटी: स्पार्स वेरिफिकेशन में, औसत रैंकिंग क्वालिटी से अधिक महत्व अत्यधिक आउटलायर्स (extreme outliers) उत्पन्न करने की क्षमता का होता है।
- लीवर के रूप में ओवरसैंपलिंग: स्क्रीनिंग बजट $K$ को बढ़ाना तभी प्रभावी है जब स्कोरिंग सिस्टम "सुपर-कैंडिडेट्स" को शोर (noise) से अलग करने में सक्षम हो।
- पब्लिक आर्टिफैक्ट्स: वेरिफिकेशन आउटपुट को पुन: प्रयोज्य पब्लिक आर्टिफैक्ट्स के रूप में संरचित किया जाना चाहिए ताकि वेरिफिकेशन की उच्च लागत को कई डाउनस्ट्रीम एजेंट्स के बीच फैलाया जा सके।
व्यावहारिक अनुप्रयोग: यह सिद्धांत RAG (Retrieval-Augmented Generation), टूल-यूज़िंग एजेंट्स (जैसे WebGPT), और ऑटोमेटेड फैक्ट-चेकिंग पर सीधे लागू होता है। यह सुझाव देता है कि सिस्टम डिजाइनरों को ऐसे स्कोरिंग फंक्शन्स इंजीनियर करने पर ध्यान केंद्रित करना चाहिए जो दुर्लभ वेरिफिकेशन संसाधनों पर रिटर्न को अधिकतम करने के लिए हैवी-टेल्ड डिस्ट्रीब्यूशन (heavy-tailed distributions) उत्पन्न करें।

सारांश

यह पेपर इन्फरेंस की सीमाओं का पहला कठोर सूचना-सैद्धांतिक लक्षण वर्णन प्रदान करता है जब वेरिफिकेशन दुर्लभ हो। यह स्थापित करता है कि हालांकि सस्ता स्क्रीनिंग, महंगे वेरिफिकेशन की जगह नहीं ले सकता, लेकिन यह इसके मूल्य को नॉन-लीनियर रूप से एम्प्लीफाई कर सकता है—बशर्ते कि स्क्रीनिंग मैकेनिज्म चरम संकेतों (हैवी टेल्स) को पहचानने में सक्षम हो। "JaKoB" कानून जेनरेटिव AI के युग में स्क्रीनिंग वॉल्यूम और वेरिफिकेशन डेप्थ के बीच ट्रेड-ऑफ को अनुकूलित करने के लिए एक मात्रात्मक मार्गदर्शिका प्रदान करता है।