A Fano-Style Accuracy Upper Bound for LLM Single-Pass Reasoning in Multi-Hop QA

यहाँ शोध पत्र "A FANO-STYLE ACCURACY UPPER BOUND FOR LLM SINGLE-PASS REASONING IN MULTI-HOP QA" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र मल्टी-हॉप क्वेश्चन अनswering (MHQA) में लार्ज लैंग्वेज मॉडल्स (LLMs) की मौलिक सीमाओं को संबोधित करता है। MHQA के लिए एक लंबे संदर्भ (context) से बिखरे हुए, परस्पर निर्भर साक्ष्यों को क्रमिक तर्क (sequential reasoning) के माध्यम से एकीकृत करने की आवश्यकता होती है।

• मुख्य बाधा (The Core Bottleneck): सिंगल-पास प्रतिमान (single-pass paradigm) में काम करने वाले LLMs (जो एक ही फॉरवर्ड पास में एक पूर्ण रीजनिंग चेन जनरेट करते हैं) एक सीमित आउटपुट क्षमता द्वारा बाधित होते हैं। जैसे-जैसे रीजनिंग चेन लंबी होती जाती है (अधिक हॉप्स) या संदर्भ बढ़ता है (अधिक शोर/noise), कुल सूचना भार मॉडल की प्रति-पास क्षमता से अधिक हो जाता है।
• परिणाम (The Consequence): इसके कारण कैपेसिटी ओवरफ्लो (Capacity Overflow) होता है, जहाँ प्रासंगिक संकेत (signals) शोर के कारण कमज़ोर पड़ जाते हैं, जिससे मध्यवर्ती निष्कर्ष विफल हो जाते हैं। यह शोध पत्र तर्क देता है कि इसके परिणामस्वरूप एक "एक्यूरेसी क्लिफ" (Accuracy Cliff) उत्पन्न होता है—अर्थात, एक विशिष्ट सैद्धांतिक सीमा पार होने के बाद प्रदर्शन में होने वाला एक तीव्र, गैर-रैखिक पतन (collapse), न कि केवल एक क्रमिक गिरावट।

2. सैद्धांतिक ढांचा और कार्यप्रणाली (Theoretical Framework & Methodology)

लेखक सिंगल-पास रीजनिंग के लिए एक प्रदर्शन सीमा (performance ceiling) प्राप्त करने हेतु सूचना सिद्धांत (Information Theory) का उपयोग करके इस समस्या को औपचारिक रूप देते हैं।

A. फानो-शैली का सटीकता ऊपरी स्तर (Fano-Style Accuracy Upper Bound)

शोध पत्र दो सिद्धांतों के आधार पर एक सैद्धांतिक सीमा व्युत्पन्न करता है:

1. कंडीशनल फानो इनइक्वैलिटी (Conditional Fano Inequality): यह त्रुटि की संभावना ($P_e$) को मॉडल के आउटपुट के दिए जाने पर उत्तर की अवशिष्ट अनिश्चितता (residual uncertainty) से जोड़ता है।
2. आउटपुट एंट्रॉपी बाउंड (Output Entropy Bound): यह बताता है कि एक आउटपुट द्वारा प्रदान की जा सकती सूचना (mutual information) उसकी अपनी एंट्रॉपी (मॉडल की आउटपुट क्षमता, $C$) द्वारा सीमित है।

थ्योरम 1 (सटीकता ऊपरी स्तर):
एक सिंगल-पास पॉलिसी के लिए, अधिकतम प्राप्त सटीकता ($Acc$), कार्य की **सूचना मांग** ($\beta = H(A|Q,C)$) और मॉडल की **आउटपुट क्षमता** ($C = H(Y)$) के बीच संबंध द्वारा सीमित है:
$$h(Acc) + (1-Acc)\log(|A|-1) \geq \beta - C$$
जहाँ $h(\cdot)$ बाइनरी एंट्रॉपी फंक्शन है।

मुख्य अंतर्दृष्टि (The Accuracy Cliff):
जब $\beta > C + 1$ होता है, तो पूर्ण सटीकता गणितीय रूप से असंभव हो जाती है। सटीकता रैखिक रूप से कम नहीं होती, बल्कि हाइपरबोलिक रूप से गिरती है।

B. MHQA चुनौती का विश्लेषण (Anatomy of the MHQA Challenge)

शोध पत्र दो संचयी कारकों की पहचान करता है जो $\beta$ (सूचना मांग) को $C$ से अधिक होने के लिए प्रेरित करते हैं:

1. स्टेपवाइज कैपेसिटी ओवरफ्लो (Stepwise Capacity Overflow): सूचना की मांग हॉप्स की संख्या ($h$) और संदर्भ लंबाई ($L$) के साथ सुपर-लीनियरली बढ़ती है। मॉडल को $\beta(h, L) = \beta_0 + \alpha L \gamma^{h-1}$ के रूप में मॉडल किया गया है।
2. क्रॉस-स्टेप एरर एक्यूमुलेशन (Cross-Step Error Accumulation): यहाँ तक कि छोटी प्रति-चरण त्रुटियाँ भी रीजनिंग चेन के माध्यम से तेजी से प्रसारित होकर घातीय रूप से (exponentially) बढ़ जाती हैं, जिससे समग्र सफलता की संभावना तेजी से घटती है ($Pr(Succ) \approx (1-\epsilon)^{K+1}$)।

3. प्रस्तावित समाधान: InfoQA

सिंगल-पास बाधा को दूर करने के लिए, लेखक InfoQA पेश करते हैं, जो एक मल्टी-कॉल रीजनिंग फ्रेमवर्क है जिसे हर चरण में सूचना की मांग को मॉडल की क्षमता के भीतर रखने के लिए डिज़ाइन किया गया है।

तीन मुख्य घटक:

1. कैपेसिटी-अवेयर टास्क डिकंपोजिशन (Capacity-Aware Task Decomposition):
   • यह एक जटिल मल्टी-हॉप क्वेरी को सिंगल-हॉप सब-क्वेश्चन के अनुक्रम में तोड़ता है।
   • यह प्रति चरण सूचना की मांग ($\beta_1$) को मॉडल की क्षमता ($C$) के भीतर लाता है, जिससे प्रारंभिक "एक्यूरेसी क्लिफ" को रोका जा सके।
2. डिपेंडेंसी-एक्सप्लिसिट वर्कफ्लो (Dependency-Explicit Workflow):
   • निहित मेमोरी (implicit memory) पर भरोसा करने के बजाय, यह वर्कफ्लो स्पष्ट रूप से 'स्टेट' (state) को पास करता है।
   • एक सब-क्वेश्चन को हल करने के बाद, खोज ($\hat{Z}_k$) को अगली क्वेरी ($Q_{k+1}$) में एम्बेड किया जाता है, जिससे यह सुनिश्चित होता है कि रीजनिंग चेन पारदर्शी और संरेखित रहे।
3. इटरेटिव क्वेरी कॉन्ट्रैक्शन (Iterative Query Contraction):
   • प्रूनिंग (Pruning): शोर के संचय को रोकने के लिए पिछले चरणों के पूर्ण रीजनिंग ट्रेस को हटा दिया जाता है।
   • कॉन्ट्रैक्शन (Contraction): नवीनतम खोज का उपयोग करके क्वेरी को फिर से लिखा जाता है, जिससे कुल रीजनिंग गहराई के बावजूद प्रॉम्प्ट की लंबाई स्थिर और प्रबंधनीय बनी रहती है।

4. प्रयोगात्मक सेटअप और परिणाम (Experimental Setup & Results)

बेंचमार्क निर्माण

लेखकों ने अपने सिद्धांत का कड़ाई से परीक्षण करने के लिए एक सिंथेटिक, शोर-युक्त (noise-rich) बेंचमार्क बनाया।

• नियंत्रित चर (Controlled Variables): व्यवस्थित रूप से हॉप काउंट (1–4) और संदर्भ लंबाई (0.5k–10k टोकन) को बदला गया।
• शोर (Noise): शॉर्टकट लर्निंग को रोकने के लिए इसमें अर्थपूर्ण रूप से समान विचलित तत्वों (distractors) और अप्रासंगिक पैडिंग को शामिल किया गया।
• मॉडल्स: Qwen3-8B और Qwen3-14B पर मूल्यांकन किया गया।

मुख्य निष्कर्ष

1. एक्यूरेसी क्लिफ का सत्यापन:

   • सिंगल-पास बेसलाइन (Direct, CoT, ReAct, आदि) के लिए अनुभवजन्य परिणाम सैद्धांतिक फानो-शैली वक्रों (curves) से निकटता से मेल खाते हैं।
   • जैसे-जैसे प्रभावी सूचना मांग ($\beta$) बढ़ी, प्रदर्शन एक महत्वपूर्ण सीमा तक उच्च बना रहा, जिसके बाद यह तेजी से गिर गया, जिससे "एक्यूरेसी क्लिफ" घटना की पुष्टि हुई।
   • Chain-of-Thought (CoT) जैसे तरीकों ने उच्च प्रभावी क्षमता ($C$) दिखाई लेकिन उच्च जटिलता पर वे भी क्लिफ का शिकार हो गए।

2. InfoQA का प्रदर्शन:

   • श्रेष्ठता: InfoQA ने सभी सिंगल-पास बेसलाइनों को काफी पीछे छोड़ दिया, और 2–4 हॉप कार्यों पर औसत F1 स्कोर 0.86 प्राप्त किया (Self-Consistency के 0.75 और CoT के 0.73 के मुकाबले)।
   • मजबूती (Robustness):
     • गहराई (Depth): इसने 4 हॉप्स पर भी उच्च सटीकता बनाए रखी, जबकि सिंगल-पास तरीके शून्य के करीब गिर गए।
     • लंबाई (Length): 8k–10k टोकन के संदर्भों में भी विश्वसनीय रहा, जबकि अन्य विफल हो गए।
   • एब्लेशन (Ablation): डिकंपोजिशन या प्रूनिंग को हटाने से प्रदर्शन में काफी गिरावट आई, जिससे सिद्ध हुआ कि क्षमता प्रबंधन और त्रुटि संचय को नियंत्रित करने के लिए दोनों घटक आवश्यक हैं।

5. प्रमुख योगदान (Key Contributions)

1. सैद्धांतिक औपचारिकता (Theoretical Formalization): एक कठोर सूचना-सैद्धांतिक प्रमाण (फानो-शैली बाउंड) प्रदान किया, जो स्थापित करता है कि सिंगल-पास रीजनिंग की एक हार्ड परफॉरमेंस सीलिंग होती है जो सूचना मांग और आउटपुट क्षमता के अनुपात द्वारा परिभाषित होती है।
2. घटना की पहचान (Phenomenon Identification): "एक्यूरेसी क्लिफ" और "स्टेपवाइज कैपेसिटी ओवरफ्लो" एवं "क्रॉस-स्टेप एरर एकक्युलेशन" के दोहरे संकट को परिभाषित और अभिलक्षणित किया।
3. फ्रेमवर्क नवाचार (Framework Innovation): InfoQA पेश किया, जो एक व्यावहारिक मल्टी-कॉल फ्रेमवर्क है जो क्षमता-जागरूक डिकंपोजिशन और इटरेटिव प्रूनिंग को संचालित करता है ताकि सिंगल-पास सीमा को पार किया जा सके।
4. अनुभवजन्य सत्यापन (Empirical Validation): एक नियंत्रित बेंचमार्क का निर्माण किया जिसने सैद्धांतिक वक्रों को मान्य किया और जटिल MHQA के लिए मल्टी-कॉल रीजनिंग की व्यावहारिक आवश्यकता को प्रदर्शित किया।

6. महत्व (Significance)

यह कार्य LLM रीजनिंग के प्रतिमान को "एक पास में बेहतर प्रॉम्प्ट कैसे दें" से बदलकर "कई कॉल्स के माध्यम से तर्क को कैसे संरचित करें" की ओर ले जाता है। यह एक सैद्धांतिक औचित्य प्रदान करता है कि जटिल कार्यों के लिए मल्टी-स्टेप, इटरेटिव दृष्टिकोण क्यों आवश्यक हैं, जो इसे केवल अनुभवजन्य अवलोकन से आगे ले जाकर एक क्षमता-आधारित स्पष्टीकरण देता है। निष्कर्ष बताते हैं कि उच्च-जटिलता वाली रीजनिंग के लिए, केवल मॉडल का आकार या कॉन्टेक्स्ट विंडो बढ़ाने के बजाय डिकंपोजिशन और स्टेट मैनेजमेंट अधिक महत्वपूर्ण हैं।