तकनीकी सारांश: विश्वसनीय LLMs में ज़ीरो-एरर होराइज़न (Zero-Error Horizons)

1. समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग स्वास्थ्य सेवा, वित्त और परमाणु प्रणालियों जैसे सुरक्षा-महत्वपूर्ण (safety-critical) क्षेत्रों में तेजी से किया जा रहा है। अपनी स्पष्ट तर्क क्षमताओं के बावजूद, LLMs अपनी सक्षमता में "छेद" (holes) प्रदर्शित करते हैं, जिससे वे सरल कार्यों पर भी अकथनीय गलतियाँ करते हैं (जैसे, $127 \times 82$ की गणना करना, एक छोटी बाइनरी स्ट्रिंग की पैरिटी निर्धारित करना, या संतुलित कोष्ठकों (balanced parentheses) की जाँच करना)।

वर्तमान मूल्यांकन मेट्रिक्स, मुख्य रूप से सटीकता (accuracy), सुरक्षा-महत्वपूर्ण अनुप्रयोगों के लिए कई कारणों से अपर्याप्त हैं:

• स्केल मनमानापन (Scale Arbitrariness): सटीकता मूल्यांकनकर्ता द्वारा समस्या रेंज के चयन पर निर्भर करती है (जैसे, $50 \times 50$ बनाम $99 \times 99$ तक गुणन का परीक्षण करना)। एक मॉडल सीमित रेंज पर अत्यधिक सटीक दिखाई दे सकता है, जबकि थोड़े बड़े इनपुट पर विनाशकारी रूप से विफल हो सकता है।
• सुरक्षा गारंटी का अभाव: उच्च औसत सटीकता का अर्थ यह नहीं है कि मॉडल में "छेद" मौजूद नहीं हैं जहाँ वह विफल हो सकता है। सुरक्षा-महत्वपूर्ण संदर्भों में, एक एकल त्रुटि भी घातक हो सकती है।
• संतृप्ति (Saturation): फिक्स्ड-साइज़ बेंचमार्क अंततः संतृप्त हो जाते हैं क्योंकि मॉडल बेहतर होते जाते हैं, जिससे वे अत्याधुनिक प्रदर्शन (state-of-the-art performance) के बीच अंतर करने की क्षमता खो देते हैं।

यह शोध पत्र तर्क देता है कि एक ऐसे मेट्रिक की आवश्यकता है जो औसत प्रदर्शन स्कोर के बजाय एक गारंटीकृत सुरक्षित सीमा (guaranteed safe boundary) को परिभाषित करे।

2. कार्यप्रणाली: ज़ीरो-एरर होराइज़न (ZEH)

लेखक ज़ीरो-एरर होराइज़न (ZEH) प्रस्तावित करते हैं, जो उस अधिकतम समस्या आकार $n$ का प्रतिनिधित्व करता है जिसके लिए एक मॉडल नियत (deterministic) ग्रीडी डिकोडिंग के तहत बिना किसी त्रुटि के सभी उदाहरणों को हल कर सकता है।

परिभाषा

एक निश्चित मॉडल, समस्या प्रकार और प्रॉम्प्ट के लिए:

• मान लीजिए $B_n$ आकार $n$ की समस्याओं का सेट है।
• $T_n = \bigcup_{i=1}^n B_i$ आकार $n$ तक की सभी समस्याओं का सेट है।
• $C$ उन समस्याओं का सेट है जिनका मॉडल सही उत्तर देता है।
• ZEH को इस प्रकार परिभाषित किया गया है:
  $$\text{ZEH} = \max \{ n \mid T_n \subseteq C \}$$

अनिवार्य रूप से, $\text{ZEH} = k$ वाला एक मॉडल आकार $1$से$k$तक के प्रत्येक उदाहरण को सही ढंग से हल करता है, लेकिन आकार$k+1$के एक उदाहरण पर कम से कम एक त्रुटि करता है। वह विशिष्ट उदाहरण जहाँ मॉडल आकार$k+1$ पर पहली बार विफल होता है, उसे ZEH लिमिटर (ZEH Limiter) कहा जाता है।

मूल्यांकन कार्य

लेखक चार कार्यों पर ZEH का मूल्यांकन करते हैं:

1. गुणन (Multiplication): पूर्णांक गुणन ($a \times b$), जहाँ आकार $\max(a, b)$ द्वारा परिभाषित है।
2. पैरिटी (Parity): बाइनरी स्ट्रिंग्स की पैरिटी (सम/विषम संख्या) निर्धारित करना, जहाँ आकार स्ट्रिंग की लंबाई है।
3. संतुलित कोष्ठक (Balanced Parentheses): यह निर्धारित करना कि कोष्ठकों की एक स्ट्रिंग संतुलित है या नहीं, जहाँ आकार स्ट्रिंग की लंबाई है।
4. ग्राफ कलरिंग (Graph Coloring): सरल अनडायरेक्टेड ग्राफों के क्रोमैटिक नंबर को खोजना, जहाँ आकार नोड्स की संख्या है।

दक्षता के लिए अनुकूलन (Optimization for Efficiency)

ZEH के मूल्यांकन के लिए व्यापक सत्यापन (exhaustive verification) की आवश्यकता होती है, जो गणनात्मक रूप से महंगा है। शोध पत्र चार त्वरण तकनीकों का प्रस्ताव करता है:

1. टीचर फोर्सिंग (Teacher Forcing): ऑटोरिग्रेसिव डिकोडिंग के बजाय, मॉडल को पूरी अनुक्रम (जैसे, $28 \times 43 = 1204$) एक कॉज़ल मास्क के साथ दिया जाता है ताकि टोकन-दर-टोकन शुद्धता को समानांतर में सत्यापित किया जा सके।
2. लुक-अहेड (बैचिंग) (Look-Ahead - Batching): GPU उपयोग को अधिकतम करने के लिए अलग-अलग आकारों के उदाहरणों को समानांतर प्रसंस्करण के लिए एक साथ बैच किया जाता है, न कि आकार-दर-आकार।
3. प्रॉम्प्ट प्रीफिलिंग (Prompt Prefilling): सामान्य प्रॉम्प्ट प्रीफिक्स को एक बार प्रोसेस किया जाता है, और उनके की-वैल्यू (KV) कैश को सभी उदाहरणों के बीच साझा किया जाता है।
4. फ्लैशट्री (FlashTree): साझा प्रीफिक्स वाले उदाहरणों के बीच KV कैश साझा करने के लिए एक ट्री-स्ट्रक्चर्ड दृष्टिकोण (Trie का उपयोग करके)। यह एक ऑनलाइन सॉफ्टमैक्स कार्यान्वयन का उपयोग करता है (जो FlashAttention से प्रेरित है) ताकि $O(N^2)$ अटेंशन मास्क बॉटलनेक से बचा जा सके, जिससे नेइव ऑटोरिग्रेसिव की तुलना में 10 गुना तक की गति प्राप्त होती है।

3. मुख्य परिणाम

3.1 अत्याधुनिक मॉडल्स में आश्चर्यजनक विफलताएँ

GPT-5.2 (शोध पत्र के संदर्भ में एक काल्पनिक मॉडल, जनवरी 2026) का मूल्यांकन महत्वपूर्ण क्षमता अंतराल प्रकट करता है:

• पैरिटी: ZEH = 4। मॉडल 5-कैरेक्टर की स्ट्रिंग 11000 पर विफल होता है।
• संतुलित कोष्ठक: ZEH = 10। मॉडल 11-कैरेक्टर की स्ट्रिंग ((((()))))) पर विफल होता है।
• गुणन: ZEH = 126। मॉडल $127 \times 82$ पर विफल होता है।
  ये परिणाम दर्शाते हैं कि जटिल कोड जनरेशन (जैसे, फ्लूइड डायनेमिक्स) में सक्षम मॉडल भी बुनियादी अंकगणित और तर्क कार्यों में विफल हो सकते हैं।

3.2 Qwen2.5 परिवार का विश्लेषण

लेखकों ने गुणन पर Qwen2.5 सीरीज़ (0.5B से 72B) का विश्लेषण किया:

• सटीकता के साथ सहसंबंध (Correlation with Accuracy): जबकि मॉडल के आकार के साथ ZEH और सटीकता आम तौर पर बढ़ती है, वे एक-से-एक सहसंबंध नहीं रखते हैं। उदाहरण के लिए, $99 \times 99$ पर 72B मॉडल के लिए सटीकता 98.6% है, लेकिन इसका ZEH केवल 42 है।
• मेमोराइजेशन बनाम एल्गोरिद्मिक रीजनिंग:
  • छोटे मॉडल (0.5B - 3B): प्रशिक्षण डेटा की आवृत्ति (C4 कॉर्पस) और सटीकता के बीच उच्च सहसंबंध दिखाते हैं, जो मेमोराइजेशन (याद रखने) पर निर्भरता का सुझाव देता है। उनका ZEH कम और स्थिर है क्योंकि मेमोराइजेशन स्टोकेस्टिक (यादृच्छिक) होता है; प्रशिक्षण डेटा में यादृच्छिक "छेद" एक निरंतर त्रुटि-मुक्त क्षितिज को रोकते हैं।
  • बड़े मॉडल (14B - 72B): प्रशिक्षण आवृत्ति के साथ घटता हुआ सहसंबंध दिखाते हैं, जो एल्गोरिद्मिक रीजनिंग (कलन विधि आधारित तर्क) की ओर बदलाव का संकेत देता है।
• संरचित त्रुटियाँ (Structured Errors): जैसे-जैसे मॉडल बड़े होते हैं, त्रुटियाँ अधिक "संरचित" होती जाती हैं। बड़े मॉडल्स के लिए, अनुमानित और सही उत्तर के बीच का अंतर अक्सर 10 का गुणक होता है (जैसे, 986 के बजाय 1006 का अनुमान लगाना)। यह सुझाव देता है कि मॉडल एल्गोरिदम को समझता है (जैसे, इकाई अंक को सही प्राप्त करना) लेकिन निष्पादन त्रुटियाँ (जैसे, कैरी/हासिल की गलतियाँ) करता है, न कि यादृच्छिक मतिभ्रम (hallucinations)।
• कैरी संवेदनशीलता (Carry Sensitivity): लॉजिस्टिक रिग्रेशन विश्लेषण दिखाता है कि बड़े मॉडल "कैरी" ऑपरेशन्स (जहाँ अंक गुणन $\ge 10$ होता है) के प्रति छोटे मॉडलों की तुलना में अधिक संवेदनशील हैं। यह प्रति-सहज परिणाम इस परिकल्पना का समर्थन करता है कि बड़े मॉडल उन नियमों को निष्पादित करने का प्रयास कर रहे हैं जिन्हें वे चलाने की कोशिश कर रहे हैं, बजाय इसके कि वे केवल याद किए गए उत्तरों को पुनः प्राप्त करें; अतः, वे निष्पादन की कठिनाई के प्रति संवेदनशील हैं।

3.3 प्रॉम्प्ट स्थिरता (Prompt Stability)

ZEH प्रॉम्प्ट विविधताओं के प्रति अपेक्षाकृत सुदृढ़ है। Qwen2.5 मॉडल्स के लिए, विभिन्न प्रॉम्प्ट वाक्यांशों के बीच ZEH का मानक विचलन (standard deviation) लगभग 3 था। हालांकि, सुरक्षा-महत्वपूर्ण अनुप्रयोगों के लिए, लेखक कई प्रॉम्प्ट्स में देखे गए सबसे कम ZEH का उपयोग करने की सिफारिश करते हैं।

4. महत्व और दावे

शोध पत्र का दावा है कि ZEH विश्वसनीय LLMs के लिए पारंपरिक सटीकता मेट्रिक्स की तुलना में विशिष्ट लाभ प्रदान करता है:

1. सुरक्षा गारंटी और चेतावनी संकेत: ZEH एक स्पष्ट सीमा प्रदान करता है: क्षितिज के भीतर की समस्याएँ "सुरक्षित" (सही की गारंटी) हैं, जबकि क्षितिज के बाहर की समस्याएँ "खतरनाक" हैं। यह सुरक्षा-महत्वपूर्ण डोमेन के लिए महत्वपूर्ण है जहाँ औसत प्रदर्शन अपर्याप्त है।
2. ठोस प्रमाण (ZEH Limiters): अमूर्त सटीकता स्कोर के विपरीत, ZEH विफलता के विशिष्ट, पुनरुत्पादित उदाहरण (लिमिटर्स) प्रदान करता है। यह डिबगिंग को सुगम बनाता है और क्षमता अंतराल का निर्विवाद प्रमाण प्रदान करता है।
3. वस्तुनिष्ठ मेट्रिक: ZEH "स्केल मनमानापन" को समाप्त करता है। क्षितिज मॉडल की आंतरिक क्षमताओं द्वारा निर्धारित होता है, न कि मूल्यांकनकर्ता द्वारा परीक्षण रेंज के चयन द्वारा।
4. उद्भव (Emergence) में अंतर्दृष्टि: ZEH मेमोराइजेशन से एल्गोरिद्मिक रीजनिंग में संक्रमण का एक संवेदनशील संकेतक है। ZEH की वृद्धि मॉडल की नियमों को विश्वसनीय रूप से निष्पादित करने की क्षमता के साथ सहसंबंधित है, भले ही समग्र सटीकता स्थिर हो जाए।
5. भविष्य के लिए तैयार (Future-Proofing): फिक्स्ड बेंचमार्क के विपरीत जो संतृप्त हो जाते हैं, ZEH ओपन-एंडेड है और जैसे-जैसे मॉडल बेहतर होते हैं, एक मेट्रिक के रूप में कार्य करना जारी रखता है।

लेखक निष्कर्ष निकालते हैं कि हालांकि ZEH कम्प्यूटेशनल लागत वसूलता है, प्रस्तावित अनुकूलन तकनीकें (FlashTree, आदि) इसे व्यवहार्य बनाती हैं। वे इस बात पर जोर देते हैं कि ZEH को सटीकता के पूरक मेट्रिक के रूप में उपयोग किया जाना चाहिए, विशेष रूप से उच्च-दांव वाले अनुप्रयोगों में विश्वसनीयता को सत्यापित करने के लिए।