💬 NLP

Tethered Reasoning: Decoupling Entropy from Hallucination in Quantized LLMs via Manifold Steering

यह शोध पत्र HELIX को प्रस्तुत करता है, जो एक ज्यामितीय ढांचा (geometric framework) है जो क्वांटाइज्ड LLMs में हिडन-स्टेट प्रक्षेपवक्रों (hidden-state trajectories) को एक सत्यता मैनिफोल्ड (truthfulness manifold) से बांधकर एंट्रॉपी को मतिभ्रम (hallucination) से अलग करता है, जिससे उच्च-तापमान अनुमान (high-temperature inference) सक्षम होता है जो तार्किक सुसंगतता और सटीकता बनाए रखते हुए रचनात्मक विविधता को महत्वपूर्ण रूप से बढ़ाता है।

मूल लेखक: Craig Atkinson

प्रकाशित 2026-02-23

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Craig Atkinson

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

द बिग प्रॉब्लम: "क्रेजी" बनाम "बोरिंग" की दुविधा

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, लेकिन थोड़ी क्षतिग्रस्त विश्वकोश (एक क्वांटाइज्ड एआई मॉडल) है। क्योंकि इसे एक छोटे कंप्यूटर (जैसे लैपटॉप या फोन) पर फिट होने के लिए कंप्रेस किया गया है, इसलिए यह थोड़ा "नॉइज़ी" (शोर भरा) है।

जब आप इस एआई से कोई कहानी सुनाने या गणित की समस्या हल करने के लिए कहते हैं, तो आपके पास एक डायल होता है जिसे टेम्परेचर (Temperature) कहते हैं, जो यह नियंत्रित करता है कि वह कितना रचनात्मक या रैंडम है:

लो टेम्परेचर (द रोबोट): यदि आप डायल को कम करते हैं, तो एआई बहुत सुरक्षित और दोहराव वाला हो जाता है। यह एक ऐसे रोबोट की तरह है जो बार-बार वही तीन वाक्य बोलता रहता है। यह सटीक है, लेकिन उबाऊ है।
हाई टेम्परेचर (द ड्रंक पोएट): यदि आप रचनात्मकता पाने के लिए डायल को ऊपर बढ़ाते हैं, तो एआई पटरी से उतरने लगता है। यह मनगढ़ंत तथ्य बनाने लगता है, अपना तर्क खो देता है, और ऐसी बातें कहने लगता है जिनका कोई अर्थ नहीं निकलता। इसे हैलुसिनेशन (Hallucination) कहा जाता है।

पुरानी धारणा: वर्षों तक, विशेषज्ञों का मानना था कि आपको चुनाव करना होगा। आप या तो एक उबाऊ, सटीक रोबोट रख सकते हैं या एक रचनात्मक, पागल कवि। आप दोनों को एक साथ नहीं रख सकते थे।

द सॉल्यूशन: द "हेलिक्स" टेदर

लेखक, क्रेग एटकिंसन, एक नया सिस्टम पेश करते हैं जिसे हेलिक्स (Helix) कहा जाता है। हेलिक्स को एक सेफ्टी टेदर (सुरक्षा रस्सी) या एआई के लिए एक पट्टे (Leash) के रूप में सोचें।

यह कैसे काम करता है, इसके कुछ उदाहरण यहाँ दिए गए हैं:

1. "ट्रुथ मैनिफोल्ड" (द इनविजिबल ट्रैम्पोलिन)

कल्पना कीजिए कि एआई का मस्तिष्क एक विशाल, बहु-आयामी ट्रैम्पोलिन है।

"ट्रुथ" एरिया: ट्रैम्पोलिन के बीच में एक विशिष्ट, बाउन्सी ज़ोन है जहाँ सभी सही तथ्य और तार्किक वाक्य रहते हैं।
"हैलुसिनेशन" एरिया: यदि एआई बहुत दूर कूद जाता है, तो वह ट्रैम्पोलिन से बाहर गिरकर कीचड़ में जा गिरता है (निरर्थकता)।

आमतौर पर, जब एआई "हॉट" (हाई टेम्परेचर) होता है, तो वह बेतहाशा कूदता है और बाहर गिर जाता है। हेलिक्स ट्रैम्पोलिन के केंद्र से जुड़ा एक अदृश्य इलास्टिक टेदर (लचीली रस्सी) बनाता है।

2. "यूनिफाइड ट्रुथ स्कोर" (द जीपीएस)

एआई द्वारा हर एक शब्द बोलने से पहले, हेलिक्स उसके आंतरिक जीपीएस की जांच करता है। यह दो सवाल पूछता है:

"इस शब्द के बारे में तुम कितने अनिश्चित हो?" (एन्ट्रॉपी)
"क्या तुम सच्चाई के केंद्र से बहुत दूर कूद रहे हो?" (ट्रुथ से दूरी)

यदि एआई ट्रैम्पोलिन से बाहर कूदने वाला होता है, तो हेलिक्स एक हल्के खिंचाव के साथ उसे वापस खींच लेता है।

3. द मैजिक: "ग्रेजुएटेड स्टीयरिंग"

सबसे अच्छी बात यह है: हेलिक्स केवल 0.2% से 2.5% समय ही एआई को छूता है।

यह एक डांस पार्टनर की तरह है जो केवल तब हस्तक्षेप करता है जब आप अपने कदमों की गलती करने वाले होते हैं ताकि आप लड़खड़ा न जाएं।
बाकी 97% समय के लिए, एआई स्वतंत्र रूप से नाचने, कूदने और रचनात्मक होने के लिए स्वतंत्र है।

आश्चर्यजनक परिणाम

जब लेखक ने इस परीक्षण को एक कंप्रेस्ड एआई मॉडल (ग्रैनाइट 4.0) पर किया, तो कुछ अद्भुत हुआ:

इसने नुकसान को ठीक कर दिया: कंप्रेस्ड एआई, जिसे फुल-साइज़ वर्जन से बदतर होना चाहिए था, हेलिक्स चालू होने पर फुल-साइज़ वर्जन से भी बेहतर हो गया। इसने गणित की समस्याओं को मूल मॉडल की तुलना में अधिक सटीकता से हल किया।
इसने टेम्परेचर लिमिट को तोड़ दिया: आमतौर पर, एआई टेम्परेचर डायल को 2.0 से ऊपर ले जाने पर टूट जाता है। हेलिक्स के साथ, लेखक ने डायल को 3.0 तक घुमाया, और एआई फिर भी तार्किक और सटीक बना रहा।
"क्रिएटिव रिज़र्वोइर" (रचनात्मक भंडार): यह सबसे बड़ी खोज है। जब एआई को "हॉट" (रचनात्मक) होने की अनुमति दी गई लेकिन उसे टेदर (रस्सी) से बांध कर रखा गया, तो उसने केवल निरर्थक बातें नहीं कीं। उसने नए विचारों का एक छिपा हुआ खजाना खोज निकाला।
- उदाहरण: कल्पना कीजिए कि एक लेखक है जो आमतौर पर अजीब कहानियाँ लिखने से डरता है। हेलिक्स एक सुरक्षा जाल की तरह है जो कहता है, "जाओ जितनी अजीब कहानी लिख सकते हो लिखो! अगर तुम बहुत ज्यादा पागल हुए, तो मैं तुम्हें पकड़ लूँगा।"
- क्योंकि एआई गिरने से नहीं डर रहा था, इसलिए उसने पहले की तुलना में 200% अधिक अद्वितीय विचार खोजे। उसने उन अवधारणाओं को खोज निकाला जो एक "सुरक्षित" एआई कभी नहीं सोच पाता, जैसे कि "ChronoVerse Symphonies" या "Quantum Soulscapes"।

यह आपके लिए क्यों मायने रखता है

सस्ता एआई: आप बिना बुद्धिमत्ता खोए शक्तिशाली एआई को छोटे, सस्ते उपकरणों (जैसे आपके फोन) पर चला सकते हैं।
अधिक रचनात्मकता: आप मंथन (brainstorming) सत्रों के लिए एआई को बेहद रचनात्मक होने के लिए कह सकते हैं, यह जानते हुए कि वह अपना मानसिक संतुलन नहीं खोएगा।
सुरक्षा: यह एआई को झूठ बोलने या तथ्य बनाने से रोकता है, भले ही वह रचनात्मक होने की कोशिश कर रहा हो।

बॉटम लाइन (निष्कर्ष)

यह पेपर साबित करता है कि "हैलुसिनेशन" (एआई का झूठ बोलना) इसलिए नहीं होता क्योंकि एआई मूर्ख या टूटा हुआ है। ऐसा इसलिए होता है क्योंकि एआई बिना किसी सुरक्षा जाल के बहुत दूर कूद रहा होता है। हेलिक्स वह सुरक्षा जाल प्रदान करता है, जिससे एआई एक ही समय में एक जीनियस गणितज्ञ और एक जंगली रचनात्मक कलाकार दोनों हो सकता है।

यहाँ क्रेग एटकिंसन के शोध पत्र "Tethered Reasoning: Decoupling Entropy from Hallucination in Quantized LLMs via Manifold Steering" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र विभिन्न सैंपलिंग तापमानों ( $T$ ):

निम्न तापमान ( $T \to 0$ ): कठोर नियतता (determinism) के कारण दोहराव और मोड-कोलैप्स (mode-collapse) उत्पन्न करता है।
उच्च तापमान ( $T > 2.0$ ): पारंपरिक रूप से "भ्रम" (hallucination), अर्थ संबंधी असंगतता और तथ्यात्मक त्रुटियों का कारण बनता है। मानक अनुमान ढांचे (inference frameworks) अक्सर इसे रोकने के लिए $T$ को 2.0 पर सीमित कर देते हैं।
क्वांटाइजेशन दंड (The Quantization Penalty): क्वांटाइजेशन शोर ( $\epsilon_q$ ) पेश करता है जो तापमान-एन्ट्रॉपी व्यापार-बंद (trade-off) को बदतर बना देता है। क्वांटाइज्ड मॉडल फुल-प्रिसिजन मॉडलों की तुलना में कम तापमान पर जल्दी ढह (collapse) जाते हैं क्योंकि क्वांटाइजेशन शोर प्रभावी रूप से सिस्टम के "तापमान" को बढ़ा देता है।

मुख्य परिकल्पना (Core Hypothesis): लेखक इस धारणा को चुनौती देते हैं कि उच्च-तापमान वाला "भ्रम" एक अर्थ संबंधी पतन (ज्ञान की हानि) है। इसके बजाय, वे तर्क देते हैं कि यह एक ट्रैजेक्टरी डाइवर्जेंस (trajectory divergence) है: यानी हिडन-स्टेट एक्टिवेशन का प्रतिनिधित्व स्थान (representation space) के संरचनात्मक रूप से सुसंगत क्षेत्रों (मैनिफोल्ड) से बाहर निकल जाना।

2. कार्यप्रणाली: हेलिक्स फ्रेमवर्क (Methodology: The Helix Framework)

लेखक Helix का प्रस्ताव करते हैं, जो एक ज्यामितीय अनुमान-समय हस्तक्षेप ढांचा (geometric inference-time intervention framework) है, जो आउटपुट एन्ट्रॉपी को "सत्यता मैनिफोल्ड" (truthfulness manifold) से बांधकर भ्रम से अलग करता है।

A. यूनिफाइड ट्रुथ स्कोर (Unified Truth Score - UTS)

Helix एक प्रति-टोकन अनिश्चितता मीट्रिक पेश करता है जो दो संकेतों को जोड़ता है:

सिमेंटिक एन्ट्रॉपी ( $S_E$ ): टोकन वितरण की शैनन एन्ट्रॉपी (Shannon entropy)।
मैनिफोल्ड दूरी ( $S_D$ ): एक पूर्व-निर्धारित ट्रुथफुलनेस मैनिफोल्ड ( $\mathcal{M}_{truth}$ ) से हिडन एक्टिवेशन वेक्टर की महालनोबिस दूरी (Mahalanobis distance)।

UTS की गणना एक भारित योग (weighted sum) के रूप में की जाती है:
$\text{UTS}_t = \beta(T) \cdot S_E^{(t)} + (1 - \beta(T)) \cdot S_D^{(t)}$

अनुकूली हैंडओवर (Adaptive Handover): एक सिग्मॉइड फंक्शन $\beta(T)$ भार को गतिशील रूप से बदलता है। निम्न $T$ पर, एन्ट्रॉपी स्कोर को संचालित करती है (परिशुद्धता); उच्च $T$ पर (जहाँ एन्ट्रॉपी संतृप्त हो जाती है), मैनिफोल्ड दूरी स्थिरता को संचालित करती है।

B. ज्यामितीय आधार (Geometric Grounding: Truthfulness Manifold)

निर्माण: मैनिफोल्ड का निर्माण सुरक्षित तापमान ( $T=0.1$ ) पर उत्पन्न तथ्यात्मक प्रॉम्प्ट्स (TruthfulQA, WikiText, GSM8K से) के हिडन एक्टिवेशन से अनसुपरवाइज्ड तरीके से किया गया है।
हाइब्रिड आर्किटेक्चर रणनीति: यह ढांचा Granite 4.0 H Small को लक्षित करता है, जो एक हाइब्रिड Mamba-2 (स्टेट-स्पेस मॉडल) और ट्रांसफॉर्मर आर्किटेक्चर है। लेखकों ने पाया कि केवल स्पार्स ट्रांसफॉर्मर अटेंशन लेयर्स (लगभग 10% लेयर्स, विशेष रूप से लेयर्स 4, 12, और 20) को स्टीयर (steer) करना Mamba-2 स्टेट-स्पेस फॉर्मूलेशन में विचलन (drift) को ठीक करने के लिए पर्याप्त है।

C. क्रमिक स्टीयरिंग (Graduated Steering)

जब UTS एक थ्रेशोल्ड से नीचे गिर जाता है, तो लॉजिट्स (logits) पर एक स्टीयरिंग वेक्टर (पोटेंशियल फील्ड का नकारात्मक ग्रेडिएंट) लागू किया जाता है:

तंत्र: अनिश्चितता के अनुपात में शीर्ष लॉजिट पर एक दंड (penalty) लगाया जाता है।
दक्षता: हस्तक्षेप केवल 0.2%–2.5% टोकनों के लिए ट्रिगर होता है।
ओवरहेड: गणना सिंगल फॉरवर्ड पास (मौजूदा लॉजिट्स/एक्टिवेशंस को निकालना) के भीतर होती है, जिससे नगण्य विलंबता (latency) आती है।

3. मुख्य योगदान (Key Contributions)

ट्रैजेक्टरी डाइवर्जेंस परिकल्पना: यह प्रदर्शित करता है कि उच्च-तापमान विफलता ज्यामितीय (मैनिफोल्ड से बाहर निकलना) है न कि अर्थ संबंधी (semantic), जिससे लक्षित सुधार संभव होता है।
यूनिफाइड ट्रुथ स्कोर (UTS): एक रियल-टाइम, सिंगल-पास अनिश्चितता मीट्रिक जो एन्ट्रॉपी और ज्यामितीय दूरी को जोड़ता है, जिससे एंसेम्बल्स (ensembles) की आवश्यकता समाप्त हो जाती है।
क्वांटाइजेशन रिकवरी: यह दिखाता है कि ज्यामितीय स्टीयरिंग 4-बिट क्वांटाइज्ड मॉडलों को फुल-प्रिसिजन बेसलाइन से भी बेहतर प्रदर्शन करने में सक्षम बना सकता है।
तापमान-अपरिवर्तनीय तर्क (Temperature-Invariant Reasoning): $T=0.5$ से $T=3.0$ के व्यापक तापमान स्पेक्ट्रम में स्थिर प्रदर्शन प्राप्त करता है।
हाई-एन्ट्रॉपी क्रिएटिव रिजर्वोइर: एक पहले से अज्ञात घटना की पहचान करता है जहाँ स्टीयरिंग के साथ उच्च तापमान, तार्किक सुसंगतता (logical coherence) से समझौता किए बिना, विशाल और गैर-अतिव्यापी रचनात्मक स्थानों को अनलॉक करता है।
मल्टी-टेम्परेचर सिंथेसिस: एक नया अनुमान प्रतिमान (inference paradigm) जो एकल-तापमान अनुमान की तुलना में 200%+ अधिक अद्वितीय अवधारणाएं उत्पन्न करने के लिए विभिन्न तापमानों पर क्वेरी करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

फ्रेमवर्क का मूल्यांकन Granite 4.0 H Small (32B कुल, 9B सक्रिय, 4-bit क्वांटाइज्ड) पर किया गया और Qwen3-30B-A3B (MoE) पर क्रॉस-वैलिडेट किया गया।

बेंचमार्क	मीट्रिक	$T=0.5$ (बेसलाइन)	$T=1.0$ (स्टीयर्ड)	$T=3.0$ (स्टीयर्ड)	गिरावट ( $0.5 \to 3.0$ )
GSM8K (गणित)	सटीकता	91.65%	91.80%	88.84%	-2.81 pp
HumanEval (कोड)	Pass@1	82.93%	81.10%	76.83%	-6.10 pp
MMLU (ज्ञान)	सटीकता	73.73%	74.30%	72.49%	-1.24 pp

क्वांटाइजेशन रिकवरी: $T=1.0$ पर, स्टीयर्ड 4-बिट मॉडल (91.80%) ने फुल-प्रिसिजन बेसलाइन (87.27%) को 4.53 प्रतिशत अंक से पीछे छोड़ दिया।
स्टीयरिंग दक्षता: $T=3.0$ पर भी, 97% से अधिक टोकन बिना हस्तक्षेप के उत्पन्न हुए।
क्रिएटिव रिजर्वोइर: एक सॉन्ग राइटिंग कार्य में, स्टीयरिंग के साथ उच्च-तापमान ( $T>2.0$ ) जनरेशन में केवल 5–20% विचार पुनरावृत्ति (बनाम निम्न $T$ पर 70–80%) देखी गई, जिससे 11 तापमान बिंदुओं पर 30 अद्वितीय अवधारणाएं (एकल-तापमान अनुमान से 200%+ अधिक) उत्पन्न हुईं।

5. महत्व और निहितार्थ (Significance and Implications)

$T=2.0$ बाधा को तोड़ना: यह शोध पत्र तर्क देता है कि मानक ढांचों में $T=2.0$ की सीमा एक कृत्रिम बुनियादी ढांचा सीमा है, न कि मॉडल की बाधा। Helix $T=3.0$ तक विश्वसनीय संचालन सक्षम करता है।
AI का लोकतंत्रीकरण: 4-बिट क्वांटाइज्ड मॉडलों को फुल-प्रिसिजन बेसलाइन से बेहतर प्रदर्शन करने में सक्षम बनाकर, Helix संसाधन-सीमित हार्डवेयर (जैसे उपभोक्ता GPU, एज डिवाइस) पर उच्च-फिडेलिटी तर्क (reasoning) को सक्षम बनाता है।
हाइब्रिड आर्किटेक्चर के लिए नया प्रतिमान: यह निष्कर्ष कि स्पार्स ट्रांसफॉर्मर लेयर्स को स्टीयर करना Mamba-2 स्टेट-स्पेस मॉडल्स के ड्रिफ्ट को ठीक करता है, हाइब्रिड SSM-Transformer आर्किटेक्चर के लिए एक नई नियंत्रण रणनीति प्रदान करता है।
रचनात्मक अन्वेषण: "हाई-एन्ट्रॉपी क्रिएटिव रिजर्वोइर" की खोज बताती है कि तापमान को एक रचनात्मक आयाम के रूप में माना जा सकता है। विशिष्ट तथ्यों के बजाय संरचनात्मक सुसंगतता (सिंटैक्स/लॉजिक) से मॉडल को बांधकर, मॉडल भ्रमित हुए बिना विविध अर्थ संबंधी स्थानों का अन्वेषण कर सकता है।
अवलोकनीयता (Observability): फ्रेमवर्क प्रति-टोकन टेलीमेट्री (UTS, महालनोबिस दूरी) प्रदान करता है, जो एंसेबल्स के बिना अनुमान के दौरान मॉडल अनिश्चितता में अभूतपूर्व दृश्यता प्रदान करता है।

निष्कर्ष: यह शोध पत्र सिद्ध करता है कि क्वांटाइज्ड LLMs में भ्रम एक ज्यामितीय समस्या है जिसे मैनिफोल्ड स्टीयरिंग के माध्यम से हल किया जा सकता है। यह दृष्टिकोण न केवल उच्च-तापमान अनुमान को स्थिर करता है बल्कि अंतर्निहित रचनात्मक क्षमता को भी अनलॉक करता है, जिससे तापमान एक ट्रेड-ऑफ पैरामीटर से बदलकर अनुकूलन और खोज के उपकरण में बदल जाता है।