🤖 machine learning

Differentiable Conformal Training for LLM Reasoning Factuality

यह शोध पत्र डिफ़रेंशिएबल कोहेरेंट फैक्टुअलिटी (DCF) प्रस्तुत करता है, जो गैर-डिफरेंशिएबल कोहेरेंट फैक्टुअलिटी विधि का एक पूर्ण रूप से डिफरेंशिएबल रिलैक्सेशन है, जो मल्टी-स्टेप LLM रीजनिंग के लिए बेहतर स्कोरर्स सीखने में सक्षम बनाता है, जिससे मतिभ्रम (hallucinations) के विरुद्ध सांख्यिकीय विश्वसनीयता गारंटी बनाए रखते हुए क्लेम रिटेंशन (claim retention) में 141% तक का सुधार प्राप्त होता है।

मूल लेखक: Nathan Hittesdorf, Marco Salzetta, Lu Cheng

प्रकाशित 2026-04-23

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Nathan Hittesdorf, Marco Salzetta, Lu Cheng

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Differentiable Conformal Training for LLM Reasoning Factuality" पेपर का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।

बड़ी समस्या: आत्मविश्वासी झूठा (The Confident Liar)

कल्पना कीजिए कि आपने जटिल गणित की समस्याओं को हल करने या कानूनी दस्तावेज़ लिखने में मदद करने के लिए एक बुद्धिमान लेकिन थोड़े अविश्वसनीय सहायक (एक लार्ज लैंग्वेज मॉडल, या LLM) को काम पर रखा है। यह सहायक अविश्वसनीय रूप से स्मार्ट है और पूरे आत्मविश्वास के साथ बोलता है। हालाँकि, उसकी एक बुरी आदत है: हैलुसिनेशन (Hallucination/भ्रम)। वह गलत तथ्यों को इस तरह से पूरे विश्वास के साथ बताएगा जैसे कि वे परम सत्य हों।

यदि आप इस सहायक का उपयोग महत्वपूर्ण कार्यों (जैसे चिकित्सा सलाह या वित्तीय योजना) के लिए करते हैं, तो आप यह जोखिम नहीं उठा सकते कि वह झूठ बोले। लेकिन यदि आप उससे कहते हैं कि "केवल तभी बोलें जब आप सुनिश्चित हों," तो वह इतना सतर्क हो सकता है कि वह बोलना ही बंद कर दे, जिससे आपको कोई मदद ही नहीं मिलेगी।

पुराना समाधान: "सुरक्षा जाल" (Conformal Prediction)

शोधकर्ताओं ने इसे ठीक करने के लिए Conformal Prediction (CP) नामक एक विधि विकसित की। इसे एक सुरक्षा जाल (Safety Net) के रूप में सोचें।

प्रक्रिया: सहायक अपने लंबे उत्तर को छोटे, परमाणु वाक्यों (दावों) में तोड़ता है।
स्कोर: प्रत्येक वाक्य को एक "जोखिम स्कोर" (Risk Score) दिया जाता है। यदि स्कोर अधिक है, तो वाक्य जोखिम भरा है (झूठ होने की संभावना है)। यदि कम है, तो यह सुरक्षित है।
फ़िल्टर: सिस्टम एक "कट-ऑफ लाइन" (सीमा) निर्धारित करता है। कोई भी वाक्य जिसका जोखिम स्कोर उस रेखा से ऊपर है, उसे हटा दिया जाता है।
गारंटी: सिस्टम को इस तरह कैलिब्रेट किया गया है कि यदि आप 90% सच्चाई बनाए रखने के लिए रेखा सेट करते हैं, तो यह सांख्यिकीय रूप से गारंटी देता है कि शेष 90% में से कम से कम 90% सच होगा।

कमी: इस रेखा को सेट करने का पुराना तरीका एक हाथ से बने, कुंद हथौड़े की तरह था। यह बहुत अधिक आक्रामक था। सुरक्षित रहने के लिए, यह न केवल झूठ को, बल्कि सच्चाई के एक बड़े हिस्से को भी फेंक देता था। पेपर के प्रयोगों में, इस पुराने तरीके ने सुरक्षित रहने के चक्कर में लगभग 60% सही उत्तरों को हटा दिया था। यह एक व्यक्ति की गलती के कारण पूरी टीम को नौकरी से निकालने जैसा था।

नया समाधान: "स्मार्ट फ़िल्टर" (Differentiable Coherent Factuality)

लेखकों ने एक नई विधि पेश की है जिसे Differentiable Coherent Factuality (DCF) कहा जाता है।

उपमा 1: जासूस बनाम बाउंसर (The Detective vs. The Bouncer)

पुराना तरीका (बाउंसर): पुराना सिस्टम एक क्लब के बाउंसर की तरह था जिसके पास एक सख्त, कठोर सूची थी। "यदि आपका आईडी कहता है कि आप 21 वर्ष से ऊपर हैं, लेकिन आप 19 के दिखते हैं, तो आप बाहर हैं।" इसे संदर्भ (Context) की परवाह नहीं थी। इसने हर वाक्य को एक अलग तथ्य के रूप में माना।
नया तरीका (जासूस): नया सिस्टम एक जासूस की तरह काम करता है। यह जानता है कि एक तर्क श्रृंखला (जैसे गणित का प्रमाण) में तथ्य आपस में जुड़े होते हैं।
- उदाहरण: यदि गणितीय प्रमाण का पहला चरण "2 + 2 = 5" (गलत) है, तो अगला चरण "इसलिए, 4 = 5" भी तार्किक रूप से टूटा हुआ होगा, भले ही उस विशिष्ट चरण में गणित सही क्यों न दिख रहा हो।
- नया सिस्टम तर्क की पूरी श्रृंखला (Dependency Graph) को देखता है। यह समझता है कि यदि नींव कमजोर है, तो पूरी इमारत असुरक्षित है।

उपमा 2: "स्मूथ" बनाम "ब्लॉकी" स्विच (The "Smooth" vs. "Blocky" Switch)

सबसे बड़ी तकनीकी सफलता सिस्टम को Differentiable (विभेदक) बनाना है।

पुराना तरीका (ब्लॉकी स्विच): एक ऐसे लाइट स्विच की कल्पना करें जो या तो पूरी तरह से चालू (ON) है या बंद (OFF) है। आप इसे धीरे-धीरे स्लाइड नहीं कर सकते। कंप्यूटर को इस स्विच को बेहतर ढंग से चलाने के लिए प्रशिक्षित करने के लिए, आप "ग्रेडिएंट डिसेंट" (AI सीखने का मानक तरीका) का उपयोग नहीं कर सकते क्योंकि स्विच सुचारू रूप से नहीं चलता है। आपको अनुमान लगाना और परीक्षण करना पड़ता है, जो धीमा और अक्षम है।
नया तरीका (डिमर स्विच): लेखकों ने उस ब्लॉकी स्विच को एक स्मूथ डिमर (Dimmer Switch) में बदल दिया। उन्होंने फ़िल्टर का एक "सॉफ्ट" संस्करण बनाया जिसे थोड़ा ऊपर या नीचे समायोजित किया जा सकता है।
- यह AI को फ़िल्टर को सटीक रूप से ट्यून करना सीखने की अनुमति देता है। यह कह सकता है, "हम्म, यह वाक्य जोखिम भरा है, लेकिन क्योंकि यह पहले के एक बहुत ही मजबूत, सत्य वाक्य से जुड़ा है, मैं इसे 90% विश्वास के साथ रखूँगा।"
- क्योंकि सिस्टम "स्मूथ" है, AI लाखों बार अभ्यास कर सकता है, और सुरक्षा (झूठ को बाहर रखना) और उपयोगिता (सच्चाई को अंदर रखना) के बीच सही संतुलन सीखना सीख सकता है।

परिणाम: अधिक सच्चाई, वही सुरक्षा

जब उन्होंने इस नए "स्मार्ट फ़िल्टर" (DCF) का परीक्षण किया:

सुरक्षा: इसने वही सख्त सुरक्षा गारंटी बनाए रखी (जैसे, "हम वादा करते हैं कि जो कुछ भी हम कहते हैं उसका 95% सच है")।
उपयोगिता: इसने पुराने तरीके की तुलना में 141% तक अधिक सत्य दावे रखे।

साधारण शब्दों में: नया सिस्टम एक बहुत अधिक स्मार्ट संपादक की तरह है। पुराना संपादक यह सुनिश्चित करने के लिए आपके आधे पांडुलिपि को हटा देता था कि कोई टाइपो न रहे। नया संपादक पूरी कहानी पढ़ता है, संदर्भ को समझता है, और केवल वास्तविक त्रुटियों को हटाता है, जिससे आपकी कहानी अधिक लंबी, अधिक उपयोगी और फिर भी त्रुटि रहित रहती है।

यह क्यों मायने रखता है

यह वास्तविक दुनिया में AI के उपयोग के लिए एक बड़ा कदम है।

पहले: हमें "सुरक्षित लेकिन बेकार" (AI कुछ नहीं कहता) या "उपयोगी लेकिन जोखिम भरा" (AI झूठ बोलता है) के बीच चयन करना पड़ता था।
अब: हमारे पास एक ऐसा सिस्टम है जो सुरक्षित और उपयोगी दोनों है। यह हमें उच्च-दांव वाली स्थितियों (जैसे कानून, चिकित्सा या विज्ञान) में गहराई के साथ AI पर भरोसा करने की अनुमति देता है।

सारांश रूपक (Summary Metaphor)

पुराने तरीके को बहुत बड़े छेदों वाली छलनी के रूप में सोचें। यह खराब चीजों को अंदर आने देती है, या यदि आप खराब चीजों को रोकने के लिए छेद छोटे करते हैं, तो आप गलती से सारी अच्छी चीजों को भी छान देते हैं।

नया तरीका (DCF) एक स्मार्ट, खुद को एडजस्ट करने वाली छलनी की तरह है। यह सीखता है कि अनाज (तथ्य) के हर विशिष्ट प्रकार के लिए छेद कितने बड़े होने चाहिए। यह जानता है कि कुछ अनाज नाजुक होते हैं जिन्हें बड़े छेद की आवश्यकता होती है, जबकि अन्य भारी होते हैं जिन्हें छोटे छेद की आवश्यकता होती है। परिणाम? आपको लगभग सभी अच्छे अनाज के साथ एक साफ बाल्टी मिलती है और कोई भी बुरा अनाज नहीं मिलता।

यहाँ शोध पत्र "Differentiable Conformal Training for LLM Reasoning Factuality" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) अक्सर "भ्रम" (hallucinate) करते हैं (अर्थात, आत्मविश्वास के साथ गलत जानकारी उत्पन्न करते हैं), जो उच्च-जोखिम वाले अनुप्रयोगों में उनकी विश्वसनीयता को सीमित करता है। जबकि कन्फॉर्मल प्रेडिक्शन (Conformal Prediction - CP) त्रुटि दरों पर सांख्यिकीय गारंटी प्रदान करने का एक तरीका देता है (जैसे, यह सुनिश्चित करना कि भ्रम की दर उपयोगकर्ता द्वारा निर्दिष्ट $\alpha$ से नीचे रहे), LLM तथ्यात्मकता (factuality) के लिए मौजूदा विधियों को एक महत्वपूर्ण समझौते (trade-off) का सामना करना पड़ता है:

स्वतंत्र दावा फ़िल्टरिंग (Independent Claim Filtering): मानक CP दावों को स्वतंत्र रूप से मानता है। यह बहु-चरणीय तर्क (multi-step reasoning) में तार्किक निर्भरताओं (logical dependencies) की अनदेखी करता है (उदाहरण के लिए, एक निष्कर्ष तभी वैध है जब उसके आधार/premises वैध हों)।
कोहेरेंट फैक्टुअलिटी (Coherent Factuality - CF): एक हालिया विधि (Rubin-Toles et al., 2025) एप्रोक्सिमेट डीड्यूसिबिलिटी ग्राफ्स (Approximate Deducibility Graphs - ADGs) का उपयोग करके निर्भरताओं को संबोधित करती है, जहाँ दावे नोड्स (nodes) हैं और किनारे (edges) तार्किक निर्भरता का प्रतिनिधित्व करते हैं। हालाँकि, CF हस्त-निर्मित, आवृत्ति-आधारित स्कोरिंग (self-consistency) पर निर्भर है।
मुख्य सीमा (The Core Limitation): उच्च विश्वसनीयता स्तरों (कम $\alpha$ ) पर, CF की कठोर, गैर-विभेदक (non-differentiable) स्कोरिंग कवरेज गारंटी बनाए रखने के लिए 60% तक वास्तविक दावों को हटाने के लिए मजबूर करती है। इस विधि को एंड-टू-एंड अनुकूलित नहीं किया जा सकता क्योंकि इसके असतत संचालन (discrete operations) जैसे कि थ्रेशोल्डिंग, पूर्वज सुसंगतता (ancestor coherence), और argmax चयन, विभेदक (differentiable) नहीं हैं।

2. कार्यप्रणाली: डिफ़रेंशिएबल कोहेरेंट फैक्टुअलिटी (Differentiable Coherent Factuality - DCF)

लेखक डिफ़रेंशिएबल कोहेरेंट फैक्टुअलिटी (DCF) पेश करते हैं, जो एक ऐसा ढांचा है जो CF के असतत ऑपरेशनों को 'डिफ़रेंशिएबल सरोगेट्स' (differentiable surrogates) में बदलकर ग्रेडिएंट-आधारित अनुकूलन को सक्षम बनाता है, जबकि मूल एल्गोरिदम की गारंटियों को प्रमाणित रूप से सुरक्षित रखता है।

मुख्य तकनीकी घटक (Key Technical Components)

DCF, CF पाइपलाइन के समान है लेकिन यह असतत चरणों को सुचारू सन्निकटन (smooth approximations) से बदल देता है:

सॉफ्ट मेंबरशिप (Soft Membership - थ्रेशोल्डिंग और कोहेरेंस को शिथिल करना):
- थ्रेशोल्ड फ़िल्टरिंग: हार्ड इंडिकेटर $\mathbb{1}\{r_v \le \tau\}$ के बजाय, DCF एक सिग्मॉइड फंक्शन $\sigma(\frac{\tau - r_v}{T_p})$ का उपयोग करता है जो एक सॉफ्ट रिटेंशन प्रोबेबिलिटी $p_{v,\tau}$ आउटपुट करता है।
- पूर्वज सुसंगतता (Ancestor Coherence): CF में, एक नोड तभी बरकरार रखा जाता है जब वह और उसके सभी पूर्वज वैध हों। DCF इस तार्किक "AND" को वेटेड ज्योमेट्रिक मीन (weighted geometric mean) में बदल देता है:
  $\log q_{v,\tau} = \frac{\sum_{u \in Anc(v) \cup \{v\}} w_u \log p_{u,\tau}}{\sum w_u}$
  यह सुनिश्चित करता है कि यदि किसी भी पूर्वज की रिटेंशन प्रोबेबिलिटी कम है, तो नोड की प्रोबेबिलिटी घटकर शून्य की ओर चली जाएगी।
डिफ़रेंशिएबल कैलिब्रेशन (Differentiable Calibration - नॉन-कन्फॉर्मिटी स्कोर को शिथिल करना):
- लक्ष्य वह सबसे बड़ा थ्रेशोल्ड $\tau$ खोजना है जिससे फ़िल्टर्ड सबग्राफ में कोई गलत दावा न रहे।
- उल्लंघन मापन (Violation Measurement): एक उल्लंघन स्कोर $V_\tau$ गलत दावों को रिटेन करने की संभावना के आधार पर कंप्यूट किया जाता है।
- सॉफ्ट सुप्रीमम (Soft Supremum): हार्ड $\sup$ के बजाय, DCF एक यूटिलिटी फंक्शन $s_\tau = \lambda \cdot \tau - V_\tau$ पर सॉफ्टमैक्स (softmax) का उपयोग करता है। यह उस थ्रेशोल्ड का चयन करता है जो उल्लंघनों को कम करते हुए मान (value) को अधिकतम करता है।
- सॉफ्ट क्वांटाइल (Soft Quantile): अंतिम कैलिब्रेशन थ्रेशोल्ड $\hat{\tau}_\alpha$ को सॉर्टिंग के बजाय एक डिफ़रेंशिएबल सॉफ्ट क्वांटाइल ऑपरेटर (Grover et al., 2019) का उपयोग करके कंप्यूट किया जाता है।
डिफ़रेंशिएबल प्रेडिक्शन (Differentiable Prediction):
- टेस्ट टाइम पर, यह विधि सर्वोत्तम थ्रेशोल्ड $\hat{\tau}_\alpha$ के नीचे के थ्रेशोल्ड का चयन करती है। DCF, बाधा-युक्त (constrained) $\arg\max$ को एक गेटेड सॉफ्टमैक्स (gated softmax) का उपयोग करके शिथिल करता है, जहाँ एक सिग्मॉइड गेट $\tau < \hat{\tau}_\alpha$ की बाधा को लागू करता है।
प्रशिक्षण उद्देश्य (Training Objective):
- सिस्टम को एक स्प्लिट डेटासेट पर पूर्ण कैलिब्रेशन और प्रेडिक्शन पाइपलाइन का अनुकरण (simulate) करके एंड-टू-एंड प्रशिक्षित किया जाता है।
- लॉस फंक्शन वास्तविक दावों को रिटेन करने को अधिकतम करता है ( $L_{retention} = -\sum y_{i,v} \cdot q_{i,v}$ ), जो क्वांटाइल एस्टीमेशन और ग्राफ कोहेरेंस बाधाओं के माध्यम से स्कोरर पैरामीटर्स $\theta$ तक ग्रेडिएंट्स को बैकप्रोपैगेट करता है।

सैद्धांतिक गारंटी (Theoretical Guarantees)

लेखक सिद्ध करते हैं (Theorems 3.1 and 3.2) कि जैसे-जैसे तापमान पैरामीटर ( $T_p, \tau_s, \tau_z$ ) अपने सीमाओं (0 या $\infty$ ) की ओर बढ़ते हैं, सॉफ्ट ऑपरेशंस मूल हार्ड CF एल्गोरिदम में अभिसरित (converge) हो जाते हैं। यह सुनिश्चित करता है कि हालांकि प्रशिक्षण ग्रेडिएंट्स का उपयोग करता है, तैनात (deployed) मॉडल मूल असतत CF की सांख्यिकीय कवरेज गारंटी को बनाए रखता है।

3. मुख्य योगदान (Key Contributions)

ग्राफ-स्ट्रक्चर्ड CP का डिफ़रेंशिएबल रिलैक्सेशन: ग्राफ-स्ट्रक्चर्ड रीजनिंग (ADGs) के लिए कन्फॉर्मल प्रेडिक्शन को डिफ़रेंशिएबल बनाने वाला पहला ढांचा, जो पूर्वज सुसंगतता और बाधा-युक्त argmax जैसी युग्मित (coupled) असतत क्रियाओं को संभालता है।
एंड-टू-एंड ऑप्टिमाइज़ेशन: यह ऐसे स्कोरिंग फंक्शन्स सीखने में सक्षम बनाता है जो हैंड-क्राफ्टेड ह्यूरिस्टिक्स पर निर्भर रहने के बजाय, दावों को रिटेन करने के लिए कई फीचर्स (ग्राफ मेट्रिक्स, सिमेंटिक कोहेरेंस, फ्रीक्वेंसी) को जोड़ते हैं।
सैद्धांतिक अभिसरण (Theoretical Convergence): यह सिद्ध करता है कि डिफ़रेंशिएबल सरोगेट भविष्य में मूल CF एल्गोरिदम को सटीक रूप से पुनः प्राप्त करता है, जिससे टेस्ट टाइम पर वैध सांख्यिकीय गारंटी सुनिश्चित होती है।
अनुभवजन्य सत्यापन (Empirical Validation): यह सही दावों को रिटेन करने की क्षमता में सुधार किए बिना विश्वसनीयता बनाए रखने में महत्वपूर्ण सुधार प्रदर्शित करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन दो बेंचमार्क पर किया गया: MATH (जटिल तर्क, 7.3 दावे/समस्या) और FELM (विविध डोमेन, 4.0 दावे/समस्या)।

प्रदर्शन लाभ (Performance Gains):
- MATH: DCF ने $\alpha=0.03$ (97% विश्वसनीयता) पर फ्रीक्वेंसी-आधारित CF बेसलाइन की तुलना में दावा प्रतिधारण (claim retention) में 141% तक सुधार किया, जबकि कवरेज को लक्षित मान के 0.5 प्रतिशत अंक के भीतर बनाए रखा।
- FELM: रिटेंशन में 61% तक सुधार प्राप्त किया।
बेसलाइन तुलना (Baseline Comparisons):
- DCF ने इंडिपेंडेंट फैक्टुअलिटी को पछाड़ा (यह सिद्ध करता है कि ग्राफ संरचना आवश्यक है)।
- DCF ने बूस्टेड इंडिपेंडेंट को पछाड़ा (यह सिद्ध करता है कि ग्राफ संरचना के बिना केवल लर्निंग पर्याप्त नहीं है)।
- DCF ने XGBoost + Conformal को पछाड़ा (यह सिद्ध करता है कि मानक क्लासिफायर डिफ़रेंशिएबल कॉन्फॉर्मल ट्रेनिंग पाइपलाइन की जगह नहीं ले सकते)।
फीचर विश्लेषण (Feature Analysis):
- SHAP विश्लेषण से पता चला कि DCF पूरक संकेतों (complementary signals) को जोड़ना सीखता है। उदाहरण के लिए, जब मानक "फ्रीक्वेंसी" स्कोर 0 था (जो कम आत्मविश्वास का संकेत देता है), तो ग्राफ मेट्रिक्स जैसे कि रीचेबिलिटी (reachability) और क्लेम इंडेक्स (claim index) ने क्षतिपूर्ति की, जिससे मॉडल उन वैध दावों को रिटेन कर सका जिन्हें बेसलाइन छोड़ देते।
- MATH पर, ग्राफ संरचनात्मक फीचर्स हावी थे; FELM (सरल श्रृंखलाओं) पर, फ्रीक्वेंसी अधिक प्रभावी थी, लेकिन DCF फिर भी प्रभावी ढंग से अनुकूलित हुआ।

5. महत्व (Significance)

यह कार्य औपचारिक सांख्यिकीय गारंटी और व्यावहारिक उपयोगिता के बीच के अंतर को पाटता है।

रूढ़िवादिता की समस्या का समाधान (Solving the Conservatism Problem): पिछले कन्फॉर्मल तरीके बहुत रूढ़िवादी थे, जो सुरक्षा सुनिश्चित करने के लिए बहुत सारी सही जानकारी को हटा देते थे। DCF इन गारंटियों को "उपयोगी" बनाता है, जिससे सही और तथ्यात्मक जानकारी की मात्रा में उल्लेखनीय वृद्धि होती है।
सीखा हुआ बनाम हस्त-निर्मित (Learned vs. Hand-Crafted): यह दर्शाता है कि जटिल तर्क कार्यों के लिए, जो तार्किक निर्भरताओं का सम्मान करते हैं, सीखे गए स्कोरिंग फंक्शन स्थिर, हस्त-निर्मित ह्यूरिस्टिक्स की तुलना में बेहतर होते हैं।
डिप्लॉयमेंट के लिए तैयार (Deployment Ready): क्योंकि अंतिम प्रेडिक्शन मूल असतत एल्गोरिदम (सीखे हुए स्कोरर के साथ) का उपयोग करता है, सिस्टम उच्च-जोखिम वाले निर्णय लेने के लिए आवश्यक कठोर सैद्धांतिक गारंटी बनाए रखता है।

संक्षेप में, DCF LLM रीजनिंग को अधिक विश्वसनीय और सूचनात्मक बनाने के लिए एक मजबूत, गणितीय रूप से आधारित तरीका प्रदान करता है, जिससे कन्फॉर्मल फैक्टुअलिटी को वास्तविक दुनिया के अनुप्रयोगों में तैनात करना संभव होता है जहाँ सटीकता और सूचना घनत्व दोनों महत्वपूर्ण हैं।