💬 NLP

Reducing Hallucinations in LLMs via Factuality-Aware Preference Learning

यह शोध पत्र F-DPO को प्रस्तुत करता है, जो डायरेक्ट प्रिफरेंस ऑप्टिमाइजेशन का एक सरल विस्तार है जो बाइनरी फैक्टुअलिटी लेबल का लाभ उठाकर प्रिफरेंस पेयर ऑर्डरिंग को ठीक करता है और फैक्टुअलिटी-अवेयर मार्जिन लागू करता है, जो बिना किसी सहायक रिवॉर्ड मॉडल या जटिल ट्रेनिंग पाइपलाइन के विभिन्न LLMs में मतिभ्रम (hallucinations) को प्रभावी रूप से कम करता है और तथ्यात्मक सटीकता में सुधार करता है।

मूल लेखक: Sindhuja Chaduvula, Ahmed Y. Radwan, Azib Farooq, Yani Ioannou, Shaina Raza

प्रकाशित 2026-04-16

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sindhuja Chaduvula, Ahmed Y. Radwan, Azib Farooq, Yani Ioannou, Shaina Raza

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही प्रतिभाशाली, आत्मविश्वासी और सुशिक्षित छात्र है जिसका नाम LLM (लार्ज लैंग्वेज मॉडल) है। यह छात्र निबंध लिखने, सवालों के जवाब देने और विशेषज्ञ की तरह दिखने में बहुत माहिर है। हालाँकि, इसमें एक पेंच है: कभी-कभी, जब उसे उत्तर नहीं पता होता, तो वह यह नहीं कहता कि "मुझे नहीं पता।" इसके बजाय, वह बड़े आत्मविश्वास के साथ एक ऐसी कहानी बना देता है जो सुनने में तो एकदम सटीक लगती है, लेकिन पूरी तरह से गलत होती है। हम इसे हैलुसिनेशन (Hallucination) कहते हैं।

लंबे समय तक, शिक्षकों (AI शोधकर्ताओं) ने उसे सही उत्तर दिखाकर इसे ठीक करने की कोशिश की। लेकिन छात्र ने एक बुरा सबक सीखा: "अगर मैं आत्मविश्वास से भरा और सुरीला सुनाई देता हूँ, तो मुझे अच्छे ग्रेड मिलेंगे, भले ही मेरी बात गलत क्यों न हो।"

यह पेपर एक नई शिक्षण पद्धति पेश करता है जिसे F-DPO (फैक्टुअलिटी-अवेयर डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन) कहा जाता है। इसे एक "सत्य-प्रथम" (Truth-First) ग्रेडिंग सिस्टम के रूप में समझें जो छात्र को चिकनी बातों से झूठ बोलने से रोकता है।

यह कैसे काम करता है, इसे सरल अवधारणाओं में विभाजित किया गया है:

1. समस्या: "चिकना झूठ" का जाल (The "Smooth Lie" Trap)

कल्पना कीजिए कि एक शिक्षक छात्र से पूछता है: "ऑस्ट्रेलिया की राजधानी क्या है?"

छात्र A (सत्य): "कैनबरा।" (छोटा, उबाऊ, लेकिन सत्य)।
छात्र B (झूठ बोलने वाला): "सिडनी! यह सबसे बड़ा, सबसे प्रतिष्ठित शहर है, और हर कोई इसे जानता है।" (लंबा, आत्मविश्वासी, प्रवाहपूर्ण, लेकिन असत्य)।

पुराने प्रशिक्षण तरीकों में, शिक्षक अक्सर छात्र B को पसंद करते थे क्योंकि उसका उत्तर अधिक प्रभावशाली और आत्मविश्वासी लग रहा था। AI ने सीखा कि शैली (Style), सार (Substance) से बेहतर है, जिससे वह अधिक झूठ बोलने लगा।

2. समाधान: "तथ्य-जांच" फ़िल्टर (The "Fact-Check" Filter)

लेखकों ने शिक्षक के लिए एक नया नियम पुस्तिका बनाई। उन्होंने महसूस किया कि उन्हें हर उत्तर को ग्रेड देने के लिए एक जटिल, महंगे "सत्य के जासूस" की आवश्यकता नहीं है। उन्हें केवल एक सरल हाँ/नहीं लेबल की आवश्यकता थी: क्या यह तथ्यात्मक रूप से सत्य है या यह एक हेलुसिनेशन है?

उन्होंने दो मुख्य तरकीबों के साथ एक प्रणाली बनाई:

तरकीब A: "स्वैप" (Label Flipping)

कभी-कभी, शिक्षक गलती से एक झूठ को "गोल्ड स्टार" (उत्कृष्टता का प्रतीक) दे देता है और एक सत्य को "रेड एफ" (खराब ग्रेड) दे देता है क्योंकि झूठ बेहतर सुनाई देता है।

समाधान: छात्र के अध्ययन करने से पहले ही, सिस्टम तथ्यों की जांच करता है। यदि "गोल्ड स्टार" वाला उत्तर एक झूठ है और "रेड एफ" वाला उत्तर सत्य है, तो सिस्टम ग्रेड्स को आपस में बदल (Swap) देता है।
परिणाम: छात्र सीखता है, "रुको, मुझे सच बोलने के लिए बुरा ग्रेड मिला? और झूठ बोलने के लिए अच्छा ग्रेड? नहीं, यह गलत है। मुझे अपनी समझ को ठीक करने की जरूरत है।" यह AI को यह समझने के लिए मजबूर करता है कि चाहे वाक्य कितना भी सुरीला क्यों न हो, सत्य ही एकमात्र चीज है जो मायने रखती है।

तरकीब B: "सत्य बोनस" (Factuality Margin)

कल्पना कीजिए कि एक वीडियो गेम है जहाँ आपको एक विशिष्ट लक्ष्य को हिट करने पर अतिरिक्त अंक मिलते हैं।

मानक प्रशिक्षण: आपको किसी भी लक्ष्य को हिट करने पर अंक मिलते हैं।
F-DPO प्रशिक्षण: यदि आप एक ऐसा लक्ष्य हिट करते हैं जो सत्य है जबकि आपके प्रतिद्वंद्वी ने एक झूठ वाले लक्ष्य को हिट किया है, तो आपको भारी बोनस मिलता है।
परिणाम: AI आक्रामक रूप से उन उत्तरों को प्राथमिकता देना सीखता है जो तथ्यात्मक रूप से सही हैं, भले ही वे झूठ की तुलना में कम "दिखावटी" हों।

3. डेटा पाइपलाइन: "ट्रेनिंग जिम" बनाना

AI को यह नया तरीका सिखाने के लिए, शोधकर्ताओं ने केवल मानव शिक्षकों का उपयोग नहीं किया (जो पक्षपाती हो सकते हैं)। उन्होंने एक ट्रेनिंग जिम बनाया:

उन्होंने मौजूदा प्रश्नों और उत्तरों को लिया।
उन्होंने एक अत्यंत बुद्धिमान AI (GPT-4) का उपयोग एक सख्त तथ्य-जांचकर्ता के रूप में किया, जिसने उत्तरों को "सत्य" या "नकली" के रूप में लेबल किया।
उन्होंने जानबूझकर नकली झूठ भी बनाए (एक AI से पूछकर कि वह एक सच्चे उत्तर को सूक्ष्म रूप से कैसे बदल सकता है) ताकि छात्र को अंतर पहचानने का अधिक अभ्यास मिल सके।
उन्होंने इन्हें इस तरह मिलाया कि छात्र ने हर संभव परिदृश्य देखा: सत्य बनाम सत्य, सत्य बनाम झूठ, और झूठ बनाम झूठ।

4. परिणाम: स्मार्ट, न कि केवल चतुर

उन्होंने सात अलग-अलग AI मॉडलों (छोटे से लेकर बड़े तक) पर इस नई पद्धति का परीक्षण किया। परिणाम झूठ के इलाज के लिए एक चमत्कार की तरह थे:

कम झूठ बोलना: एक विशिष्ट मॉडल (Qwen3-8B) पर, हेलुसिनेशन की दर 5 गुना कम हो गई। यह 42% उत्तरों में झूठ बोलने से घटकर केवल 8% रह गया।
बेहतर स्कोर: मॉडलों ने "सत्यनिष्ठा" (Truthfulness) परीक्षणों पर काफी उच्च स्कोर प्राप्त किया।
सामान्यीकरण (Generalization): यहाँ तक कि जब उन्होंने मॉडलों से ऐसे प्रश्न पूछे जो उन्होंने पहले कभी नहीं देखे थे (जैसे कि पेचीदा ट्रिविया), तब भी मॉडल ईमानदार रहे।

बड़ी तस्वीर का रूपक (The Big Picture Analogy)

पुरानी AI ट्रेनिंग को एक ऐसे सेल्सपर्सन को सिखाने जैसा समझें जो इतनी अच्छी तरह बात करता है कि वह बर्फ को भी बेच सकता है, भले ही वह पिघल रही हो। वे पिच (प्रस्तुति) को प्राथमिकता देते हैं।

F-DPO एक क्वालिटी कंट्रोल इंस्पेक्टर को नियुक्त करने जैसा है जो सेल्सपर्सन को रोकता है और कहता है, "इतनी तेजी से बोलना बंद करो। क्या उत्पाद वास्तव में बर्फ है? क्या यह ठंडी है? यदि तुम मुझे गर्म पानी को बर्फ कहकर बेचने की कोशिश करते हो, तो तुम असफल हो जाओगे, चाहे तुम्हारा भाषण कितना भी अच्छा क्यों न हो।"

यह क्यों महत्वपूर्ण है

यह विधि विशेष है क्योंकि यह सरल और सस्ती है।

इसे हर उत्तर को ग्रेड देने के लिए दूसरे महंगे AI की आवश्यकता नहीं है।
इसे झूठ खोजने के लिए उत्तर के हर एक शब्द को पढ़ने की आवश्यकता नहीं है।
इसे बस एक सरल "सत्य/असत्य" फ्लैग की आवश्यकता है।

इस सरल "सत्य-प्रथम" दृष्टिकोण का उपयोग करके, शोधकर्ताओं ने दिखाया है कि हम अपने AI सहायकों को बहुत अधिक विश्वसनीय, ईमानदार और सुरक्षित बना सकते हैं, विशेष रूप से चिकित्सा, कानून और वित्त जैसे उच्च-जोखिम वाले क्षेत्रों में, जहाँ एक आत्मविश्वासी झूठ खतरनाक हो सकता है।

यहाँ शोध पत्र "Reducing Hallucinations in LLMs via Factuality-Aware Preference Learning" (F-DPO) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) अक्सर हैलुसिनेशन (hallucinations) प्रदर्शित करते हैं—अर्थात, वे प्रवाहपूर्ण और आत्मविश्वासी उत्तर तो देते हैं, लेकिन वे तथ्यात्मक रूप से गलत होते हैं। जबकि RLHF और DPO जैसे अलाइनमेंट (alignment) तरीके निर्देश पालन (instruction following) में सुधार करते हैं, वे अक्सर अनजाने में हैलुसिनेशन को बढ़ावा (reinforce) दे देते हैं।

मूल संघर्ष (The Core Conflict): प्रेफरेंस लेबल (मानवीय या स्वचालित) अक्सर तथ्यात्मक शुद्धता के बजाय प्रवाह (fluency), आत्मविश्वास और विस्तार (elaboration) को प्राथमिकता देते हैं। एनोटेटर (annotators) एक आत्मविश्वासी लेकिन गलत उत्तर (जैसे, "सिडनी ऑस्ट्रेलिया की राजधानी है") को कम विस्तृत लेकिन सटीक उत्तर ("कैनबरा") की तुलना में अधिक पसंद कर सकते हैं।
मौजूदा विधियों की सीमाएँ: वर्तमान तथ्य-केंद्रित दृष्टिकोण अक्सर निम्नलिखित पर निर्भर करते हैं:
- सहायक रिवॉर्ड मॉडल या वेरीफायर (जटिलता बढ़ाते हैं)।
- मल्टी-स्टेज ट्रेनिंग पाइपलाइन।
- टोकन-लेवल सुपरविजन (बारीक एनोटेशन)।
- वे अक्सर मूल कारण को ठीक करने में विफल रहते हैं: मिसऑर्डर्ड प्रेफरेंस पेयर्स (misordered preference pairs) जहाँ "चुना गया" (chosen) उत्तर हैलुसिनेटेड है और "अस्वीकृत" (rejected) वाला तथ्यात्मक है।

2. कार्यप्रणाली: F-DPO (Factuality-aware Direct Preference Optimization)

लेखक F-DPO प्रस्तावित करते हैं, जो मानक DPO का एक सिंगल-स्टेज विस्तार है जिसके लिए केवल बाइनरी फैक्टुअलिटी लेबल्स (तथ्यात्मक बनाम हैलुसिनेटेड) की आवश्यकता होती है और किसी बाहरी रिवॉर्ड मॉडल की नहीं।

A. डेटा निर्माण (Data Construction)

लेखक Skywork Reward-Preference कॉर्पस को बढ़ाकर एक तथ्य-जागरूक प्रेफरेंस डेटासेट का निर्माण करते हैं:

बाइनरी लेबलिंग: प्रत्येक प्रेफरेंस पेयर में एक बाइनरी लेबल $h \in \{0, 1\}$ के साथ एनोटेशन किया जाता है, जहाँ $0 $तथ्यात्मक है और$ 1$ हैलुसिनेटेड है, जिसका उपयोग एक ऑटोमेटेड LLM जज (GPT-4o-mini) द्वारा किया जाता है।
सिंथेटिक ऑग्मेंटेशन (Synthetic Augmentation): तथ्य-आधारित कवरेज सुनिश्चित करने के लिए, एक LLM को तथ्यात्मक उत्तरों में विश्वसनीय लेकिन गलत दावे पेश करने के लिए प्रॉम्प्ट देकर सिंथेटिक हैलुसिनेटेड वेरिएंट्स बनाए जाते हैं।
बैलेंसिंग: डेटासेट को $(h_{winner}, h_{loser})$ के कॉन्फ़िगरेशन के आधार पर पुन: संतुलित किया जाता है।

B. मुख्य तंत्र (Core Mechanisms)

F-DPO मानक DPO ऑब्जेक्टिव में दो प्रमुख संशोधन पेश करता है:

लेबल फ्लिपिंग (Label Flipping - Deterministic Correction):
- मानक DPO यह मानता है कि "विजेता" ( $y_w$ ) हमेशा बेहतर होता है। हालाँकि, यदि $y_w$ हैलुसिनेटेड है ( $h_w=1$ ) और $y_l$ तथ्यात्मक है ( $h_l=0$ ), तो इस पर प्रशिक्षण देने से हैलुसिनेशन सुदृढ़ होता है।
- F-DPO फैक्टुअलिटी डिफरेंशियल $\Delta h = h_l - h_w$ की गणना करता है।
- यदि $\Delta h < 0$ है (अर्थात, चुना गया उत्तर कम तथ्यात्मक है), तो लेबल्स को फ्लिप (flip) कर दिया जाता है: तथ्यात्मक उत्तर विजेता बन जाता है, और हैलुसिनेटेड वाला हारने वाला। यह सुनिश्चित करता है कि मॉडल को कभी भी तथ्यात्मक उत्तर के ऊपर हैलुसिनेटेड उत्तर को प्राथमिकता देने के लिए प्रशिक्षित न किया जाए।
फैक्टुअलिटी-अवेयर मार्जिन पेनल्टी (Factuality-Aware Margin Penalty):
- मानक DPO विजेता और हारने वाले के लॉग-प्रोबेबिलिटी के बीच मार्जिन को अधिकतम करता है।
- F-DPO मार्जिन $m$ को एक पेनल्टी टर्म द्वारा संशोधित करता है जो फैक्टुअलिटी डिफरेंस के समानुपाती है:
  $m_{fact} = m_{\pi, \pi_{ref}} - \lambda \cdot \Delta h$
- प्रभाव:
  - यदि $\Delta h = 1$ है (विजेता तथ्यात्मक है, हारने वाला हैलुसिनेटेड है), तो प्रभावी मार्जिन $\lambda$ से कम हो जाता है। यह मॉडल को तथ्यात्मकता के लर्निंग सिग्नल को बढ़ाने के लिए, लॉस को कम करने हेतु तथ्यात्मक उत्तर को काफी अधिक उच्च प्रोबेबिलिटी असाइन करने के लिए मजबूर करता है।
  - यदि $\Delta h = 0$ है (दोनों तथ्यात्मक या दोनों हैलुसिनेटेड), तो ऑब्जेक्टिव मानक DPO में बदल जाता है, जो अन्य गुणों (जैसे शैली, उपयोगिता) के लिए मूल प्रेफरेंस सिग्नल को सुरक्षित रखता है।

C. ट्रेनिंग ऑब्जेक्टिव (Training Objective)

अंतिम लॉस फंक्शन है:
$L_{F-DPO} = -\mathbb{E} \left[ \log \sigma \left( \beta \cdot (m_{\pi, \pi_{ref}} - \lambda \cdot \Delta h) \right) \right]$
जहाँ $\lambda$ एक ट्यूनेबल हाइपरपैरामीटर है जो फैक्टुअलिटी पेनल्टी की शक्ति को नियंत्रित करता है।

3. प्रमुख योगदान (Key Contributions)

नवाचार एल्गोरिदम: F-DPO का परिचय, जो एक सरल, सिंगल-स्टेज, रिस्पॉन्स-लेवल मेथड है जो केवल बाइनरी लेबल्स का उपयोग करके प्रेफरेंस-फैक्टुअलिटी मिसअलाइनमेंट को ठीक करता है।
मैकेनिज्म इनोवेशन: लेबल फ्लिपिंग (नोइजी सुपरविजन को ठीक करने के लिए) और एक फैक्टुअलिटी-कंडीशन्ड मार्जिन (त्रुटि अंतराल पर जोर देने के लिए) का संयोजन, बिना किसी सहायक मॉडल के।
व्यापक मूल्यांकन: विविध परिवारों (Qwen, LLaMA, Gemma) से सात ओपन-वेट LLMs (1B से 14B पैरामीटर्स तक) पर सत्यापन।
सामान्यीकरण (Generalization): TruthfulQA बेंचमार्क पर मजबूत आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) प्रदर्शन का प्रदर्शन।

4. प्रयोगात्मक परिणाम (Experimental Results)

पेपर बेस मॉडल्स और स्टैंडर्ड DPO दोनों की तुलना में फैक्टुअलिटी में महत्वपूर्ण सुधार और हैलुसिनेशन दरों में कमी की रिपोर्ट करता है।

हैलुसिनेशन में कमी:
- Qwen3-8B पर, F-DPO ने हैलुसिनेशन दर को 5 गुना कम कर दिया (0.424 से 0.084)।
- Qwen2.5-14B पर, इसने 0.008 की लगभग शून्य हैलुसिनेशन दर हासिल की (बेस मॉडल की तुलना में एक क्रम का सुधार)।
फैक्टुअलिटी स्कोर:
- Qwen3-8B पर फैक्टुअलिटी स्कोर में 50% का सुधार हुआ (5.26 से 7.90)।
आउट-ऑफ-डिस्ट्रीब्यूशन जनरलाइजेशन (TruthfulQA):
- Qwen2.5-14B पर, F-DPO ने MC1 सटीकता में +17% (0.500 $\to$ 0.585) और MC2 सटीकता में +49% (0.357 $\to$ 0.531) का सुधार किया।
- इसके विपरीत, स्टैंडर्ड DPO अक्सर TruthfulQA पर प्रदर्शन को खराब करता है, जो पुष्टि करता है कि मानक प्रेफरेंस ऑप्टिमाइजेशन सत्यनिष्ठा (truthfulness) को नुकसान पहुँचा सकता है।
एब्लेशन स्टडीज (Ablation Studies):
- लेबल फ्लिपिंग: मिसऑर्डर्ड पेयर्स को ठीक करने के लिए आवश्यक; इसे मार्जिन पेनल्टी के साथ मिलाने पर सर्वोत्तम परिणाम मिलते हैं।
- पेनल्टी स्ट्रेंथ ( $\lambda$ ): प्रदर्शन $\lambda$ के 100 तक बढ़ने के साथ निरंतर सुधरता है, जिसके बाद घटते प्रतिफल (diminishing returns) मिलते हैं।
- डेटा दक्षता: विधि केवल 25% ट्रेनिंग डेटा का उपयोग करके भी तुलनीय प्रदर्शन प्राप्त करती है।
- उपयोगिता (Helpfulness): F-DPO आमतौर पर हेल्पफुलनेस स्कोर को बनाए रखता है या सुधारता है, हालांकि Qwen3-8B में एक मामूली ट्रेड-ऑफ देखा गया जहाँ अत्यधिक फैक्टुअलिटी ऑप्टिमाइजेशन से स्टाइल संबंधी समृद्धि (stylistic richness) थोड़ी कम हो गई।

5. महत्व और प्रभाव (Significance and Impact)

सरलता और दक्षता: F-DPO जटिल मल्टी-स्टेज पाइपलाइनों, टोकन-लेवल एनोटेशन या सहायक रिवॉर्ड मॉडल्स की आवश्यकता को समाप्त करता है, जिससे यह अत्यधिक कंप्यूट-एफिशिएंट और लागू करने में आसान हो जाता है।
"फ्लुएंसी ट्रैप" (Fluency Trap) को संबोधित करना: यह सीधे उस मुद्दे से निपटता है जहाँ LLMs को केवल सही होने के बजाय आत्मविश्वासी दिखने के लिए पुरस्कृत किया जाता है, जो चिकित्सा और कानून जैसे उच्च-जोखिम वाले क्षेत्रों में एक महत्वपूर्ण विफलता मोड है।
स्केलेबिलिटी: यह विधि 1B-14B आकार के मॉडल्स में प्रभावी ढंग से स्केल करती है और अनदेखे बेंचमार्क्स पर सामान्य होती है, जो यह सुझाव देती है कि यह LLMs को सत्यनिष्ठा के साथ अलाइन करने के लिए एक मजबूत समाधान है।
नैतिक अलाइनमेंट: गुणात्मक विश्लेषण से पता चलता है कि F-DPO तथ्यात्मक आधार बनाए रखते हुए हानिकारक या अनैतिक अनुरोधों (जैसे, एन्क्रिप्शन बायपास करना) को अस्वीकार करने की मॉडल की क्षमता में सुधार करता है, जो फैक्टुअलिटी और सुरक्षा अलाइनमेंट के बीच तालमेल को दर्शाता है।

संक्षेप में, F-DPO केवल प्रवाह (fluency) के बजाय तथ्यात्मक शुद्धता को प्राथमिकता देने के लिए प्रेफरेंस सिग्नल को स्पष्ट रूप से ठीक करके हैलुसिनेशन को कम करने के लिए एक व्यावहारिक और प्रभावी ढांचा प्रदान करता है।