💬 NLP

From Detection to Diagnosis: Advancing Hallucination Analysis with Automated Data Synthesis

यह शोध पत्र 'हैलुसिनेशन डिटेक्शन' (भ्रम पहचान) से 'डायग्नोसिस' (निदान) की ओर एक प्रतिमान परिवर्तन का प्रस्ताव करता है, जिसमें 'हैलुसिनेशन डायग्नोसिस टास्क' और एक स्वचालित डेटा सिंथेसिस पाइपलाइन (HDG) पेश की गई है ताकि एक विशिष्ट मॉडल (HDM-4B-RL) को प्रशिक्षित किया जा सके जो न केवल भ्रमों की पहचान करता है बल्कि उन्हें स्थानीयकृत (localize), स्पष्ट और संशोधित भी करता है, जिससे मॉडल सुधार के लिए कार्रवाई योग्य फीडबैक प्रदान करते हुए अत्याधुनिक प्रदर्शन प्राप्त होता है।

मूल लेखक: Yanyi Liu, Qingwen Yang, Tiezheng Guo, Feiyu Qu, Jun Liu, Yingyou Wen

प्रकाशित 2026-03-20

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yanyi Liu, Qingwen Yang, Tiezheng Guo, Feiyu Qu, Jun Liu, Yingyou Wen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, सुशिक्षित रोबोट सहायक है। आप उससे एक प्रश्न पूछते हैं, और वह आपको एक लंबा, आत्मविश्वासपूर्ण उत्तर देता है। लेकिन कभी-कभी, रोबोट मनगढ़ंत बातें बनाता है। वह कह सकता है, "एफिल टॉवर लंदन में है," जबकि आप जानते हैं कि वह पेरिस में है। इसे हैलुसिनेशन (hallucination) कहा जाता है।

लंबे समय तक, शोधकर्ताओं ने इसे एक साधारण सुरक्षा गार्ड (security guard) की तरह माना। गार्ड का एकमात्र काम "रुको!" या "जाओ!" (हाँ/नहीं) चिल्लाना था। यदि रोबोट कोई गलती करता, तो गार्ड उसे चिह्नित कर देता। लेकिन गार्ड आपको यह नहीं बता सकता था कि गलती कहाँ थी, वह क्यों हुई, या इसे कैसे ठीक किया जाए। यह एक शिक्षक की तरह था जो बिना कोई टिप्पणी लिखे केवल परीक्षा में गलत उत्तर पर गोला लगा देता है। यदि आप वास्तव में रोबोट को सिखाना या सुधारना चाहते हैं, तो यह बहुत मददगार नहीं है।

यह शोध पत्र एक नया दृष्टिकोण प्रस्तावित करता है: द हैलुसिनेशन डॉक्टर (The Hallucination Doctor)।

केवल एक सुरक्षा गार्ड के बजाय, हमें एक ऐसे डॉक्टर की आवश्यकता है जो:

पता लगा सके (Detect): "हाँ, मरीज बीमार है।"
स्थान का पता लगा सके (Localize): "संक्रमण विशेष रूप से बाएं फेफड़े में है।"
व्याख्या कर सके (Explain): "यह बीमार है क्योंकि मरीज वायरस के संपर्क में आया था।"
उपचार कर सके (Mitigate): "इसे ठीक करने के लिए यहाँ एक नुस्खा (prescription) है।"

यहाँ बताया गया है कि लेखकों ने इस "डॉक्टर" को कैसे बनाया और यह कैसे काम करता है, जिसे सरल चरणों में विभाजित किया गया है:

1. समस्या: हमें एक बेहतर शिक्षक की आवश्यकता है

वर्तमान AI मॉडल बात करने में माहिर हैं, लेकिन वे कभी-कभी आत्मविश्वास के साथ झूठ बोलते हैं। मौजूदा उपकरण आपको बता सकते हैं कि झूठ मौजूद है, लेकिन वे झूठ की व्याख्या नहीं कर सकते या उसे ठीक नहीं कर सकते। यह शोध पत्र तर्क देता है कि हमें केवल त्रुटियों को पहचानने (detecting) से हटकर उन्हें निदान (diagnosing) करने की ओर बढ़ने की आवश्यकता है।

2. समाधान: "फेक न्यूज" फैक्ट्री (HDG)

एक मॉडल को डॉक्टर बनना सिखाने के लिए, आपको बहुत सारे अभ्यास मामलों की आवश्यकता होती है। लेकिन वास्तविक दुनिया के उदाहरण ढूँढना जहाँ एक AI झूठ बोलता है, कठिन है। इसलिए, लेखकों ने एक मशीन बनाई जिसे हैलुसिनेशन डायग्नोसिस जनरेटर (HDG) कहा जाता है।

इसे एक विशेष वीडियो गेम लेवल डिज़ाइनर की तरह समझें।

चरण 1: यह कई वास्तविक, सत्य तथ्यों (जैसे विकिपीडिया लेख) को लेता है।
चरण 2: यह उन्हें जानबूझकर बिगाड़ देता है। यह "लाल गुलाब" को "गुलाबी गुलाब" से बदल देता है, एक महत्वपूर्ण संख्या को हटा देता है, या गणित के एक चरण को बदल देता है।
चरण 3: यह एक "सही" उत्तर और एक "खराब" उत्तर बनाता है।
चरण 4: यह AI छात्र के लिए एक विस्तृत "चीट शीट" लिखता है, जो ठीक से चिह्नित करता है कि कौन सा शब्द गलत है, वह क्यों गलत है, और सही उत्तर क्या होना चाहिए।

यह फैक्ट्री इन "खराब" परिदृश्यों के हजारों उदाहरण तैयार करती है, जिससे AI छात्र के लिए एक विशाल प्रशिक्षण जिम बनता है।

3. छात्र: HDM-4B-RL

लेखकों ने इस जिम का उपयोग करके एक विशिष्ट AI मॉडल (जिसे HDM-4B-RL कहा जाता है) को प्रशिक्षित किया।

आकार: यह एक "4-बिलियन पैरामीटर" वाला मॉडल है। AI की दुनिया में, यह एक कॉम्पैक्ट, कुशल सेडान कार की तरह है। यह उन विशाल "सुपरकारों" (जैसे 32B या 70B मॉडल) की तुलना में बहुत छोटा है जिनका अन्य सभी उपयोग करते हैं।
प्रशिक्षण: उन्होंने केवल कार को चलाने के लिए नहीं कहा; उन्होंने एक विशेष रिवॉर्ड सिस्टम (जैसे वीडियो गेम स्कोरिंग सिस्टम) का उपयोग किया। यदि मॉडल झूठ को सही ढंग से पहचानता है, सटीक वाक्य ढूंढता है, व्याख्या करता है और उसे ठीक करता है, तो उसे अंक मिलते हैं। यदि वह विफल होता है, तो उसे शून्य मिलता है।

4. परिणाम: कॉम्पैक्ट सेडान दौड़ जीतती है

लेखकों ने अपनी "कॉम्पैक्ट सेडान" (HDM-4B-RL) को "सुपरकारों" (GPT-4 या Qwen-32B जैसे विशाल मॉडल) और पुराने "सुरक्षा गार्डों" (केवल डिटेक्शन टूल्स) के खिलाफ रखा।

डिटेक्शन (Detection): कॉम्पैक्ट कार सुपरकारों की तरह ही झूठ पकड़ने में तेज़ और उतनी ही अच्छी थी।
डायग्नोसिस (Diagnosis): जब उनसे विशिष्ट झूठ खोजने और उसे ठीक करने के लिए कहा गया, तो कॉम्पैक्ट कार विशाल सुपरकारों के लगभग बराबर प्रदर्शन कर रही थी, लेकिन इसने यह काम बहुत तेज़ी से और कम कंप्यूटिंग पावर के साथ किया।
"रीजनिंग" बूस्ट: उन्होंने पाया कि जब मॉडल को उत्तर देने से पहले "सोचने" (चरण-दर-चरण तर्क प्रक्रिया का उपयोग करने) की अनुमति दी गई, तो वह और भी स्मार्ट हो गया, जिससे वह विशाल मॉडलों के बीच के अंतर को कम करने में सफल रहा।

यह क्यों महत्वपूर्ण है

कल्पित कीजिए कि आप एक मेडिकल AI या लीगल AI बना रहे हैं। आपको केवल एक ऐसे सिस्टम की आवश्यकता नहीं है जो कहता है "यह गलत है।" आपको एक ऐसे सिस्टम की आवश्यकता है जो कहता है, "यह गलत है क्योंकि यह मरीज के इतिहास के विपरीत है, और यहाँ सही खुराक दी गई है।"

यह शोध पत्र दिखाता है कि आपको यह करने के लिए एक विशाल, महंगे सुपरकंप्यूटर की आवश्यकता नहीं है। उच्च-गुणवत्ता वाले, सिंथेटिक डेटा के साथ एक छोटे, स्मार्ट मॉडल को प्रशिक्षित करके, आप एक ऐसा AI बना सकते हैं जो न केवल त्रुटियों को पहचानता है बल्कि उन्हें समझता और ठीक भी करता है। यह एक साधारण "हाँ/नहीं" अलार्म सिस्टम से एक पूर्णकालिक, बुद्धिमान डायग्नोस्टिशियन की ओर एक कदम है।

यहाँ शोध पत्र "From Detection to Diagnosis: Advancing Hallucination Analysis with Automated Data Synthesis" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) अक्सर हैलुसिनेशन (hallucinations) से ग्रस्त होते हैं, जिसे तथ्यों या स्रोत संदर्भ के साथ असंगत सामग्री उत्पन्न करने के रूप में परिभाषित किया गया है। यह चिकित्सा और कानून जैसे महत्वपूर्ण क्षेत्रों में विश्वास को कम करता है।

वर्तमान सीमा: मौजूदा शोध मुख्य रूप से बाइनरी डिटेक्शन (binary detection) (आउटपुट को "हैलुसिनेटेड" या "नहीं" के रूप में वर्गीकृत करना) पर केंद्रित है। त्रुटियों को चिह्नित करने में प्रभावी होने के बावजूद, इन विधियों में व्याख्यात्मकता (interpretability) और कार्यक्षमता (actionability) की कमी है। वे सूक्ष्म फीडबैक प्रदान करने में विफल रहते हैं (जैसे कि त्रुटि कहाँ है, यह क्यों हुई, या इसे कैसे ठीक किया जाए), जो स्वचालित मॉडल सुधार और मानव-सहायता प्राप्त संशोधन में बाधा डालता है।
प्रस्तावित बदलाव: लेखक सरल डिटेक्शन (Detection) से व्यापक डायग्नोसिस (Diagnosis) की ओर एक प्रतिमान परिवर्तन (paradneligm shift) का समर्थन करते हैं।

2. कार्यप्रणाली (Methodology)

यह शोध पत्र दो-भाग वाली कार्यप्रणाली पेश करता है: एक स्वचालित डेटा सिंथेसिस पाइपलाइन और एक विशेष सुदृढीकरण शिक्षण (reinforcement learning) मॉडल।

A. हैलुसिनेशन डायग्नोसिस टास्क परिभाषा

लेखकों ने एक नया कार्य परिभाषित किया है जिसमें मॉडल्स को चार मुख्य क्षमताओं को प्रदर्शित करने की आवश्यकता होती है:

डिटेक्शन (Detection): पहचानना कि सामग्री स्रोत के साथ संरेखित है या नहीं।
लोकलाइजेशन (Localization): विशिष्ट हैलुसिनेटेड खंडों (segments) का पता लगाना।
एक्सप्लेनेबिलिटी (Explainability): विसंगति के लिए प्राकृतिक भाषा में तर्क (reasoning) प्रदान करना।
मिटिगेशन (Mitigation): सुधार प्रस्तावित करना या संशोधित सामग्री उत्पन्न करना।

B. हैलुसिनेशन डायग्नोसिस जनरेटर (HDG)

इस जटिल कार्य के लिए उच्च-गुणवत्ता वाले प्रशिक्षण डेटा की कमी को दूर करने के लिए, लेखकों ने एक स्वचालित पाइपलाइन (HDG) डिजाइन की जो कच्चे प्री-ट्रेनिंग कॉर्पोरा (Wikipedia) से डेटा सिंथेसाइज करती है। पाइपलाइन के चार चरण हैं:

सीड सैंपल जनरेशन (Seed Sample Generation): टेक्स्ट का नमूना लेना और चेन-ऑफ-थॉट (CoT) रीजनिंग के साथ विविध निर्देश (सारांश, गणित, तर्क) उत्पन्न करना।
सैंपल ऑग्मेंटेशन (Sample Augmentation): हैलुसिनेशन डालने के लिए नियंत्रित परटर्बेशन (perturbation) रणनीतियों को लागू करना:
- कॉन्टेक्स्ट ऑग्मेंटेशन (Context Augmentation): डिस्ट्रैक्टर्स जोड़ना या मुख्य विवरणों को हटाना।
- हैलुसिनेशन इंजेक्शन (Hallucination Injection): प्रत्यक्ष एंटिटी प्रतिस्थापन (जैसे, "लाल गुलाब" $\to$ "गुलाबी गुलाब") या रीजनिंग चेन परटर्बेशन।
- फजी इन्फॉर्मेशन रिप्लेसमेंट (Fuzzy Information Replacement): सारांश कार्यों के लिए सटीक संख्याओं को अस्पष्ट अनुमानों से बदलना।
क्वालिटी वेरिफिकेशन (Quality Verification): प्रवाह (fluency), सामंजस्य (coherence), और लेबल की शुद्धता को सत्यापित करने के लिए क्लासिफायर्स के एक समूह और LLM-as-a-Judge का उपयोग करना।
मेटाडेटा एनरिचमेंट (Metadata Enrichment): वाक्यों के स्तर पर हैलुसिनेशन स्थान, कार्य कठिनाई लेबल और रीजनिंग ट्रेसेस के साथ नमूनों को एनोटेट करना।

आउटपुट: QA और सारांश कार्यों को कवर करने वाले 18,453 उच्च-गुणवत्ता वाले नमूनों का एक डेटासेट।

C. हैलुसिनेशन डायग्नोसिस मॉडल (HDM-4B-RL)

बेस मॉडल: Qwen3-4B।
ट्रेनिंग एल्गोरिदम: ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO)। लेखकों ने मॉडल की मूल हाइब्रिड रीजनिंग क्षमताओं को बनाए रखते हुए उसे डायग्नोस्टिक कार्यों के साथ संरेखित करने के लिए मानक सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) के बजाय GRPO को चुना।
रिवॉर्ड फंक्शन (Reward Function): एक व्यापक, नियम-आधारित रिवॉर्ड सिस्टम ( $R$ $R$ ) जो निम्नलिखित से बना है:
- $R_{struct}$ : मशीन-पठनीय JSON आउटपुट सुनिश्चित करता है।
- $R_{acc}$ : बाइनरी क्लासिफिकेशन सटीकता (डिटेक्शन)।
- $R_{loc}$ : प्रेडिक्टेड और ग्राउंड-ट्रुथ हैलुसिनेटेड स्पैन के बीच ओवरलैप पर आधारित लोकलाइजेशन रिवॉर्ड।
- फॉर्मूला: $R = \alpha_1 R_{struct} + \alpha_2 R_{acc} + \alpha_3 R_{loc}$ (1.0, 0.5, 0.5 वेट्स के साथ)।

3. प्रमुख योगदान (Key Contributions)

नया प्रतिमान (New Paradigm): बाइनरी वर्गीकरण से आगे बढ़कर एक बहु-आयामी डायग्नोस्टिक फ्रेमवर्क (डिटेक्शन, लोकलाइजेशन, एक्सप्लेनेशन, मिटिगेशन) के रूप में हैलुसिनेशन डायग्नोसिस टास्क को औपचारिक रूप दिया।
स्वचालित डेटा पाइपलाइन: HDG विकसित किया, जो मौजूदा NLI/QA डेटासेट पर निर्भर किए बिना कच्चे कॉर्पोरा से विविध, एनोटेटेड डायग्नोस्टिक डेटा उत्पन्न करने के लिए एक स्केलेबल पाइपलाइन है।
कुशल मॉडल: HDM-4B-RL को प्रशिक्षित किया, जो डायग्नोसिस कार्यों में स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त करने वाला एक 4-बिलियन पैरामीटर वाला मॉडल है, जो यह दर्शाता है कि विशेष फाइन-ट्यूनिंग बहुत बड़े मॉडल्स की बराबरी कर सकती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

मॉडल का मूल्यांकन HaluBench (QA), SummEval (Summarization), और एक कस्टम डायग्नोसिस बेंचमार्क सहित बेंचमार्क्स पर किया गया।

डिटेक्शन प्रदर्शन:
- HDM-4B-RL ने औसत मैक्रो F1 स्कोर 79.65 प्राप्त किया, जो पिछले SOTA स्पेशलाइज्ड मॉडल (Lynx-8B, 77.25) को पछाड़ते हुए आधे आकार का होने के बावजूद बेहतर प्रदर्शन करता है।
- इसने GPT-4.1 (75.37) जैसे शक्तिशाली क्लोज्ड-सोर्स मॉडल्स को पीछे छोड़ दिया और रीजनिंग-सक्षम Qwen3-32B (81.70) के प्रदर्शन के करीब पहुँच गया।
डायग्नोसिस प्रदर्शन (एंड-टू-एंड):
- एक पूर्ण डायग्नोसिस वर्कफ़्लो (डिटेक्शन + लोकलाइजेशन + मिटिगेशन) में, HDM-4B-RL ने एक बेहतर सटीकता-दक्षता ट्रेड-ऑफ (accuracy-efficiency trade-off) प्रदर्शित किया।
- जबकि मल्टी-स्टेप पाइपलाइन विधियों (बड़े मॉडल्स का उपयोग करके) ने लोकलाइजेशन में थोड़ी अधिक ग्रैनुलैरिटी हासिल की, उन्होंने HDM-4B-RL की तुलना में 4.9x लेटेंसी ली।
- HDM-4B-RL ने मिटिगेशन में प्रतिस्पर्धी परिणाम (AlignScore: 69.16) प्राप्त किए, जो 32B-स्केल मॉडल्स के काफी करीब है।
एब्लेशन इनसाइट्स (Ablation Insights):
- रीजनिंग मोड: रीजनिंग क्षमताओं को सक्षम करने से प्रदर्शन में उल्लेखनीय वृद्धि हुई (नॉन-रीजनिंग की तुलना में रीजनिंग मोड में F1 +2.91)।
- रिकॉल सुधार: RL ट्रेनिंग ने रिकॉल (Recall) में उल्लेखनीय सुधार किया (+रीजनिंग मोड में +4.62, +नॉन-रीजनिंग में +5.97), जो यह दर्शाता है कि मॉडल प्रिसिजन (precision) से समझौता किए बिना सभी वास्तविक हैलुसिनेशन को पहचानने में बहुत बेहतर हो गया।

5. महत्व और निष्कर्ष (Significance and Conclusion)

विश्वसनीयता (Trustworthiness): यह कार्य "त्रुटियों को फ्लैग करने" से लेकर "त्रुटियों को ठीक करने" की ओर बढ़कर अधिक विश्वसनीय AI सिस्टम बनाने का एक व्यावहारिक मार्ग प्रदान करता है।
दक्षता (Efficiency): यह सिद्ध करता है कि सिंथेसाइज्ड डायग्नोस्टिक डेटा पर प्रशिक्षित एक हल्का, विशिष्ट मॉडल (4 बिलियन पैरामीटर्स) विशिष्ट विश्वसनीयता कार्यों में बड़े, जेनेरिक मॉडल्स से बेहतर प्रदर्शन कर सकता है, जो संसाधन-बाधित वातावरण के लिए एक लागत प्रभावी समाधान प्रदान करता है।
स्केलेबिलिटी (Scalability): HDG पाइपलाइन जटिल रीजनिंग कार्यों के लिए प्रशिक्षण डेटा उत्पन्न करने का एक स्केलेबल तरीका प्रदान करता है, जिससे मैनुअल एनोटेशन पर निर्भरता कम होती है।

सीमाएं (Limitations): वर्तमान डेटा स्रोत विकिपीडिया तक सीमित है; भविष्य के कार्यों को विशेष डोमेन (कानूनी, चिकित्सा) में विस्तार करना चाहिए। इसके अतिरिक्त, प्रयोग एक 4B मॉडल तक सीमित थे, और बड़े आर्किटेक्चर तक स्केल करना एक भविष्य की दिशा है।