💬 NLP

Coverage-Controlled Preference Mining from Noisy Claim Verification for Evidence-Grounded Generation

यह शोध पत्र VERI-DPO को प्रस्तुत करता है, जो एक प्राथमिकता-माइनिंग (preference-mining) ढांचा है जो शोर युक्त दावे-स्तरीय सत्यापन (claim-level verification) को कवरेज-नियंत्रित सारांश-स्तरीय प्राथमिकताओं में परिवर्तित करता है ताकि साक्ष्य-आधारित नैदानिक सारांशीकरण मॉडलों को प्रशिक्षित किया जा सके जो सामग्री कवरेज से समझौता किए बिना या इन्फरेंस-टाइम पुनर्रैंकिंग की आवश्यकता के बिना असंयोजित दावों को महत्वपूर्ण रूप से कम करते हैं।

मूल लेखक: Weixin Liu, Congning Ni, Qingyuan Song, Susannah L. Rose, Murat Kantarcioglu, Bradley A. Malin, Zhijun Yin

प्रकाशित 2026-07-07

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Weixin Liu, Congning Ni, Qingyuan Song, Susannah L. Rose, Murat Kantarcioglu, Bradley A. Malin, Zhijun Yin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शेफ हैं जो एक अव्यवस्थित, बिखरी हुई पेंट्री में मौजूद सामग्रियों (मरीज के मेडिकल रिकॉर्ड) के आधार पर एक रेसिपी लिखने की कोशिश कर रहे हैं। आपका लक्ष्य अस्पताल में मरीज के रहने के दौरान क्या हुआ, इसका एक स्पष्ट और सटीक सारांश लिखना है।

समस्या यह है कि आपका कुकिंग असिस्टेंट (AI मॉडल) कभी-कभी ऐसी सामग्रियां बना देता है जो वहां मौजूद ही नहीं हैं, या दावा करता है कि कोई व्यंजन पका हुआ था जबकि वह वास्तव में कच्चा था। चिकित्सा के क्षेत्र में यह खतरनाक हो सकता है।

आमतौर पर, इसे ठीक करने के लिए, आप एक फूड क्रिटिक (एक "वेरिफायर") से रेसिपी के हर वाक्य को चखने के लिए कह सकते हैं और पूछ सकते हैं, "हाँ, यह पेंट्री से मेल खाता है," या "नहीं, यह नकली है।" लेकिन यहाँ पेच यह है कि क्रिटिक भी परफेक्ट नहीं होता। कभी-कभी वे भ्रमित हो जाते हैं, और कभी-कभी वे कह सकते हैं, "यह रेसिपी एकदम सही है!" सिर्फ इसलिए क्योंकि आपके असिस्टेंट ने एक बहुत ही छोटा, अस्पष्ट रेसिपी लिखा है जिसमें किसी सामग्री का जिक्र ही नहीं किया गया है। यदि आप केवल AI को क्रिटिक के 'No' वोटों से बचने के लिए कहते हैं, तो AI बेकार की छोटी, अर्थहीन रेसिपी लिखना सीख जाएगा जो कुछ भी नहीं बतातीं।

समाधान: VERI-DPO

लेखकों ने एक नई ट्रेनिंग विधि बनाई है जिसे VERI-DPO कहा जाता है। इसे एक साधारण पास या फेल होने वाली परीक्षा के बजाय एक "टेस्ट-टेस्ट टूर्नामेंट" के रूप में समझें।

यह कैसे काम करता है, चरण-दर-चरण:

कुकिंग कॉन्टेस्ट: हर मरीज के मेडिकल इतिहास के लिए, AI अस्पताल के सारांश के आठ अलग-अलग संस्करण (जैसे आठ अलग-अलग रेसिपी के ड्राफ्ट) बनाता है।
क्रिटिक का काम: एक विशेष टूल (वेरिफायर) इन आठ ड्राफ्ट्स में से हर दावे की वास्तविक मेडिकल रिकॉर्ड के साथ जांच करता है। यह गिनता है कि कितने दावे समर्थित हैं, कितने नकली हैं, और कितने अस्पष्ट हैं।
स्मार्ट पेयरिंग (सीक्रेट सॉस): केवल "सबसे अच्छे" को चुनने के बजाय, सिस्टम AI को सिखाने के लिए एक विशिष्ट जोड़ी (pair) तलाशता है:
- विजेता ( $y^+$ ): एक ड्राफ्ट जिसमें कम नकली दावे और अधिक समर्थित तथ्य हों।
- हारने वाला ( $y^-$ ): एक ड्राफ्ट जिसमें अधिक नकली दावे हों।
- महत्वपूर्ण नियम: दोनों ड्राफ्ट लगभग एक ही लंबाई के होने चाहिए और उनमें उपयोगी जानकारी की मात्रा समान होनी चाहिए।
- क्यों? यह AI को यह सीखने से रोकता है कि "कम लिखना बेहतर है।" यह इसे यह सीखने के लिए मजबूर करता है कि "सटीक रूप से लिखना बेहतर है," भले ही कहानी लंबी और विस्तृत हो।
सबक: सिस्टम इन "विजेता बनाम हारने वाले" जोड़ों को लेता है और AI को सिखाता है: "अगली बार, विजेता की तरह लिखें, हारने वाले की तरह नहीं।" यह बिना किसी इंसान द्वारा हर वाक्य को ग्रेड दिए किए किया जाता है।

परिणाम: क्या यह काम आया?

शोधकर्ताओं ने वास्तविक अस्पताल डेटा (MIMIC नामक एक प्रसिद्ध डेटासेट) का उपयोग करके इसका परीक्षण किया।

"नकली तथ्य" में गिरावट: इस पद्धति से पहले, सारांशों में लगभग 10.7% दावे बिना आधार के (नकली) थे। VERI-DPO का उपयोग करने के बाद, यह संख्या घटकर 1.9% रह गई।
मानवीय जांच: उन्होंने केवल कंप्यूटर क्रिटिक पर भरोसा नहीं किया। उन्होंने दो मानव चिकित्सा विशेषज्ञों को पुराने सारांशों की तुलना नए वाले से ब्लाइंडली (बिना पक्षपात के) करने के लिए रखा। विशेषज्ञों ने नए, VERI-DPO सारांशों को पुराने की तुलना में 100 में से 56 बार पसंद किया, जबकि पुराने के लिए यह संख्या केवल 18 बार थी।
"न्यू किचन" टेस्ट: यह सुनिश्चित करने के लिए कि AI केवल विशिष्ट टेस्ट प्रश्नों को रट नहीं रहा है, उन्होंने इसे 1,000 मरीजों के एक पूरी तरह से नए सेट (MIMIC-IV) पर आजमाया जिसे AI ने पहले कभी नहीं देखा था। AI अभी भी बेहतर प्रदर्शन करता रहा, जिससे साबित हुआ कि पद्धति ने वास्तव में एक कौशल सीखा है, न कि केवल एक ट्रिक।

निष्कर्ष (The Bottom Line)

यह पेपर तर्क देता है कि आप सीधे AI को ग्रेड देने के लिए एक शोर वाले, अपूर्ण कंप्यूटर क्रिटिक का उपयोग नहीं कर सकते। इसके बजाय, आपको उस क्रिटिक का उपयोग अच्छे तुलनात्मक अध्ययन (एक अच्छा सारांश बनाम उसी लंबाई का एक बुरा सारांश) खोजने के लिए करना होगा और फिर AI को उन तुलनाओं से सीखने देना होगा।

यह एक छात्र को हर निबंध पर ग्रेड देकर नहीं, बल्कि उन्हें दो निबंध दिखाकर सिखाने जैसा है: "यहाँ एक बेहतरीन निबंध है जिसका शब्द काउंट दूसरे के समान है। ध्यान दें कि कैसे बेहतरीन वाला तथ्यों का सही उपयोग करता है? वैसे ही लिखो।"

यह तरीका AI को लंबे, विस्तृत और नैदानिक रूप से उपयोगी सारांश लिखने में सक्षम बनाता है, बिना तथ्य गढ़े, और साथ ही उसे इतना अस्पष्ट होने के जाल से भी बचाता है जो उपयोगी न रहे।

तकनीकी सारांश: शोरयुक्त दावा सत्यापन से कवरेज-नियंत्रित प्राथमिकता खनन (Coverage-Controlled Preference Mining from Noisy Claim Verification for Evidence-Grounded Generation)

समस्या विवरण

यह शोध पत्र साक्ष्य-आधारित पीढ़ी (evidence-grounded generation) की चुनौती को संबोधित करता है, विशेष रूप से नैदानिक ब्रीफ हॉस्पिटल कोर्स (BHC) सारांशीकरण के संदर्भ में। लक्ष्य रोगी-विशिष्ट इलेक्ट्रॉनिक हेल्थ रिकॉर्ड (EHR) साक्ष्य द्वारा समर्थित संक्षिप्त सारांश तैयार करना है, ताकि असमर्थित, विरोधाभासी या कालानुक्रमिक रूप से गलत दावों से बचा जा सके।

जबकि दावा-स्तरीय सत्यापनकर्ता (claim-level verifiers) उत्पन्न पाठ के मूल्यांकन को 'समर्थित' (Supported), 'असमर्थित' (Not Supported), या 'संबोधित नहीं किया गया' (Not Addressed) के रूप में लेबल करके स्केल कर सकते हैं, लेकिन प्रशिक्षण (training) के लिए इनका उपयोग करना समस्यात्मक है। व्यक्तिगत दावा लेबल शोरयुक्त (noisy) और रिट्रीवल-निर्भर होते हैं। इसके अतिरिक्त, पहचाने गए त्रुटियों की संख्या को कम करने के लिए अनियंत्रित रूप से अनुकूलित करने से क्षय (degeneration) हो सकता है: मॉडल तथ्यात्मकता स्कोर को कृत्रिम रूप से सुधारने के लिए कम जांच योग्य दावों वाले छोटे और अस्पष्ट सारांश बना सकते हैं, जिससे नैदानिक उपयोगिता और सूचना कवरेज का बलिदान होता है। मुख्य समस्या यह है कि शोरयुक्त, साक्ष्य-लिंक्ड फीडबैक से विश्वसनीय प्रशिक्षण प्राथमिकताएं कैसे बनाई जाएं बिना विलोपन (omission) या क्षय को पुरस्कृत किए।

कार्यप्रणाली: VERI-DPO

लेखक VERI-DPO पेश करते हैं, जो एक ढांचा है जो शोरयुक्त दावा सत्यापन को डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन (DPO) के लिए कवरेज-नियंत्रित सारांश-स्तरीय प्राथमिकताओं में परिवर्तित करता है। यह कार्यप्रणाली तीन चरणों में चलती है:

उम्मीदवार पीढ़ी और सत्यापन (Candidate Generation and Verification):
- प्रत्येक साक्ष्य-विंडो प्रॉम्प्ट (रोगी-विशिष्ट EHR संदर्भ) के लिए, एक बेस समराइज़र कई उम्मीदवार सारांश ( $K=8$ ) उत्पन्न करता है।
- प्रत्यंतु दावे (atomic claims) में विभाजित किया जाता है।
- एक सत्यापनकर्ता (LoRA के साथ फाइन-ट्यून किया गया Med42-8B) प्रत्येक दावे का रिट्रीव किए गए साक्ष्य के विरुद्ध मूल्यांकन करता है, और लेबल (Supported, Not Supported, Not Addressed) असाइन करता है।
कवरेज-नियंत्रित पेयर माइनिंग (Coverage-Controlled Pair Mining):
- सत्यापनकर्ता लेबल को ग्राउंड ट्रुथ मानने के बजाय, VERI-DPO समग्र उपयोगिता (aggregate utility) के आधार पर प्राथमिकता जोड़े $(y^+, y^-)$ का निर्माण करता है।
- उपयोगिता फलन (Utility Function - $U$ ): एक स्कोरिंग फंक्शन समर्थित दावों को पुरस्कृत करता है, Not Supported दावों को सबसे अधिक दंडित करता है, और Not Addressed दावों को भी दंडित करता है। महत्वपूर्ण रूप से, इसमें कवरेज (एक सीमा तक) को पुरस्कृत करने और डुप्लीकेशन एवं मेटा-टेक्स्ट को दंडित करने के लिए शब्द शामिल हैं ताकि क्षय (degeneration) को रोका जा सके।
- पेयर चयन प्रतिबंध (Pair Selection Constraints): एक जोड़े को केवल तभी रखा जाता है यदि:
  - उपयोगिता अंतर $U(y^+) - U(y^-)$ एक थ्रेशोल्ड से अधिक हो।
  - स्कोर किए गए दावों की संख्या में अंतर कम हो (समान कवरेज सुनिश्चित करने के लिए)।
  - चुना गया सारांश ( $y^+$ ) कम Not Supported दावे (2 तक सीमित) रखता हो और अधिकतम एक उच्च-मार्जिन Not Supported सिग्नल (HCNS) रखता हो।
  - अस्वीकृत सारांश ( $y^-$ ) में कम से कम एक HCNS सिग्नल हो।
- यह प्रक्रिया उन जोड़ों को फ़िल्टर करती है जहाँ "बेहतर" सारांश केवल छोटा या कम जांच योग्य है, यह सुनिश्चित करती है कि प्राथमिकता सिग्नल वास्तविक तथ्यात्मक सुधार को दर्शाता है।
पॉलिसी ऑप्टिमाइजेशन (Policy Optimization):
- माइन किए गए जोड़ों का उपयोग मानक डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन (DPO) के माध्यम से सिंगल-सैंपल पॉलिसी को प्रशिक्षित करने के लिए किया जाता है।
- यह सत्यापनकर्ता-निर्देशित प्राथमिकताओं को एक ऐसी मॉडल में संकुचित (distill) करता है जो प्रत्येक प्रॉम्प्ट के लिए एक उच्च-गुणवत्ता वाला सारांश उत्पन्न करता है, जिससे इन्फरेंस-टाइम रेंकिंग (जैसे, Best-of- $K$ ) की आवश्यकता समाप्त हो जाती है।

मुख्य योगदान

यह शोध पत्र तीन प्राथमिक योगदान देता है:

समस्या का निरूपण: यह प्राथमिकता निर्माण को शोरयुक्त दावा सत्यापन से एक कमजोर-पर्यवेक्षण (weak-supervision) समस्या के रूप में फ्रेम करता है जहाँ तथ्यात्मक विषमता (factual contrast) और सूचना कवरेज को संयुक्त रूप से नियंत्रित किया जाना चाहिए।
कार्यप्रणाली ढांचा: यह एक कवरेज-नियंत्रित पेयर-माइनिंग फ्रेमवर्क पेश करता है जो मजबूत समग्र सत्यापन-अनुमानित समर्थन अंतर वाले उम्मीदवार जोड़ों का चयन करता है और विलोपन, पुनरावृत्ति और क्लेम-काउंट डिजनरेशन के लिए फ़िल्टर करता है।
अनुभवजन्य साक्ष्य (Empirical Evidence): यह प्रदर्शित करता है कि क्लिनिकल लॉन्ग-फॉर्म सारांशीकरण में, ये माइन की गई प्राथमिकताएं ऑटोमेटेड जजों, ब्लाइंडेड डोमेन-एक्सपर्ट असेसमेंट और लॉक्ड ज़ीरो-शॉट ट्रांसफर परिदृश्यों में स्टैंडर्ड SFT और जेनेरिक DPO की तुलना में तथ्यात्मकता में सुधार करती हैं।

परिणाम

प्रयोग MIMIC-III-Ext-VeriFact-BHC (होल्ड-आउट टेस्ट) और MIMIC-IV-Ext-BHC पर एक लॉक्ड ज़ीरो-शॉट ट्रांसफर पर आयोजित किए गए।

तथ्यात्मकता में सुधार:
- माइनिंग-एलाइन स्थानीय सत्यापनकर्ता के तहत, VERI-DPO ने Not Supported (NS) दर को 10.7% (Base) से घटाकर 1.9% कर दिया।
- एक अलग GPT-4o जज के तहत, NS दर 11.6% से गिरकर 6.4% हो गई।
- दोनों जजों के तहत समर्थित दावों की संख्या बढ़ी, और आउटपुट की लंबाई भी बढ़ी, जो विलोपन के बजाय बेहतर कवरेज का संकेत देती है।
मानवीय मूल्यांकन (Human Assessment):
- दो डोमेन शोधकर्ताओं द्वारा ब्लाइंडेड पेयरवाइज असेसमेंट में, तथ्यात्मक निष्ठा (factual faithfulness) के लिए VERI-DPO को बेस मॉडल की तुलना में 56 बार पसंद किया गया, जबकि बेस मॉडल को 18 बार (26 टाई/अन्य के साथ) चुना गया।
ज़ीरो-शॉट ट्रांसफर:
- लॉक्ड MIMIC-IV कोहॉर्ट (1,000 रोगी) पर, VERI-DPO ने बिना किसी मॉडल अनुकूलन के स्थानीय NS दर को 1.94% से घटाकर 0.93% और GPT-4o NS दर को 11.17% से घटाकर 10.22% कर दिया।
एब्लेशन स्टडीज (Ablation Studies):
- रैंडम-पेयर DPO (दिशा को यादृच्छिक रूप से असाइन करना) विफल रहा, जो पुष्टि करता है कि लाभ केवल जेनेरिक DPO के कारण नहीं हैं।
- बिना यूटिलिटी/मैचिंग कंट्रोल के (कवरेज बाधाओं को हटाना) उच्च पुनरावृत्ति और कम समर्थित सामग्री की ओर ले गया, जो सिद्ध करता है कि एंटी-डिजनरेशन नियंत्रण के बिना केवल सत्यापनकर्ता पृथक्करण पर्याप्त नहीं है।
- Best-of-8 रेंकिंग (इन्फरेंस-टाइम) प्रतिस्पर्धी परिणाम प्राप्त करती है लेकिन इसके लिए काफी अधिक कंप्यूट की आवश्यकता होती है; VERI-DPO ने सिंगल-सैंपल पॉलिसी के साथ समान लाभ प्राप्त किए।

महत्व और दावे

शोध पत्र का दावा है कि प्राथमिक योगदान एक नया DTO ऑब्जेक्टिव नहीं है, बल्कि अपूर्ण, साक्ष्य-लिंक्ड फीडबैक से विश्वसनीय प्राथमिकता डेटा का निर्माण करने का एक मजबूत तरीका है।

शोर सहिष्णुता (Noise Tolerance): अध्ययन प्रदर्शित करता है कि शोरयुक्त सत्यापनकर्ता लेबल प्रभावी पर्यवेक्षण संकेतों के रूप में कार्य कर सकते हैं जब उन्हें उच्च-विपरीत, कवरेज-मैच्ड सारांश जोड़ों में एकत्रित किया जाता है।
एंटी-डिजनरेशन (Anti-Degeneration): परिणाम बेहतर तथ्यात्मकता के लिए "शुद्ध विलोपन" (pure omission) स्पष्टीकरण के विरुद्ध तर्क देते हैं; मॉडल सत्यापन योग्य जानकारी को बनाए रखते हुए असमर्थित सामग्री को कम करके सुधार करता है।
सामान्यीकरण (Generalizability): एक अलग जज (GPT-4o), ब्लाइंडेड ह्यूमन असेसमेंट, और एक अलग डेटासेट वर्जन (MIMIC-IV) पर लॉक्ड ज़ीरो-शॉट ट्रांसफर के तहत सुधारों की निरंतरता यह सुझाव देती है कि विधि केवल एक विशिष्ट सत्यापनकर्ता या डेटासेट पर ओवरफिट नहीं है।

लेखक विनम्र रहते हुए कहते हैं कि प्राथमिक होल्ड-आउट सेट छोटा है (20 रोगी), मानव मूल्यांकनकर्ता अभ्यास करने वाले चिकित्सक के बजाय शोधकर्ता थे, और MIMIC-IV ट्रांसफर टेम्पोरल/डेटासेट-वर्जन आधारित है न कि क्रॉस-इंस्टीट्यूशनल। वे निष्कर्ष निकालते हैं कि BHC सारांशीकरण से परे सामान्यीकरण स्थापित करने के लिए विभिन्न कार्यों और संस्थानों में और अधिक साक्ष्य की आवश्यकता है।