💬 NLP

Small LLMs for Biomedical Claim Verification: Cost-Effective Fine-Tuning, Structural Dataset Shortcuts, and Cross-Domain Generalization

यह शोध पत्र यह प्रदर्शित करता है कि लागत प्रभावी ढंग से फाइन-ट्यून किए गए छोटे LLMs (विशेष रूप से QLoRA के माध्यम से Mistral-7B) न्यूनतम प्रशिक्षण डेटा का लाभ उठाकर बायोमेडिकल क्लेम वेरिफिकेशन में GPT-4o और GPT-5 जैसे बड़े मॉडलों से काफी बेहतर प्रदर्शन कर सकते हैं, जबकि साथ ही यह SciFact डेटासेट में एक संरचनात्मक आर्टिफैक्ट को भी उजागर करता है जो इन-डोमेन स्कोर को बढ़ा देता है और मजबूत क्रॉस-डोमेन सामान्यीकरण के लिए संरचनात्मक रूप से सुदृढ़ डेटा के महत्व को रेखांकित करता है।

मूल लेखक: Gaurav Kumar

प्रकाशित 2026-06-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Gaurav Kumar

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप मेडिकल फैक्ट-चेकर्स (चिकित्सा तथ्य-जांचकर्ताओं) की एक टीम बनाने की कोशिश कर रहे हैं। आपका लक्ष्य यह सत्यापित करना है कि स्वास्थ्य संबंधी दावे (जैसे "विटामिन सी जुकाम को ठीक करता है") सच हैं, झूठ हैं, या अभी उनके बारे में पर्याप्त प्रमाण नहीं हैं।

लंबे समय तक, इस काम के "सुपरस्टार" विशाल, महंगे AI मॉडल (जैसे GPT-4o और GPT-5) रहे हैं। वे ओलंपिक-स्तर के एथलीटों की तरह हैं: अविश्वसनीय रूप से बुद्धिमान, लेकिन उन्हें काम पर रखने में एक बड़ी रकम खर्च होती है, आप उन्हें अपने कार्यालय में नहीं रख सकते, और आपको इस बात पर भरोसा करना होगा कि वे रातों-रात अपने नियम नहीं बदल देंगे।

यह शोध पत्र पूछता है: क्या हम छोटे, सस्ते, स्थानीय एथलीटों की एक टीम बना सकते हैं जो उतना ही अच्छा काम कर सके?

यहाँ उस कहानी का विवरण दिया गया जो शोधकर्ताओं ने पाई, जिसे सरल उपमाओं (analogies) में विभाजित किया गया है।

1. "छोटा और शक्तिशाली" दल जीतता है

शोधकर्ताओं ने तीन छोटे AI मॉडलों को लिया (इन्हें ओलंपिक एथलीटों के बजाय अत्यधिक प्रशिक्षित स्थानीय पुलिस अधिकारियों के रूप में सोचें) और उन्हें QLoRA नामक एक त्वरित, विशेष प्रशिक्षण पाठ्यक्रम दिया। यह पाठ्यक्रम एक "स्पीड बूट कैंप" की तरह है जो मॉडलों को बिना किसी बड़े बजट या सुपरकंप्यूटर की आवश्यकता के काम करना सिखाता है।

परिणाम:
केवल 1,008 उदाहरणों (डेटा की एक बहुत छोटी मात्रा, जैसे एक छोटी किताब पढ़ना) पर प्रशिक्षण देने के बाद, इन छोटे मॉडलों ने वास्तव में महंगे ओलंपिक एथलीटों को पीछे छोड़ दिया।

प्रदर्शन: उन्होंने GPT-4o और GPT-5 की तुलना में उच्च सटीकता स्कोर प्राप्त किए।
लागत: उन्हें चलाना 44.5 गुना सस्ता है। यदि बड़े मॉडल 1,000 दावों की जांच करने में $1.30 खर्च करते हैं, तो इन छोटे मॉडलों की लागत केवल$ 0.03 है।
समझौता (Trade-off): यह एक भरोसेमंद, ईंधन-कुशल सेडान खरीदने जैसा है जो आपको निजी जेट किराए पर लेने की तुलना में तेज़ और सस्ता गंतव्य तक पहुँचाती है, भले ही जेट में अधिक कच्ची शक्ति हो।

2. परीक्षण में "जादुई ट्रिक" (स्ट्रक्चरल शॉर्टकट)

यहीं पर यह शोध पत्र वास्तव में दिलचस्प हो जाता है। शोधकर्ताओं ने पाया कि उनके द्वारा उपयोग किए गए एक डेटासेट (जिसे SciFact कहा जाता है) में एक छिपा हुआ "चीट कोड" या स्ट्रक्चरल शॉर्टकट था।

सेटअप: SciFact डेटासेट में, जब भी उत्तर "पर्याप्त जानकारी नहीं है" (NEI) होता, तो साक्ष्य (evidence) वाला भाग पूरी तरह से खाली होता था। यह एक ऐसे टेस्ट प्रश्न की तरह था जो कहता, "क्या आकाश हरा है?" और उसके बाद एक खाली स्थान छोड़ देता।
चीटिंग: स्मार्ट छोटे मॉडलों ने इस पैटर्न को तुरंत पहचान लिया। उन्होंने महसूस किया, "यदि साक्ष्य बॉक्स खाली है, तो उत्तर 'पर्याप्त जानकारी नहीं है' ही होगा!" उन्होंने वास्तव में चिकित्सा दावे को पढ़ा या उस पर तर्क नहीं दिया; उन्होंने बस खाली बॉक्सों को गिना।
परिणाम: इसने मॉडलों को Sci Fact टेस्ट पर जीनियस बना दिया, जिससे उन्होंने उस विशिष्ट श्रेणी में पूर्ण स्कोर प्राप्त किया। लेकिन यह एक चाल थी।

3. "वास्तविक दुनिया" का परीक्षण (क्रॉस-डोमेन जनरलाइजेशन)

यह देखने के लिए कि क्या मॉडल वास्तव में बुद्धिमान थे या केवल एक ट्रिक में माहिर थे, शोधकर्ताओं ने एक अलग डेटासेट का परीक्षण किया जिसे HealthVer कहा जाता है।

अंतर: HealthVer में, "पर्याप्त जानकारी नहीं है" वाले उत्तरों में भी साक्ष्य मौजूद थे, लेकिन वे साक्ष्य अनिर्णायक थे। यहाँ "खाली बॉक्स" वाला चीट कोड काम नहीं आया।
विफलता: SciFact की "ट्रिक" पर प्रशिक्षित मॉडल्स HealthVer पर परीक्षण के दौरान पूरी तरह से विफल रहे। वे इसलिए ढह गए क्योंकि उन्होंने तर्क करने के बजाय केवल शॉर्टकट सीखा था।
विपरीत सफलता: हालाँकि, जब उन्होंने मॉडलों को HealthVer (एक "ईमानदार" डेटासेट जहाँ वास्तविक तर्क की आवश्यकता थी) पर प्रशिक्षित किया और फिर उन्हें SciFact पर टेस्ट किया, तो उन्होंने अद्भुत प्रदर्शन किया। वे "खाली बॉक्स" की ट्रिक और वास्तविक तर्क, दोनों को संभालने में सक्षम थे।

सबक: "ईमानदार" डेटा (जहाँ आपको वास्तव में सोचना पड़ता है) पर प्रशिक्षण देने से एक ऐसा रोबोट बनता है जो किसी भी स्थिति को संभाल सकता है। "चालाकी भरे" डेटा (जहाँ आप चीटिंग कर सकते हैं) पर प्रशिक्षण देने से एक ऐसा रोबोट बनता है जो नियम बदलते ही टूट जाता है।

4. "दिशात्मक" समस्या (The Directional Problem)

शोधपत्र ने यह भी पाया कि जबकि ये मॉडल "हाँ" (समर्थित) या "नहीं" (पर्याप्त जानकारी नहीं) कहने में बहुत अच्छे हैं, वे "नहीं, वह इसके विपरीत है" (खंडन/Refuted) कहने में संघर्ष करते हैं।

उपमा: कल्पना कीजिए कि एक मॉडल जो आसानी से आपको बता सकता है कि कोई कथन सत्य है या हमें नहीं पता। लेकिन यदि कोई कहता है, "बिल्ली चटाई पर है" जबकि बिल्ली वास्तव में चटाई के नीचे है, तो मॉडल कभी-कभी उस विशिष्ट दिशा को पकड़ने में चूक जाता है। यह काम का सबसे कठिन हिस्सा है जिसे सिखाना पड़ता है, यहाँ तक कि सर्वश्रेष्ठ मॉडलों के लिए भी।

सारांश

छोटा ही सुंदर है: चिकित्सा दावों को सत्यापित करने के लिए आपको सबसे महंगे, विशाल AI की आवश्यकता नहीं है। एक छोटा, स्थानीय रूप से प्रशिक्षित मॉडल सस्ता और अक्सर अधिक सटीक होता है।
शॉर्टकट से सावधान रहें: यदि आपके प्रशिक्षण डेटा में छिपे हुए पैटर्न हैं (जैसे खाली बॉक्स का अर्थ "अज्ञात" होना), तो मॉडल चीटिंग करना सीख लेंगे। वे टेस्ट में बुद्धिमान दिखेंगे लेकिन वास्तविक दुनिया में विफल हो जाएंगे।
मात्रा से अधिक गुणवत्ता: "चालाकी भरे" डेटा की एक बड़ी मात्रा के बजाय "ईमानदार" डेटा की थोड़ी मात्रा पर प्रशिक्षण देना बेहतर है।

शोधकर्ताओं ने अपना कोड और प्रशिक्षित मॉडल जारी कर दिए हैं, जिससे यह सिद्ध होता है कि कोई भी भारी बजट की आवश्यकता के बिना एक लागत प्रभावी, उच्च गुणवत्ता वाला मेडिकल फैक्ट-चेकर बना सकता है।

तकनीकी सारांश: बायोमेडिकल क्लेम वेरिफिकेशन के लिए छोटे LLMs

समस्या विवरण

स्वचालित बायोमेडिकल क्लेम वेरिफिकेशन (biomedical claim verification), जो कि नेचुरल लैंग्वेज इंफरेंस (NLI) का एक रूप है, स्वास्थ्य संबंधी गलत सूचनाओं से निपटने के लिए अत्यंत महत्वपूर्ण है। जबकि GPT-4o जैसे लार्ज लैंग्वेज मॉडल्स (LLMs) मजबूत ज़ीरो-शॉट प्रदर्शन प्रदर्शित करते हैं, उनका परिनियोजन (deployment) रैखिक रूप से बढ़ते API खर्चों, क्लिनिकल वातावरण में गोपनीयता संबंधी बाधाओं और साइलेंट प्रोवाइडर अपडेट के कारण होने वाली पुनरुत्पादकता (reproducibility) की समस्याओं से बाधित है। इसके विपरीत, मौजूदा पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग (PEFT) पर आधारित अध्ययन छोटे LLMs की तुलना प्रोप्रायटरी मॉडल्स और एनकोडर-आधारित बेसलाइन्स के विरुद्ध व्यवस्थित रूप से नहीं करते हैं, विशेषकर उन स्थितियों में जहाँ इन-डोमेन प्रदर्शन और आउट-ऑफ-डोमेन (OOD) सामान्यीकरण (generalization) को संयुक्त रूप से परखा जाना हो।

कार्यप्रणाली (Methodology)

लेखक तीन छोटे, ओपन-वेट LLMs—Phi-3-mini (3.8B), Qwen2.5-3B, और Mistral-7B—को QLoRA (4-बिट क्वांटाइजेशन के साथ लो-रैंक अडैप्टेशन) का उपयोग करके फाइन-ट्यून करने की प्रभावकारिता की जांच करते हैं।

डेटासेट्स: अध्ययन में SciFact (1,409 विशेषज्ञ-लिखित दावे) और HealthVer (14,330 वास्तविक दुनिया के स्वास्थ्य संबंधी प्रश्न) का उपयोग किया गया है। डेटा की मात्रा से डेटा संरचना को अलग करने के लिए, लेखकों ने दोनों डेटासेट्स के लिए 1,008 उदाहरणों का एक मैच किया हुआ ट्रेनिंग सबसेट बनाया है।
बेसलाइन्स: फाइन-ट्यून किए गए मॉडल्स की तुलना निम्नलिखित से की जाती है:
- ज़ीरो-शॉट GPT-4o और GPT-5।
- फाइन-ट्यून किया गया BioLinkBERT (एक एनकोडर-आधारित मॉडल), जिसे मैच किए हुए सबसेट और पूर्ण HealthVer डेटासेट (10,590 उदाहरण) दोनों पर प्रशिक्षित किया गया है ताकि प्रदर्शन की ऊपरी सीमा (performance ceilings) स्थापित की जा सके।
मूल्यांकन प्रोटोकॉल: एक द्विदिश (bidirectional) मूल्यांकन रणनीति अपनाई गई है। SciFact पर प्रशिक्षित मॉडल्स का परीक्षण HealthVer पर किया जाता है, और इसके विपरीत। यह डिज़ाइन डेटा की मात्रा को नियंत्रित करते हुए क्रॉस-डोमेन सामान्यीकरण का परीक्षण करता है।
ट्रेनिंग कॉन्फ़िगरेशन: मॉडल्स को 8-बिट AdamW का उपयोग करके 3 इपोक (epochs) तक $2 \times 10^{-4}$ लर्निंग रेट, LoRA रैंक $r=16$ , और $\alpha=32$ के साथ फाइन-ट्यून किया गया था।

मुख्य निष्कर्ष और परिणाम

1. लागत-प्रभावी प्रदर्शन श्रेष्ठता

केवल 1,008 उदाहरणों पर QLoRA के माध्यम से छोटे LLMs को फाइन-ट्यून करने से बायोमेडिकल क्लेम वेरिफिकेशन कार्यों पर GPT-4o और GPT-5 दोनों से बेहतर प्रदर्शन प्राप्त होता है।

Mistral-7B ने SciFact पर 88.4% macro-F1 और HealthVer पर 65.2% हासिल किया।
यह GPT-4o (SciFact पर 85.6%, HealthVer पर 53.2%) और GPT-5 (SciFact पर 77.9%, HealthVer पर 42.4%) से बेहतर है।
लागत दक्षता: यह दृष्टिकोण GPT-4o की तुलना में अनुमानित (inference) लागत में 44.5 गुणा कमी प्रदान करता है ( $0.03 बनाम$ 1.30 प्रति 1,000 भविष्यवाणियां), जिसमें लगभग $0.35 की एकमुश्त फाइन-ट्यूनिंग लागत आती है।

2. SciFact में एक संरचनात्मक आर्टिफैक्ट (Structural Artifact) की खोज

लेखक SciFact डेटासेट में एक पहले से अनरिपोर्टेड संरचनात्मक शॉर्टकट की पहचान करते हैं: सभी 243 "Not Enough Information" (NEI) ट्रेनिंग उदाहरणों में एविडेंस फील्ड खाली है, जबकि SUPPORTS और REFUTES उदाहरणों में हमेशा एविडेंस मौजूद होता है।

फाइन-ट्यून किए गए मॉडल्स NEI क्लास के लिए एविडेंस की इस अनुपस्थिति का लाभ उठाते हैं और इन-डोमेन 100% F1 प्राप्त करते हैं।
यह आर्टिफैक्ट macro-F1 स्कोर को कृत्रिम रूप से बढ़ा देता है, जिससे NEI मामलों पर मॉडल्स की वास्तविक एपिस्टेमिक रीजनिंग (epistemic reasoning) करने की अक्षमता छिप जाती है।
ज़ीरो-शॉट GPT-4o, जो वास्तविक तर्क करने का प्रयास करता है, कम NEI स्कोर (82.3%) प्राप्त करता है क्योंकि वह इस संरचनात्मक संकेत पर निर्भर नहीं होता।

3. असममित क्रॉस-डोमेन सामान्यीकरण (Asymmetric Cross-Domain Generalization)

द्विदिश मूल्यांकन से डेटा की मात्रा के बजाय डेटा संरचना द्वारा संचालित सामान्यीकरण क्षमताओं में एक स्पष्ट विषमता का पता चलता है:

SciFact $\to$ HealthVer (पतन/Collapse): SciFact पर प्रशिक्षित मॉडल्स HealthVer पर भारी गिरावट (macro-F1 ~87% से गिरकर ~36-44% हो जाता है) का सामना करते हैं। क्योंकि HealthVer के NEI उदाहरणों में मौजूद लेकिन अनिर्णायक (inconclusive) साक्ष्य होते हैं, इसलिए "खाली एविडेंस" वाला शॉर्टकट विफल हो जाता है, और शॉर्टकट पर प्रशिक्षित मॉडल वास्तविक सामग्री के बारे में तर्क करने में सक्षम नहीं होते।
HealthVer $\to$ SciFact (मजबूत ट्रांसफर): संरचनात्मक रूप से सुदृढ़ HealthVer डेटा पर प्रशिक्षित मॉडल्स SciFact पर मजबूती से सामान्यीकरण करते हैं। केवल 1,008 HealthVer उदाहरणों पर प्रशिक्षित Mistral-7B, SciFact पर 69.3% macro-F1 प्राप्त करता है, जो 10 गुना अधिक डेटा पर प्रशिक्षित BioLinkBERT (60.8%) से भी बेहतर है।
निष्कर्ष: वास्तविक तर्क की आवश्यकता वाले डेटा (HealthVer) पर प्रशिक्षण से ट्रांसफर सक्षम होता है; संरचनात्मक प्रॉक्सी (Sciमान) वाले डेटा (SciFact) पर प्रशिक्षण से नहीं।

4. क्लास-विशिष्ट चुनौतियाँ

REFUTES: यह क्लास दोनों दिशाओं में सबसे कठिन बनी हुई है। दिशात्मक विरोधाभास का पता लगाने के लिए डोमेन-विशिष्ट तर्क की आवश्यकता होती है जो विभिन्न बायोमेडिकल क्लेम प्रकारों में अच्छी तरह से सामान्यीकृत नहीं होता है।
NEI: SciFact में "शॉर्टकट" इन-डोमेन में सटीक स्कोर की ओर ले जाता है लेकिन OOD प्रदर्शन में खराब प्रदर्शन करता है, जबकि HealthVer-प्रशिक्षित मॉडल अधिक स्थिर NEI रीजनिंग दिखाते हैं।

महत्व और दावे

यह शोध पत्र तर्क देता है कि छोटे LLMs का पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग, बायोमेडिकल क्लेम वेरिफिकेशन के लिए प्रोप्रायटरी APIs का एक व्यावहारिक और लागत-प्रभावी विकल्प है, बशर्ते कि प्रशिक्षण डेटा संरचनात्मक रूप से सुदृढ़ हो।

आर्किटेक्चर बनाम डेटा की मात्रा: अध्ययन दर्शाता है कि शुद्ध डेटा वॉल्यूम की तुलना में मॉडल आर्किटेक्चर और प्रशिक्षण डेटा की गुणवत्ता (संरचनात्मक अखंडता) क्रॉस-डोमेन ट्रांसफर के लिए अधिक महत्वपूर्ण है। एक छोटा मॉडल जो 1,008 उच्च-गुणवत्ता वाले उदाहरणों पर प्रशिक्षित है, वह क्रॉस-डोमेन सेटिंग्स में 10,000+ उदाहरणों पर प्रशिक्षित बड़े एनकोडर से बेहतर प्रदर्शन करता है।
बेंचमार्क ऑडिटिंग: SciFact NEI आर्टिफैक्ट की खोज स्पूरियस कोरिलेशन (spurious correlations) के आधार पर बढ़े हुए प्रदर्शन मेट्रिक्स को रोकने के लिए बायोमेडिकल NLI बेंचमार्क्स में संरचनात्मक ऑडिटिंग की आवश्यकता को रेखांकित करती है।
मानक अभ्यास: लेखक वास्तविक रीजनिंग क्षमताओं और डेटासेट-विशिष्ट शॉर्टकट लर्निंग के बीच अंतर करने के लिए द्विदिश आउट-ऑफ-डोमेन मूल्यांकन को एक मानक अभ्यास के रूप में अपनाने की वकालत करते हैं।

लेखक पुनरुत्पादकता और रोबस्ट बायोमेडिकल NLI में आगे के शोध को सुगम बनाने के लिए सभी कोड और एडॉप्टर चेकपॉइंट्स जारी करते हैं।