🤖 machine learning

Eliciting associations between clinical variables from LLMs via comparison questions across populations

यह शोध पत्र एक ऐसी विधि प्रस्तावित करता है जो बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) से स्थिर, नैदानिक रूप से व्याख्या योग्य सहसंबंधों को प्राप्त करने के लिए संरचित रोगी तुलना ट्रिपलेट प्रश्नों और सांख्यिकीय मॉडलिंग का उपयोग करती है, जिससे मॉडल के आंतरिक भाग तक पहुँच बनाए बिना विभिन्न रोगी उप-जनसंख्याओं में अपरिवर्तनीय कारण पूर्वानुमान के माध्यम से रूढ़िवादी संभावित कारण कड़ियों की पहचान करना सक्षम होता है।

मूल लेखक: Fabian Kabus, Kian Kordtomeikel, Thomas Brox, Heinz Wiendl, Daiana Stolz, Harald Binder

प्रकाशित 2026-05-08

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Fabian Kabus, Kian Kordtomeikel, Thomas Brox, Heinz Wiendl, Daiana Stolz, Harald Binder

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, अत्यंत बुद्धिमान लाइब्रेरियन है जिसने लगभग हर मेडिकल किताब, अध्ययन और शोध पत्र पढ़ा है। आप जानना चाहते हैं कि दो विशिष्ट स्वास्थ्य कारक आपस में कैसे जुड़े हैं—उदाहरण के लिए, "क्या अधिक सिगरेट पीने का मतलब आमतौर पर फेफड़ों का कमजोर होना है?"

यदि आप सीधे तौर पर लाइब्रेरियन से पूछते हैं, "धूम्रपान और कमजोर फेफड़ों के बीच संबंध कितना मजबूत है?" तो वे आपको एक संख्या दे सकते हैं। लेकिन एक समस्या है: लाइब्रेरियन अनुमान लगा सकता है, किसी एक विशिष्ट पुस्तक को याद कर रहा हो सकता है, या आपको खुश करने की कोशिश कर सकता है जैसा कि वह सोचता है कि आप सुनना चाहते हैं। वे गणित में भी खराब हो सकते हैं, ऐसी संख्या दे सकते हैं जो सुनने में सही लगे लेकिन वास्तव में वह नहीं है जो वे गहराई में "जानते" हैं।

यह शोध पत्र लाइब्रेरियन से सवाल पूछने का एक चतुर, अप्रत्यक्ष तरीका प्रस्तावित करता है ताकि यह पता लगाया जा सके कि वे इन संबंधों के बारे में वास्तव में क्या जानते हैं, बिना उनके आंतरिक नोट्स या मस्तिष्क को देखे।

"समानता का खेल" (ट्रिपलेट प्रश्न)

सीधे संख्या पूछने के बजाय, शोधकर्ता "कौन अधिक समान है?" का खेल खेलते हैं।

कल्पना कीजिए कि आप लाइब्रेरियन को तीन काल्पनिक मरीज दिखाते हैं:

मरीज A: दिन में 10 सिगरेट पीता है, फेफड़ों की कार्यक्षमता औसत है।
मरीज B: दिन में 10 सिगरेट पीता है, फेफड़ों की कार्यक्षमता बहुत खराब है।
मरीज C: दिन में 20 सिगरेट पीता है, फेफड़ों की कार्यक्षमता अज्ञात है।

आप पूछते हैं: "क्या मरीज C, मरीज A के अधिक समान है या मरीज B के?"

यदि लाइब्रेरियन कहता है "मरीज A," तो वह मरीज C के भारी धूम्रपान को नजरअंदाज कर रहा है।
यदि लाइब्रेरियन कहता है "मरीज B," तो वह समझ रहा है कि क्योंकि मरीज C बहुत अधिक धूम्रपान करता है, इसलिए उसके फेफड़े संभवतः खराब होंगे, ठीक मरीज B की तरह।

संख्याओं को थोड़ा बदलकर (जैसे, मरीज C को 15, फिर 25, फिर 30 सिगरेट पिलाकर) और यह देखते हुए कि लाइब्रेरियन का चुनाव A से B की ओर कैसे बदलता है, शोधकर्ता एक "निर्णय रेखा" (decision line) का मानचित्र बना सकते हैं। यह रेखा उन्हें बताती है कि लाइब्रेरियन धूम्रपान को फेफड़ों के स्वास्थ्य से कितनी मजबूती से जोड़ता है। यह बिल्कुल वैसा ही है जैसे यह परीक्षण करना कि संतुलन बनाने के लिए आपको तराजू पर कितना वजन रखना होगा।

"अलग पड़ोस" वाली तकनीक (प्रॉम्प्टेड एनवायरनमेंट्स)

शोधकर्ताओं ने महसूस किया कि संदर्भ के आधार पर लाइब्रेरियन की अलग-अलग "राय" हो सकती है। इसलिए, उन्होंने अपने प्रश्नों में अलग-अलग "पड़ोस" या परिदृश्य बनाए।

परिदृश्य 1: "कल्पना कीजिए कि धुएं वाले शहर में रहने वाले भारी धूम्रपान करने वाले मरीजों का एक समूह है।"
परिदृश्य 2: "कल्पना कीजिए कि उन मरीजों का एक समूह है जो धूम्रपान नहीं करते हैं लेकिन बहुत प्रदूषित क्षेत्र में रहते हैं।"
परिदृश्य 3: "कल्पना कीजिए कि उन मरीजों का एक समूह है जो धूम्रपान नहीं करते हैं और स्वच्छ, ग्रामीण हवा में रहते हैं।"

उन्होंने प्रत्येक परिदृश्य में समानता के खेल को पूछा। यदि लाइब्रेरियन की "निर्णय रेखा" (कि वे चरों को कैसे जोड़ते हैं) तीनों परिदृश्यों में समान रहती है, तो यह सुझाव देता है कि एक मजबूत, कारण संबंधी संबंध (causal link) है। यह कहने जैसा है कि, "आप कहीं भी जाएं, भारी धूम्रपान हमेशा खराब फेफड़ों की ओर ले जाता है।"

यदि पड़ोस के बीच रेखा बहुत अधिक बदल जाती है, तो यह सुझाव देता है कि संबंध कमजोर है या केवल एक संयोग (एक "स्पूरियस कोरिलेशन") है।

उन्हें क्या मिला

शोधकर्ताओं ने इसका परीक्षण दो वास्तविक चिकित्सा क्षेत्रों पर किया: COPD (एक फेफड़ों की बीमारी) और मल्टीपल स्क्लेरोसिस (एक तंत्रिका रोग)।

यह सीधे प्रश्नों से बेहतर काम करता है: जब उन्होंने लाइब्रेरियन से सीधे संख्याएँ पूछीं, तो उत्तर बिखरे हुए थे—अव्यवस्थित और असंगत। लेकिन जब उन्होंने "समानता का खेल" खेला, तो उत्तर सुचारू, स्थिर और चिकित्सकीय रूप से तर्कसंगसंगत थे।
COPD परिणाम: इस पद्धति ने मजबूत, तार्किक संबंध पाए। उदाहरण के लिए, इसने पुष्टि की कि धूम्रपान का इतिहास कम फेफड़ों के प्रसार (फेफड़े ऑक्सीजन का आदान-प्रदान कितनी अच्छी तरह करते हैं) से जुड़ा है, और वायु प्रदूषण कुल फेफड़ों की मात्रा से जुड़ा है।
MS परिणाम: संबंध कमजोर थे और उन्हें ढूंढना कठिन था, जिसे लेखकों ने नोट किया कि शायद इसलिए क्योंकि MS पर चिकित्सा साहित्य COPD की तुलना में अधिक बिखरा हुआ या जटिल है।
"वास्तविक" कारणों को खोजना: "अलग पड़ोस" वाली तकनीक का उपयोग करके, वे शोर (noise) को छान सके। उन्होंने कुछ बहुत ही सुरक्षित संबंधों की पहचान की जो वास्तविक कारणों (जैसे धूम्रपान से फेफड़ों को नुकसान पहुँचना) की तरह प्रतीत होते थे, न कि केवल यादृच्छिक जुड़ाव की तरह।

मुख्य निष्कर्ष

यह शोध पत्र नए चिकित्सा तथ्यों की खोज करने का दावा नहीं करता है। इसके बजाय, यह AI मॉडल से सवाल पूछने का एक नया उपकरण (tool) दिखाता है।

इसे ऐसे समझें: यदि आप यह जानना चाहते हैं कि कोई व्यक्ति वास्तव में क्या मानता है, तो केवल उनसे "आप क्या सोचते हैं?" न पूछें (वे झूठ बोल सकते हैं या अनुमान लगा सकते हैं)। इसके बजाय, उन्हें विभिन्न स्थितियों में विकल्पों के बीच चुनाव करने के लिए कहें। यह देखकर कि वे कैसे चुनते हैं, आप उनके वास्तविक अंतर्निहित विश्वासों को समझ सकते हैं।

लेखकों ने दिखाया कि इस "विकल्प-आधारित" पद्धति का उपयोग करके, हम AI मॉडल से सार्थक चिकित्सा पैटर्न को सुरक्षित रूप से निकाल सकते हैं, बिना यह देखे कि AI का मस्तिष्क अंदर से कैसे काम करता है, और बिना AI द्वारा हमें खुश करने की कोशिश से धोखा खाए।

तकनीकी सारांश: तुलनात्मक प्रश्नों के माध्यम से LLMs से नैदानिक चरों (Clinical Variables) के बीच संबंधों को प्राप्त करना

समस्या विवरण
लार्ज लैंग्वेज मॉडल्स (LLMs) को विविध रोगी आबादी वाले विशाल बायोमेडिकल साहित्य पर प्रशिक्षित किया जाता है, जो संभावित रूप से नैदानिक चरों के बीच जटिल सहसंबंध (correlation) और कारण संरचनाओं (causal structures) को संहिताबद्ध (encode) कर सकते हैं। हालाँकि, विशिष्ट सांख्यिकीय संबंधों के लिए सीधे LLMs से पूछताछ करना (जैसे, "जनसंख्या Z में X और Y के बीच क्या सहसंबंध है?") कई समस्याओं से भरा है। प्रत्यक्ष निष्कर्षण (direct elicitation) अक्सर एकत्रित ज्ञान के बजाय विशिष्ट स्मरण (recall) पर आधारित उत्तर देता है, चापलूसी (sycophancy - उपयोगकर्ता के विश्वासों के अनुसार खुद को ढालना) से ग्रस्त होता है, प्रॉम्प्ट के क्रम के प्रति संवेदनशील होता है, और भ्रामक या उत्तर-तथ्य तर्कसंगत (post-hoc rationalized) आउटपुट उत्पन्न कर सकता है। इसके अलावा, LLMs को आत्म-चिंतन करने वाले एजेंटों के रूप में नहीं माना जा सकता; उन्हें एक प्रयोगात्मक विषय (experimental subject) के रूप में माना जाना चाहिए जिनके आंतरिक प्रतिनिधित्व को उनके व्यवहार के माध्यम से अनुमानित किया जाता है। चुनौती यह है कि आंतरिक सक्रियण (activations) या भार (weights) तक पहुँच के बिना, और जनसंख्या-विशिष्ट विविधताओं को ध्यान में रखते हुए, LLMs से सार्थक जुड़ाव संरचनाओं और संभावित कारण कड़ियों को कैसे प्राप्त किया जाए।

कार्यप्रणाली
लेखक एक ऐसा ढांचा प्रस्तावित करते हैं जो LLM को एक प्रयोगात्मक विषय के रूप में मानता है, जिसमें निहित सहसंबंधों को अनुमानित करने के लिए संरचित तुलनात्मक प्रश्नों का उपयोग किया जाता है और मजबूत कारणत्मक उम्मीदवारों की पहचान करने के लिए इनवेरिएंट कॉज़ल प्रेडिक्शन (Invariant Causal Prediction - ICP) लागू किया जाता है।

ट्रिपलेट तुलना प्रश्न (Triplet Comparison Questions):
संख्यात्मक सहसंबंध पूछने के बजाय, विधि तीन कृत्रिम रोगियों (1, 2, और 3) वाले ट्रिपलेट प्रश्नों के माध्यम से पूछताछ करती है।

सेटअप: चरों के एक जोड़े $X_j$ और $X_k$ के लिए, तीनों रोगियों के लिए $X_j$ के मान निर्दिष्ट किए जाते हैं। $X_k$ का मान केवल रोगी 3 के लिए निर्दिष्ट किया जाता है।
कार्य: LLM से पूछा जाता है कि क्या रोगी 3, रोगी 1 या रोगी 2 के अधिक समान है, $X_k$ के मान को ध्यान में रखते हुए।
तंत्र: संदर्भ रोगियों को स्थिर रखते हुए रोगी 3 के लिए $X_k$ के मानों को व्यवस्थित रूप से बदलकर, विधि यह देखती है कि समानता के निर्णय का "संतुलन" कैसे बदलता है। यदि $X_j$ और $X_k$ LLM के प्रतिनिधित्व में दृढ़ता से सहसंबंधित हैं, तो $X_k$ का मान निर्णय को महत्वपूर्ण रूप से प्रभावित करेगा।

सरोगेट निर्णय मॉडल (Surrogate Decision Model):
बाइनरी प्रतिक्रियाओं (रोगी 1 बनाम रोगी 2) को एक सांख्यिकीय सरोगेट का उपयोग करके मॉडल किया जाता है। लेखक एक "तर्कसंगत" LLM प्रतिनिधित्व मानते हैं जहाँ मॉडल शोर वाले मापों और अप्रत्यक्ष संकेतों के आधार पर एक रोगी की वास्तविक स्थिति का अनुमान लगाने के लिए 'इनवर्स-वेरिएंस एस्टीमेशन' करता है।

रोगी 2 को चुनने की संभावना को रोगी 3 के अनुमानित राज्य और एक संदर्भ मध्य बिंदु के बीच के अंतर के लॉजिस्टिक फंक्शन के रूप में मॉडल किया जाता है।
फिट किए गए लॉजिस्टिक गुणांक ( $\beta$ ) अंतर्निहित जनसंख्या सहसंबंध ( $\rho$ ) से गणितीय रूप से संबंधित हैं।
सममित अनुमानक (Symmetric Estimator): चर के स्केलिंग और सापेक्ष क्यू वेटिंग से संबंधित बाधाओं को समाप्त करने के लिए, विधि दूसरे सेट के प्रश्नों में $X_j$ और $X_k$ की भूमिकाओं को उलट देती है। सहसंबंध को दो दिशात्मक प्रश्नों के ढलान अनुपातों (slope ratios) के गुणनफल से प्राप्त किया जाता है, जिससे एक सममित अनुमान $\hat{\rho}$ प्राप्त होता है।

प्रॉम्प्टेड एनवायरनमेंट शिफ्ट और ICP:
सहसंबंध से कारण संबंधी निष्कर्ष (causal inference) की ओर बढ़ने के लिए, विधि इनवेरिएंट कॉज़ल प्रेडिक्शन (ICP) का उपयोग करती है।

सिंथेटिक वातावरण: लेखक प्रॉम्प्ट टेक्स्ट को बदलकर विभिन्न "वातावरण" बनाते हैं जो अलग-अलग उप-जनसंख्याओं (जैसे, धूम्रपान के इतिहास या वायु प्रदूषण जोखिम जैसे विशिष्ट चरों के लिए अलग-अलग माध्य मान) को निर्दिष्ट करते हैं।
ICP अनुप्रयोग: प्रत्येक प्रॉम्प्टेड वातावरण के लिए सहसंबंध मैट्रिक्स का अनुमान लगाया जाता है। ICP लक्षित चर पर उम्मीदवार भविष्यवक्ताओं के उपसमुच्चयों (subsets) के परीक्षण करता है कि क्या उनके रिग्रेशन ढलान विभिन्न वातावरणों में अपरिवर्तित रहते हैं। स्पूरियस (spurious) सहसंबंध वितरण परिवर्तन के तहत टूट जाते हैं, जबकि वास्तविक कारण संबंध स्थिर रहते हैं।
रूढ़िवादी फ़िल्टरिंग (Conservative Filtering): एक चर को केवल तभी एक संभावित 'पैरेंट' के रूप में रखा जाता है जब उसे किसी भी इनवेरिएंट सेट से बाहर न किया जा सके, जो एक रूढ़िवादी चयन सुनिश्चित करता है।

प्रमुख योगदान

ट्रिपलेट-आधारित निष्कर्षण: LLM के आंतरिक डेटा (एक्टिवेशंस या वेट्स) तक पहुँच की आवश्यकता के बिना, तुलनात्मक निर्णयों से युग्मवार सहसंबंधों को प्राप्त करने के लिए एक नवीन ढांचा।
कारण मूल्यांकन के लिए प्रॉम्प्टेड वातावरण: उप-जनसंख्याओं के प्रॉम्प्ट विवरणों को हेरफेर करके वातावरण-विशिष्ट सहसंबंधों का अनुमान लगाने की एक विधि, जो LLM-व्युत्पन्न डेटा पर ICP के अनुप्रयोग को सक्षम बनाती है।
नैदानिक प्रदर्शन: दो विशिष्ट नैदानिक डोमेन में सत्यापन: क्रोनिक ऑब्सट्रक्टिव पल्मोनरी डिजीज (COPD) और मल्टीपल स्केलेरोसिस (MS)।

परिणाम
विधि का मूल्यांकन COPD (फेफड़ों के कार्य मार्कर) और MS (बायोमार्कर्स और क्लिनिकल स्केल) के लिए gpt-oss-120b और gpt-oss-20b मॉडल्स का उपयोग करके किया गया।

मॉडल फिट और स्थिरता: सरोगेट निर्णय मॉडल बाइनरी ट्रिपलेट प्रतिक्रियाओं को अच्छी तरह से फिट करता है। निर्णय सतहें (decision surfaces) सुचारू और मोनोटोन थीं, और निर्णय सीमाएँ अपेक्षित सहसंबंध संकेतों (जैसे, धनात्मक रूप से सहसंबंधित जोड़ों के लिए ऋणात्मक ढलान) के अनुरूप थीं।
नैदानिक तर्कसंगतता (Clinical Plausibility):
- COPD: निकाले गए सहसंबंधों ने एक मजबूत, सुसंगत संरचना दिखाई। स्पाइरोमेट्री चर (FEV1, FEV1/FVC) एक सघन ब्लॉक बनाते हैं, और ज्ञात शारीरिक संबंध (जैसे, FEV1/FVC और एयर ट्रैपिंग मेट्रिक्स के बीच नकारात्मक जुड़ाव) को पुनः प्राप्त किया गया।
- MS: सहसंबंध आमतौर पर COPD की तुलना में कमजोर थे, जो संभवतः प्रशिक्षण डेटा में विरल या विषम साहित्य के कारण है। हालाँकि, स्थापित जोड़े (जैसे, T25FW और T2-LV) प्राप्त किए गए।
प्रत्यक्ष प्रश्नों के साथ तुलना: ट्रिपलेट-आधारित अनुमान प्रत्यक्ष संख्यात्मक प्रश्नों की तुलना में काफी कम शोर वाले और अधिक स्थिर थे। प्रत्यक्ष प्रश्नों ने बिखरे हुए वितरण (मानक विचलन 0.1–0.3) उत्पन्न किए और वे वातावरण परिवर्तनों के प्रति कम संवेदनशील थे, जबकि ट्रिपलेट अनुमान ICP के लिए एक पूर्व शर्त के रूप में विभिन्न वातावरणों में उपयुक्त रूप से भिन्न हुए।
कारण अनुमान (ICP):
- COPD: ICP ने कुछ छोटे रूढ़िवादी 'कैंडिडेट पेरेंट्स' की पहचान की: पैक-वर्ष $\to$ DLCO, PM2.5 $\to$ TLC, और BMI $\to$ R5-R20। ये स्थापित नैदानिक ज्ञान के अनुरूप हैं (जैसे, धूमिंग से डिफ्यूजन क्षमता कम होना)।
- MS: ICP ने T1-ब्लैक-होल-वॉल्यूम को EDSS का और sGFAP को 9HPT का पैरेंट के रूप में पहचाना, जो घाव भार (lesion burden) और विकलांगता पर मेटा-एनालिटिक साक्ष्य के अनुरूप है।
मजबूती (Robustness): अनुमान विभिन्न संदर्भ मान विकल्पों के बीच स्थिर थे और मॉडल के आकार (120b बनाम 20b) के बीच सुसंगत सापेक्ष संरचना दिखाते थे, हालांकि छोटे मॉडल ने थोड़ा कम पूर्ण सहसंबंध परिमाण दिया।

महत्व और दावे
यह शोध दावा करता है कि ट्रिपलेट तुलनाओं के माध्यम से अप्रत्यक्ष निष्कर्षण, मॉडल के उत्तर देने के पैटर्न के अनुरूप, अप्रत्यक्ष सहसंबंधों से कारण संबंधी कथनों तक जाने का एक "सतर्क मार्ग" प्रदान करता है। इसका महत्व इस प्रकार है:

प्रत्यक्ष प्रश्न सीमाओं को पार करना: यह प्रत्यक्ष संख्यात्मक प्रश्नों से जुड़ी भ्रांति (hallucination) और चापलूसी (sycophancy) से बचता है और सापेक्ष समानता निर्णयों पर भरोसा करता है।
व्यवहार संबंधी जांच (Behavioral Probing): यह LLMs को एक प्रयोगात्मक विषय के रूप में मानता है, जो यह अनुमान लगाता है कि वे नैदानिक संबंधों के आंतरिक प्रतिनिधित्व को कैसे देखते हैं, बजाय इसके कि यह माना जाए कि वे सत्य की स्व-रिपोर्ट कर सकते हैं।
डेटा के बिना कारण खोज: यह प्रदर्शित करता है कि केवल प्रॉम्प्ट-इंजीनियर्ड "सिंथेटिक" वातावरणों का उपयोग करके इनवेरिएंट कॉज़ल प्रेडिक्शन करने का एक मार्ग है, जो उन कई व्यक्तिगत-स्तरीय नैदानिक डेटासेट्स की आवश्यकता को समाप्त करता है जिन्हें प्राप्त करना कठिन होता है।

लेखक विनम्र रहते हुए यह नोट करते हैं कि यह विधि मॉडल-निहित जुड़ाव को पुनः प्राप्त करती है, न कि अनुभवजन्य नैदानिक सत्य को। फिट किए गए ढलानों से सहसंबंधों तक का अनुवाद विशिष्ट संबंधपरक मान्यताओं पर निर्भर करता है, और यह अध्ययन दो डोमेन और विशिष्ट मॉडल्स तक सीमित है। फिर भी, यह ढांचा LLMs के भीतर प्रतिनिधित्व की गई जुड़ाव संरचना की जांच करने के लिए एक व्यवहार्य अन्वेषणात्मक उपकरण प्रदान करता है।

"समानता का खेल" (ट्रिपलेट प्रश्न)

"अलग पड़ोस" वाली तकनीक (प्रॉम्प्टेड एनवायरनमेंट्स)

उन्हें क्या मिला

मुख्य निष्कर्ष

इसी तरह के और पेपर