💬 NLP

Dynamic Decision Learning: Test-Time Evolution for Abnormality Grounding in Rare Diseases

यह शोध पत्र डायनेमिक डिसीजन लर्निंग (DDL) को प्रस्तुत करता है, जो एक ऐसा ढांचा है जो फ्रोजन लार्ज विजन-लैंग्वेज मॉडल्स को भाषा और दृश्य स्थानों में निर्णयों को पुनरावृत्ति से परिष्कृत करके दुर्लभ रोगों में असामान्यताओं को मजबूती से ग्राउंड करने के लिए उन्नत करता है, जिससे बिना किसी सुपरवाइज्ड फाइन-ट्यूनिंग की आवश्यकता के लोकलाइजेशन सटीकता और कॉन्फिडेंस कैलिब्रेशन में महत्वपूर्ण सुधार होता है।

मूल लेखक: Jun Li, Mingxuan Liu, Jiazhen Pan, Che Liu, Wenjia Bai, Cosmin I. Bercea, Julia A. Schnabel

प्रकाशित 2026-04-29

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jun Li, Mingxuan Liu, Jiazhen Pan, Che Liu, Wenjia Bai, Cosmin I. Bercea, Julia A. Schnabel

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "डायनेमिक डिसीजन लर्निंग" (Dynamic Decision Learning) पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

समस्या: "एक नज़र" देखने वाला डॉक्टर

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, विद्वान मेडिकल छात्र (एक लार्ज विजन-लैंग्वेज मॉडल या LVLM) है जिसने लाखों टेक्स्टबुक्स पढ़ी हैं। वे टूटी हुई हड्डी या एक सामान्य ट्यूमर जैसी आम चीजों को पहचानने में बहुत माहिर हैं।

हालाँकि, जब आप उन्हें कोई दुर्लभ, अजीब बीमारी दिखाते हैं जिसे उन्होंने पहले कभी नहीं देखा, तो वे घबरा जाते हैं। यदि आप उनसे वही सवाल थोड़े अलग शब्दों में पूछते हैं, या यदि आप एक्स-रे इमेज को थोड़ा सा भी झुका देते हैं, तो उनका जवाब पूरी तरह बदल जाता है। कभी-कभी वे सही जगह की ओर इशारा करते हैं, लेकिन अन्य बार वे किसी ऐसी चीज़ की ओर इशारा करते हैं जो वहाँ है ही नहीं, या वे ऐसी बीमारी बना लेते हैं जो वास्तव में मौजूद नहीं है (इसे "हैलुसिनेशन" या भ्रम कहते हैं)।

पेपर का तर्क है कि दुर्लभ बीमारियों के लिए इस AI की एक एकल, त्वरित नज़र पर भरोसा करना खतरनाक है। यह एक पर्यटक की तरह है जो केवल एक मानचित्र के सहारे उस शहर में रास्ता खोजने की कोशिश कर रहा है जहाँ उसने पहले कभी यात्रा नहीं की है; यदि मानचित्र थोड़ा धुंधला है या सड़क के संकेत भ्रमित करने वाले हैं, तो वह खो जाएगा।

समाधान: डायनेमिक डिसीजन लर्निंग (DDL)

लेखक इन AI मॉडलों का उपयोग करने का एक नया तरीका प्रस्तावित करते हैं, जिसमें उन्हें फिर से प्रशिक्षित (retraining) करने की आवश्यकता नहीं है (दुर्लभ बीमारियों के लिए यह असंभव है क्योंकि उनके पास पर्याप्त डेटा नहीं होता है)। AI के मस्तिष्क को बदलने के बजाय, वे परीक्षण के दौरान AI के सोचने के तरीके को बदलते हैं।

वे इसे डायनेमिक डिसीजन लर्निंग (DDL) कहते हैं। इसे एक "वन-शॉट" परीक्षा को "टीम हडल" (टीम की चर्चा) में बदलने के रूप में समझें।

1. लैंग्वेज कोच (DAPE)

सबसे पहले, सिस्टम AI के निर्देशों के लिए एक कोच की तरह कार्य करता है।

उपमा: कल्पना कीजिए कि आप एक बहुत ही शाब्दिक (literal) रोबोट को जंगल में एक विशिष्ट प्रकार का मशरूम खोजने के लिए कह रहे हैं। यदि आप कहते हैं "मशरूम ढूँढो," तो शायद वह उसे मिस कर दे। यदि आप कहते हैं "बाएँ हाथ की ओर स्थित भूरे, गोल आकार की चीज़ को ढूँढो," तो वह उसे ढूँढ लेगा।
यह कैसे काम करता है: सिस्टम सवाल पूछने के दर्जनों अलग-अलग तरीकों (प्रॉम्प्ट्स) को आजमाता है। यह एक छोटे अभ्यास सेट पर उनका परीक्षण करता है, देखता है कि कौन से सबसे अच्छा काम करते हैं, और फिर एक "मेटा-कोच" (एक अन्य AI) का उपयोग करके जीतने वाले प्रश्नों के सबसे अच्छे हिस्सों को मिलाकर एक आदर्श निर्देश बनाता है। यह मुख्य भोजन पकाने से पहले एक रेसिपी को तब तक सुधारने जैसा है जब तक कि वह एकदम सटीक न हो जाए।

2. विजुअल हडल (V-PUP और RHC)

एक बार जब AI के पास सही सवाल आ जाता है, तो वह इमेज को केवल एक बार नहीं देखता। वह इसे कई बार, अलग-अलग तरीकों से देखता है।

उपमा: कल्पना कीजिए कि एक जासूस अपराध स्थल की फोटो देख रहा है। यदि वे इसे केवल एक बार देखते हैं, तो वे एक सुराग मिस कर सकते हैं। लेकिन यदि वे फोटो को घुमाते हैं, ज़ूम करते हैं, पलटते हैं और फिर से देखते हैं, तो असली सुराग उसी स्थान पर रहते हैं, जबकि "भूत" (भ्रम या गलतियाँ) गायब हो जाते हैं।
यह कैसे काम करता है:
- पर्टर्बेशन (Perturbation): सिस्टम मेडिकल इमेज को लेता है और उसके 7 थोड़े अलग संस्करण बनाता है (घुमावदार, पलटा हुआ, ज़ूम किया हुआ)।
- कंसेंसस (Consensus): यह AI से उन सभी 7 संस्करणों में असामान्यता (abnormality) खोजने के लिए कहता है।
- फ़िल्टर (The Filter): यदि AI सातों संस्करणों में एक ही स्थान की ओर इशारा करता है, तो वह स्थान वास्तविक होने की संभावना है। यदि वह केवल एक संस्करण में किसी स्थान की ओर इशारा करता है, तो वह संभवतः एक गलती (हैलुसिनेशन) थी। सिस्टम फिर इन सभी अलग-अलग दृश्यों को संरेखित करने और अंतिम स्थान पर सहमति बनाने के लिए एक गणितीय "मैचमेकर" (हंगेरियन एल्गोरिदम) का उपयोग करता है।

परिणाम: एक "कॉन्फिडेंस स्कोर" (विश्वास स्कोर)

इस सिस्टम की सबसे अच्छी बात यह है कि यह आपको केवल एक उत्तर नहीं देता; यह आपको एक विश्वसनीयता स्कोर भी देता है।

उपमा: यह एक मौसम पूर्वानुमान की तरह है। एक मानक AI कह सकता है, "कल बारिश होगी।" यह नया सिस्टम कहता है, "कल बारिश होगी, और मुझे इस बात पर 95% यकीन है क्योंकि मैंने हर कोण से बादलों की जाँच की है और वे सभी एक ही बात कह रहे हैं।"
यदि AI अनिश्चित है (दृश्य आपस में सहमत नहीं हैं), तो स्कोर कम होता है, और डॉक्टर को पता चल जाता है कि उसे दोबारा जाँच करनी चाहिए। यदि दृश्य सहमत हैं, तो स्कोर अधिक होता है।

इस पेपर ने क्या पाया

शोधकर्ताओं ने मस्तिष्क के स्कैन पर इसका परीक्षण किया जिसमें सामान्य ट्यूमर और 281 विभिन्न प्रकार की दुर्लभ बीमारियाँ शामिल थीं।

दुर्लभ बीमारियाँ: दुर्लभ बीमारियों के लिए, इस पद्धति ने AI की समस्या के सटीक स्थान का पता लगाने की क्षमता में 105% तक सुधार किया।
ट्रेनिंग से बेहतर: आश्चर्यजनक रूप से, यह "ज़्यादा गहराई से सोचने" वाला तरीका वास्तव में AI को नए डेटा के साथ फिर से प्रशिक्षित करने से बेहतर काम कर गया (जो कि आमतौर पर मानक समाधान होता है)। यह बहुत बड़ी बात है क्योंकि यदि आपके पास दुर्लभ बीमारियों की पर्याप्त तस्वीरें नहीं हैं, तो आप AI को फिर से प्रशिक्षित नहीं कर सकते।
मॉडल का आकार: AI मॉडल जितना बड़ा होता, यह सिस्टम उतना ही बेहतर काम करता। सबसे बड़े मॉडल्स इस बात को समझने में बहुत सक्षम हो गए कि वे कब आत्मविश्वासी हैं और कब वे केवल अनुमान लगा रहे हैं।

सारांश

संक्षेप में, यह पेपर कहता है: AI से केवल एक बार मत पूछिए। इसके बजाय, इसे खुद से बेहतर सवाल पूछना सिखाएं, इमेज को हर संभव कोण से देखें, और केवल तभी उत्तर पर भरोसा करें जब वे सभी अलग-अलग दृश्य सहमत हों। यह एक नाजुक, अनुमान लगाने वाले AI को दुर्लभ बीमारियों को खोजने के लिए एक स्थिर, विश्वसनीय सहायक में बदल देता है।

यहाँ शोध पत्र "Dynamic Decision Learning: Test-Time Evolution for Abnormality Grounding in Rare Diseases" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र लार्ज विजन-लैंग्वेज मॉडल्स (LVLMs) का उपयोग करके क्लिनिकल एब्नॉर्मलिटी ग्राउंडिंग (प्राकृतिक भाषा निर्देशों के आधार पर मेडिकल इमेजेस में पैथोलॉजिकल क्षेत्रों को स्थानीयकृत करना) की महत्वपूर्ण चुनौती को संबोधित करता है।

डेटा की कमी और लॉन्ग-टेल डिस्ट्रीब्यूशन (Data Scarcity & Long-Tail Distribution): दुर्लभ रोगों (rare diseases) के लिए सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) हेतु पर्याप्त एनोटेटेड डेटा का अभाव होता है। मौजूदा मॉडल उन "लॉन्ग-टेल" पैथोलॉजीज़ के साथ संघर्ष करते हैं जहाँ डेटा बहुत कम या शून्य होता है।
फ्रोजन LVLMs की अस्थिरता (Instability of Frozen LVLMs): स्टेट-ऑफ-द-आर्ट फ्रोजन LVLMs भी प्रॉम्प्ट्स (भाषाई) और विजुअल इनपुट (परिवर्तन/perturbations) में मामूली बदलावों के प्रति अत्यधिक संवेदनशील होते हैं। सिंगल-पास इन्फरेंस अक्सर हैलुसिनेशन (गलत पॉजिटिव परिणाम) या अस्थिर लोकलाइजेशन की ओर ले जाता है, जिससे वास्तविक नैदानिक संकेतों और शोर (noise) के बीच अंतर करने में विफलता होती है।
वर्तमान अनुकूलन की सीमाएँ (Limitations of Current Adaptation): पारंपरिक डोमेन एडेप्टेशन (जैसे SFT, LoRA) के लिए प्रत्येक विशिष्ट बीमारी और परिनियोजन वातावरण के लिए क्यूरेटेड लेबल की आवश्यकता होती है, जो दुर्लभ रोगों के लिए अव्यवहारिक है। इसके अलावा, मॉडल वेट्स को अपडेट करने वाले मानक टेस्ट-टाइम एडेप्टेशन (TTA) तरीके बड़े LVLMs के लिए कम्प्यूटेशनल रूप से महंगे और अस्थिर होते हैं।

2. कार्यप्रणाली: डायनेमिक डिसीजन लर्निंग (Methodology: Dynamic Decision Learning - DDL)

लेखक डायनेमिक डिसीजन लर्निंग (DDL) का प्रस्ताव करते हैं, जो एक पैरामीटर-फ्री, टेस्ट-टाइम फ्रेमवर्क है। यह फ्रोजन LVLMs को एक एडेप्टिव इन्फरेंस रणनीति के माध्यम से अपने निर्णयों को परिष्कृत करने में सक्षम बनाता है। वेट्स को अपडेट करने के बजाय, DDL सेमेंटिक और विजुअल स्पेस की खोज करके इन्फरेंस की प्रक्रिया को ऑप्टिमाइज़ करता है।

यह फ्रेमवर्क दो प्राथमिक घटकों से बना है जो समानांतर में कार्य करते हैं:

A. लैंग्वेज स्पेस: डिस्ट्रीब्यूशन-अवेयर प्रॉम्प्ट इवोल्यूशन (DAPE)

लक्ष्य: बिना LVLM को प्रशिक्षित किए, ग्राउंडिंग एरर को न्यूनतम करने के लिए इष्टतम निर्देश प्रॉम्प्ट ( $p^*$ ) खोजना।
तंत्र (Mechanism):
1. सीडिंग और विभाजन (Seeding & Partitioning): प्रॉम्प्ट्स का एक प्रारंभिक पूल बनाया जाता है। इनका मूल्यांकन एक छोटे डेवलपमेंट सेट ( $D_{dev}$ ) पर किया जाता है और इन्हें "सक्सेस टेल" (उच्च प्रदर्शन वाले प्रॉम्प्ट्स) और "फेलियर बल्क" (कम प्रदर्शन वाले प्रॉम्प्ट्स) में विभाजित किया जाता है।
2. कॉन्ट्रास्टिव रिफाइनमेंट (Contrastive Refinement): एक मेटा-ऑप्टिमाइज़र LLM ( $\Psi$ ) सक्सेस और फेलियर सेट्स के बीच सेमेंटिक गैप का विश्लेषण करता है। यह सफल भाषाई पैटर्न को बढ़ाने और विफलता-प्रेरित पैटर्न को दबाकर नए कैंडिडेट प्रॉम्प्ट्स को पुन: संश्लेषित (synthesize) करता है।
3. अभिसरण (Convergence): यह प्रक्रिया तब तक जारी रहती है जब तक कि प्रॉम्प्ट पूल का प्रदर्शन वितरण अभिसरित (converge) नहीं हो जाता, जिससे एक अनुकूलित प्रॉम्प्ट $p^*$ प्राप्त होता है जो विशिष्ट कार्य वितरण के लिए उपयुक्त हो।

B. विजुअल स्पेस: विजुअल-कंसेंसस वेरिफिकेशन (V-PUP & RHC)

लक्ष्य: विजुअल परटर्बेशन्स के तहत स्थिरता का परीक्षण करके डिटेक्शन की विश्वसनीयता को मापना।
तंत्र (Mechanism):
1. विजुअल-परसेप्शन अनसर्टेन्टी प्रोबिंग (V-PUP): इनपुट इमेज को $M$ स्टोकेस्टिक, स्पैटियल-प्रिजर्विंग ट्रांसफॉर्मेशन (जैसे हल्का रोटेशन, स्केलिंग, फ्लिपिंग) के साथ ऑगमेंट किया जाता है। LVLM इन दृश्यों को अनुकूलित प्रॉम्प्ट $p^*$ का उपयोग करके प्रोसेस करता है।
2. रेफरेन्स्ड हंगेरियन कंसोलिडेशन (RHC):
  - ऑगमेंटेड व्यूज के प्रेडिक्शंस को इनवर्स ट्रांसफॉर्मेशन का उपयोग करके मूल कोऑर्डिनेट स्पेस में मैप किया जाता है।
  - मूल (अनपरटर्बड) इमेज के प्रेडिक्शन का उपयोग करके एक रेफरेंस एंकर स्थापित किया जाता है।
  - एक बाइपार्टाइट मैचिंग समस्या (जिसे हंगेरियन एल्गोरिदम के माध्यम से हल किया जाता है) ऑगमेंटेड प्रेडिक्शंस को एंकर के साथ संरेखित करती है। यह उन अनकोरिलेटेड शोर और हैलुसिनेशन्स को फ़िल्टर करता है जो विभिन्न व्यूज में बने नहीं रहते।
3. कंसेंसस रिलायबिलिटी स्कोर ( $\sigma$ ): प्रत्येक डिटेक्शन के लिए निम्नलिखित के आधार पर एक स्कोर की गणना की जाती है:
  - कंसेंसस (Consensus): विभिन्न व्यूज में सिग्नल की पुनरावृत्ति।
  - कंसिस्टेंसी (Consistency): मैचों की स्थानिक सटीकता (IoU)।
  - सूत्र: $\sigma_j = \omega_1 \cdot \text{Consensus} + \omega_2 \cdot \text{Consistency}$ ।

3. मुख्य योगदान (Key Contributions)

विफलता मोड का लक्षण वर्णन (Characterization of Failure Modes): पेपर ने पहचान की है कि सेमेंटिक फ्रैजिलिटी (प्रॉम्प्टिंग की संवेदनशीलता) और विजुअल इनकंसिस्टेंसी (इमेज परटर्बेशन्स के प्रति संवेदनशीलता) लॉन्ग-टेल क्लिनिकल कार्यों के लिए LVLMs के प्रमुख विफलता मोड हैं।
DDL फ्रेमवर्क: एक नया इन्फरेंस-टाइम फ्रेमवर्क पेश किया गया है जो पैरामीटर अपडेट के बिना प्रॉम्प्ट ऑप्टिमाइज़ेशन (DAPE) और परटर्बेशन-आधारित वेरिफिकेशन (V-PUP/RHC) के माध्यम से ग्राउंडिंग को स्थिर करता है।
कैलिब्रेशन और रिलायबिलिटी: यह प्रदर्शन दिखाया गया है कि DDL एक कंसेंसस-आधारित रिलायबिलिटी स्कोर उत्पन्न करता है जो वास्तविक लोकलाइजेशन सटीकता के साथ अच्छी तरह से कैलिब्रेटेड है, विशेष रूप से जैसे-जैसे मॉडल का स्केल बढ़ता है।
बेसलाइन्स पर श्रेष्ठता: अनुभवजन्य प्रमाण दिखाते हैं कि दुर्लभ रोग परिदृश्यों में DDL, मैनुअल/ऑटोमेटेड प्रॉम्प्टिंग रणनीतियों और सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) दोनों से बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन दो ब्रेन MRI बेंचमार्क पर किया गया:

BTD: सामान्य पैथोलॉजी (Glioma, Meningioma, Pituitary)।
NOVA: एक बड़े पैमाने का, आउट-ऑफ-डिस्ट्रीब्यूशन बेंचमार्क जिसमें 281 दुर्लभ पैथोलॉजी प्रकार शामिल हैं।

मुख्य निष्कर्ष:

प्रदर्शन लाभ: NOVA बेंचमार्क पर, DDL ने वैनिला बेसलाइन की तुलना में दुर्लभ रोग मामलों के लिए mAP@75 में 105% तक सुधार किया। इसने SFT और LoRA को लगातार पछाड़ा, जो सिद्ध करता है कि जब डेटा कम हो, तो पैरामीटर एडेप्टेशन की तुलना में इन्फरेंस को स्थिर करना अधिक प्रभावी है।
मॉडल स्केलिंग: DDL सभी मॉडल साइज (3B से 72B) को लाभान्वित करता है। विशेष रूप से, DDL के साथ एक 32B मॉडल ने ज़ीरो-शॉट 72B बेसलाइन को पीछे छोड़ दिया।
विजुअल बनाम लिंग्विस्टिक अनसर्टेन्टी: प्रयोगों ने दिखाया कि विजुअल अनसर्टेन्टी (मल्टी-व्यू प्रोबिंग के माध्यम से) लिंग्विस्टिक अनसर्टेन्टी (टोकन-लेवल एंट्रॉपी) की तुलना में ग्राउंडिंग सटीकता का अधिक विश्वसनीय संकेतक है।
कैलिब्रेशन: प्रेडिक्टेड रिलायबिलिटी स्कोर ( $\sigma$ ) और वास्तविक IoU के बीच सहसंबंध (correlation) मॉडल के आकार के साथ मोनोटोनिक रूप से बढ़ता है। बड़े मॉडल्स (32B+) के लिए, रिलायबिलिटी स्कोर सफलता का एक सांख्यिकीय रूप से महत्वपूर्ण भविष्यवक्ता बन जाता है ( $r > 0.5$ ), जबकि छोटे मॉडल्स कमजोर कैलिब्रेशन दिखाते हैं।
मजबूती (Robustness): DDL प्रभावी रूप से हैलुसिनेशन्स को दबाता है और स्थानिक संरेखण (spatial alignment) में सुधार करता है, जैसा कि गुणात्मक परिणामों में देखा गया है जहाँ DDL के आउटपुट ग्राउंड ट्रुथ के करीब हैं, जबकि वैनिला मॉडल डिफ्यूज या गलत बॉक्स उत्पन्न करते हैं।

5. महत्व (Significance)

प्रतिमान परिवर्तन (Paradigm Shift): यह पेपर तर्क देता है कि ओपन-वर्ल्ड मेडिकल इमेजिंग (विशेष रूप से दुर्लभ रोगों) के लिए, टेस्ट-टाइम ऑप्टिमाइज़ेशन, वेट-आधारित एडेप्टेशन का एक व्यवहार्य और अक्सर बेहतर विकल्प है। यह महंगे, रोग-विशिष्ट एनोटेशन की आवश्यकता को समाप्त करता है।
क्लिनिकल ट्रस्ट: कंसेंसस से प्राप्त एक मापने योग्य रिलायबिलिटी स्कोर प्रदान करके, DDL क्लिनिशियनों को मॉडल आउटपुट पर भरोसा करने का एक तंत्र देता है, जिससे स्थिर नैदानिक संकेतों और शोर के बीच अंतर किया जा सके।
स्केलेबिलिटी: यह फ्रेमवर्क मॉडल-एग्नोस्टिक है और किसी भी फ्रोजन LVLM पर लागू किया जा सकता है, जो इसे उभरते हुए मेडिकल AI अनुप्रयोगों के लिए अत्यधिक स्केलेबल बनाता है जहाँ डेटा संग्रह एक बाधा है।

निष्कर्षतः, डायनेमिक डिसीजन लर्निंग LVLMs की इन्फरेंस प्रक्रिया को एक स्टैटिक, नाजुक पास से एक डायनेमिक, सेल्फ-करेक्टिंग लूप में बदल देता है, जो दुर्लभ और कम प्रतिनिधित्व वाले चिकित्सा स्थितियों में एब्नॉर्मलिटी ग्राउंडिंग की विश्वसनीयता और सटीकता को काफी बढ़ाता है।