💻 computer science

SliceWorld: A Predictive and Controllable World-State Model for CT Report Generation

स्लाइसवर्ल्ड (SliceWorld) एक नवीन सीटी-विशिष्ट (CT-specific) वर्ल्ड-स्टेट फ्रेमवर्क है जो भविष्य के स्लाइस की भविष्यवाणी करने के लिए एक्सियल सीटी स्कैन को क्रमबद्ध अनुक्रमों के रूप में मॉडल करता है और एनाटॉमी, लीजन और अनिश्चितता का प्रतिनिधित्व करने वाले फैक्टर-अवेयर लेटेंट स्टेट्स में प्रीफिक्स एविडेंस को एनकोड करके नियंत्रणीय रिपोर्ट जनरेशन को सक्षम बनाता है।

मूल लेखक: Yuanhe Tian, Yan Song

प्रकाशित 2026-05-26

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuanhe Tian, Yan Song

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप ब्रेड के एक लोफ (loaf) को देख रहे हैं। यदि आप केवल ऊपर की परत देखते हैं, तो आपको एक क्रस्ट (crust) दिखाई दे सकता है। यदि आप बीच का हिस्सा देखते हैं, तो आपको नरम क्रम्ब (crumb) दिखाई देता है। यदि आप नीचे का हिस्सा देखते हैं, तो आपको हील (heel) दिखाई देता है। एक सीटी (CT) स्कैन उसी ब्रेड के लोफ की तरह है, लेकिन ब्रेड के बजाय, यह एक मरीज के शरीर की सैकड़ों पतली, क्षैतिज परतों (slices) में विभाजित संरचना है जो एक के ऊपर एक रखी हुई हैं।

पारंपरिक रूप से, एआई (AI) मॉडल जो इन स्कैन्स से मेडिकल रिपोर्ट लिखने की कोशिश करते हैं, वे उस व्यक्ति की तरह काम करते हैं जो पूरे लोफ पर एक नज़र डालता है, एक त्वरित अनुमान लगाता है, और एक सारांश लिख देता है। वे अक्सर इस बात की सूक्ष्म कहानी को समझने में चूक जाते हैं कि एनाटॉमी (शरीर रचना) एक स्लाइस से दूसरे स्लाइस में कैसे बदलती है, या उन्हें यह समझाने में संघर्ष करना पड़ता है कि कोई विशिष्ट निष्कर्ष (जैसे कि ट्यूमर) रिपोर्ट में क्यों दिखाई दे रहा है।

SliceWorld एक नया दृष्टिकोण है जो इस ब्रेड के लोफ के बारे में एआई के "सोचने" के तरीके को बदल देता है। केवल इमेज देखकर टेक्स्ट का अनुमान लगाने के बजाय, यह सीटी स्कैन को समय के साथ unfolding होने वाली एक कहानी के रूप में मानता है।

यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग यहाँ दिया गया है:

1. एक बॉक्स में "दुनिया" (The "World" in a Box)

कल्पना कीजिए कि एआई केवल एक तस्वीर नहीं देखता; यह मरीज के शरीर का एक मानसिक मॉडल (mental model) बनाता है जो स्लाइस के माध्यम से आगे बढ़ता है।

उपमा: एक जासूस के बारे में सोचें जो कमरे-दर-कमरे अपराध स्थल (crime scene) में घूम रहा है। जैसे-जैसे वह आगे बढ़ता है, वह केवल जो देखता है उसे याद नहीं करता; वह तीन विशिष्ट चीजों के साथ अपनी एक मानसिक नोटबुक अपडेट करता है:
1. एनाटॉमी (Anatomy): "ठीक है, अब मैं लिवर में हूँ।" (सामान्य संरचना)।
2. लेजन (Lesion): "रुको, यहाँ एक अजीब सा धब्बा है।" (समस्या)।
3. अनिश्चितता (Uncertainty): "मैं अभी 100% निश्चित नहीं हूँ कि यह क्या है।" (संदेह)।
पेपर का दावा: SliceWorld एआई को इन तीन विचारों को अपने मस्तिष्क में अलग-अलग "फैक्टर्स" (factors) के रूप में अलग करने के लिए मजबूर करता है, बजाय इसके कि उन्हें एक धुंधले मिश्रण में मिला दिया जाए।

2. अगला स्लाइस प्रेडिक्ट करना (The Crystal Ball)

SliceWorld की एक प्रमुख विशेषता यह है कि यह भविष्य की भविष्यवाणी करने की कोशिश करता है।

उपमा: कल्पना कीजिए कि आप एक गलियारे में चल रहे हैं। एक सामान्य व्यक्ति बस अपने सामने की दीवार को देखता है। एक SliceWorld मॉडल वर्तमान दीवार को देखता है, और फिर इससे पहले कि वह अगली दीवार देखे, वह अनुमान लगाता है कि अगली दीवार कैसी दिखेगी।
पेपर का दावा: मॉडल को वर्तमान स्लाइस को देखने और अगले कुछ स्लाइस के विजुअल फीचर्स की भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है। यदि यह सटीक रूप से अनुमान लगा सकता है कि अगला स्लाइस कैसा दिखेगा, तो यह साबित होता है कि मॉडल शरीर की 3D संरचना और निरंतरता को वास्तव में समझता है, न कि केवल रैंडम पैटर्न को।

3. "क्या होगा अगर" स्विच (The "What If" Switch - Control Panel)

यह सबसे अनूठा हिस्सा है। SliceWorld डॉक्टरों (या शोधकर्ताओं) को एआई के "मन" में एक स्विच बदलने की अनुमति देता है यह देखने के लिए कि रिपोर्ट कैसे बदल जाएगी।

उपमा: कल्पना कीजिए कि एआई एक कार दुर्घटना के बारे में रिपोर्ट लिख रहा है। आप एआई को कह सकते हैं, "मान लीजिए कि कार में डेंट नहीं था," और देखें कि क्या रिपोर्ट बदलकर यह कहती है कि "कार ठीक है।"
पेपर का दावा: शोधकर्ता लेजन फैक्टर (एआई के मस्तिष्क का वह हिस्सा जो ट्यूमर को देखता है) को "न्यूट्रलाइज" (neutralize) कर सकते हैं। वे फिर एआई को रिपोर्ट फिर से लिखने के लिए कहते हैं।
- यदि एआई सही ढंग से काम कर रहा है, तो नई रिपोर्ट में ट्यूमर का उल्लेख हटा दिया जाना चाहिए लेकिन बाकी सब कुछ (जैसे "फेफड़े साफ हैं") बिल्कुल वैसा ही रहना चाहिए।
- पेपर दिखाता है कि SliceWorld यह कर सकता है: यह बीमारी के उल्लेख को चुनिчески हटा देता है बिना नई समस्याओं को पैदा किए या स्वस्थ अंगों को हटाए।

4. यह क्यों मायने रखता है (पेपर के अनुसार)

पेपर ने दो प्रमुख डेटासेट्स (M3D-Cap और CT-RATE) पर इसका परीक्षण किया और पाया:

बेहतर रिपोर्ट: SliceWorld द्वारा जनरेट की गई रिपोर्ट पहले के तरीकों की तुलना में अधिक सटीक और क्लिनिकली प्रासंगिक थीं, भले ही छोटे एआई "मस्तिष्क" (language models) का उपयोग किया गया हो।
मजबूती (Robustness): भले ही आप एआई को केवल आधे स्लाइस (एक "आधा लोफ") दिखाएं, फिर भी यह अच्छा काम करता है क्योंकि इसका आंतरिक मॉडल बहुत मजबूत है।
विश्वास (Trust): क्योंकि मॉडल "एनाटॉमी" को "लेजन" से अलग करता है, हम वास्तव में यह जांच सकते हैं कि क्या एआई सही चीजों पर ध्यान दे रहा है। यह केवल एक "ब्लैक बॉक्स" अनुमान नहीं है; यह एक संरचित प्रणाली है जहाँ हम देख सकते हैं कि बीमारी के बारे में सोचने वाला हिस्सा वास्तव में क्या सोच रहा है।

सारांश

संक्षेप में, SliceWorld को एक फोटोग्राफर (जो केवल एक तस्वीर लेता है और कैप्शन लिखता है) से अपग्रेड करके एक टूर गाइड (जो शरीर के माध्यम से स्लाइस-दर-स्लाइस चलता है, लेआउट को समझता है, यह अनुमान लगाता है कि आगे क्या होगा, और यह समझा सकता है कि एक विशिष्ट समस्या टूर को कैसे प्रभावित करती है) बनाने जैसा है।

पेपर का दावा है कि यह एआई को मेडिकल रिपोर्ट लिखने में बेहतर बनाता है और हमें यह सत्यापित करने का एक तरीका देता है कि एआई ने जो लिखा है उसके पीछे का कारण क्या है, विशेष रूप से रोग का पता लगाने के संबंध में।

तकनीकी सारांश: स्लाइसवर्ल्ड (SliceWorld)

समस्या विवरण

सीटी रिपोर्ट जनरेशन (CTRG) के लिए मॉडलों को सैकड़ों एक्सियल सीटी स्लाइस से त्रि-आयामी शारीरिक संदर्भ और रोग संबंधी निष्कर्षों को संश्लेषित करने की आवश्यकता होती है। मौजूदा दृष्टिकोण आमतौर पर CTRG को एक प्रत्यक्ष इमेज-टू-टेक्स्ट मैपिंग समस्या के रूप में देखते हैं या स्लाइस फीचर्स के अनुक्रमिक एकत्रीकरण (sequential aggregation) पर निर्भर करते हैं। ये विधियाँ अक्सर उस स्थानिक और एक्सियल-अनुक्रमिक संरचना की अनदेखी करती हैं जो वॉल्यूमेट्रिक सीटी डेटा में अंतर्निहित होती है। फलस्वरूप, उनमें यह मॉडल करने के लिए तंत्र की कमी होती है कि आसन्न स्लाइस (adjacent slices) के माध्यम से सीटी साक्ष्य कैसे विकसित होते हैं या उत्पन्न रिपोर्ट नियंत्रित लेज़न-संबंधित कारकों (lesion-related factors) में परिवर्तन के प्रति कैसे प्रतिक्रिया देती है। इसके अलावा, वर्तमान विधियाँ एक संरचित आंतरिक अवस्था प्रदान नहीं करती हैं जो भविष्य कहनेवाला विश्लेषण (predictive analysis) या हस्तक्षेप (intervention) का समर्थन कर सके, जिससे नैदानिक तर्क करने या आंशिक अवलोकन के तहत मजबूत रिपोर्ट जनरेशन करने की उनकी क्षमता सीमित हो जाती है।

कार्यप्रणाली

लेखक स्लाइसवर्ल्ड (SliceWorld) प्रस्तावित करते हैं, जो एक सीटी-विशिष्ट वर्ल्ड-स्टेट फ्रेमवर्क है जो CTRG को क्रमबद्ध एक्सियल सीटी अवलोकनों पर एक वर्ल्ड-मॉडलिंग समस्या के रूप में पुनर्गठित करता है। भौतिक रोग प्रगति का अनुकरण करने या HU-मूल्य वाले चित्र बनाने के बजाय, स्लाइसवर्ल्ड एक लेटेंट प्रेडिक्टिव स्टेट (latent predictive state) सीखता है जो स्लाइस-स्तरीय दृश्य साक्ष्य को कैप्चर करता है और हस्तक्षेप विश्लेषण का समर्थन करता है।

मुख्य आर्किटेक्चर

सीटी एनकोडिंग और वर्ल्ड-स्टेट निर्माण:
- इनपुट सीटी स्लाइस को DINOv2 ViT एनकोडर का उपयोग करके विजुअल फीचर्स में एनकोड किया जाता है।
- एक कॉज़ल स्लाइस-सीक्वेंस एनकोडर (Mamba) प्रत्येक स्लाइस $t$ के लिए एक कॉन्टेक्स्टुअलाइज्ड रिप्रेजेंटेशन $h_t$ उत्पन्न करने के लिए फीचर्स के प्रीफिक्स सीक्वेंस को प्रोसेस करता है, जो भविष्य के स्लाइस तक पहुंच सुनिश्चित करने के लिए कोई एक्सेस नहीं देता है।
- रिप्रेजेंटेशन $h_t$ $h_{t}$ को एक फैक्टर-अवेयर वर्ल्ड स्टेट $s_t = [a_t; l_t; u_t]$ $s_{t} = [a_{t}; l_{t}; u_{t}]$ में डीकंपोज किया जाता है, जिसमें तीन अलग-अलग घटक शामिल हैं:
  - एनाटॉमी ( $a_t$ ): स्थिर शारीरिक संदर्भ को एनकोड करता है।
  - लेज़न ( $l_t$ ): लेज़न-संबंधित साक्ष्य को एनकोड करता है।
  - अनिश्चितता ( $u_t$ ): प्रेडिक्टिव अनसर्टेन्टी को एनकोड करता है।
- एक लेज़न-प्रेजेंस हेड $l_t$ के आधार पर वर्तमान स्लाइस में लेज़न की उपस्थिति की संभावना का अनुमान लगाता है।
रिपोर्ट जनरेशन:
- फैक्टर-अवेयर स्टेट्स को एक टोकन प्रोजेक्टर और एक टू-लेयर MLP के माध्यम से "वर्ल्ड टोकन्स" में प्रोजेक्ट किया जाता है, जो उन्हें एक लार्ज लैंग्वेज मॉडल (LLM) के हिडन स्पेस में मैप करता है।
- ये टोकन्स LLM के लिए एक निरंतर प्रीफिक्स कॉन्टेक्स्ट के रूप में कार्य करते हैं, जो रिपोर्ट को ऑटोरेग्रेसिव रूप से जेनरेट करता है।
प्रशिक्षण ढांचा (Training Framework):
मॉडल दो-चरणीय प्रशिक्षण प्रक्रिया से गुजरता है:
- वर्ल्ड-मॉडल प्रीट्रेनिंग: इसे चार उद्देश्यों का उपयोग करके सीटी स्लाइस सीक्वेंस पर (बिना टेक्स्ट सुपरविजन के) संचालित किया जाता है:
  - मल्टी-स्टेप फ्यूचर-स्लाइस प्रेडिक्शन (MFP): यह मॉडल को वर्तमान प्रीफिक्स स्टेट से भविष्य के स्लाइस-लेवल विजुअल फीचर्स की भविष्यवाणी करने के लिए प्रशिक्षित करता है, जो एक्सियल डायनेमिक्स को सीखने पर जोर देता है।
  - फैक्टर-अवेयर स्टेट लर्निंग (FAS): एनाटॉमिकल कंटीन्यूटी रेगुलराइजेशन, लेज़न स्पर्सिटी, प्रेडिक्शन डिफिकल्टी के साथ अनसर्टेन्टी अलाइनमेंट और लेज़न-प्रेजेंस सुपरविजन के माध्यम से स्टेट फैक्टर्स के विशेषज्ञता को प्रोत्साहित करता है।
  - काउंटरफैक्टुअल प्रेडिक्शन (CF): यह मॉडल को हस्तक्षेपों के प्रति प्रतिक्रिया देने के लिए प्रशिक्षित करता है। लेज़न फैक्टर ( $l_t \to 0$ ) को न्यूट्रलाइज करके, मॉडल "लेज़न-जीरो" भविष्यवाणियां उत्पन्न करना सीखता है। ऑब्जेक्टिव नॉन-लेज़न स्लाइस में विसंगतियों (इनवेरिएंस) के लिए दंड देता है और यह आवश्यक बनाता है कि लेज़न फैक्टर को हटाने पर लेज़न-संबंधित स्लाइस में प्रेडिक्शन एरर बढ़ जाए (इफेक्ट)।
- CTRG फाइन-ट्यूनिंग: प्रीट्रेन किया गया वर्ल्ड-स्टेट एनकोडर फ्रीज कर दिया जाता है। प्रोजेक्शन लेयर्स और LLM डिकोडर को स्टैंडर्ड ऑटोरेग्रेसिव लॉस का उपयोग करके पेयर्ड सीटी-रिपोर्ट डेटा पर फाइन-ट्यून किया जाता है ताकि वर्ल्ड-टोकन इंटरफेस को रिपोर्ट जनरेशन के साथ अलाइन किया जा सके।
हस्तक्षेप तंत्र (Intervention Mechanism):
इन्फरेंस के दौरान, एनाटॉमी और अनसर्टेन्टी फैक्टर्स को स्थिर रखते हुए लेज़न फैक्टर को मैनिपुलेट किया जा सकता है (जैसे, शून्य पर सेट करना)। यह एक "लेटेंट लेज़न-न्यूट्रल" रिपोर्ट वेरिएंट उत्पन्न करता है, जिससे भौतिक सीटी इमेज को बदले बिना यह विश्लेषण करना संभव होता है कि विशिष्ट लेज़न साक्ष्य उत्पन्न टेक्स्ट को कैसे प्रभावित करते हैं।

मुख्य योगदान

स्लाईसवर्ल्ड फ्रेमवर्क: एक सीटी वर्ल्ड मॉडल का प्रस्ताव जो एक्सियल स्लाइस सीक्वेंस पर एक फैक्टर-अवेयर स्टेट स्पेस सीखता है, जो CTRG को एक प्रत्यक्ष मैपिंग के बजाय एक प्रेडिक्टिव और कंट्रोलेबल रिप्रेजेंटेशन समस्या के रूप में देखता है।
नवीन प्रशिक्षण उद्देश्य: एक प्रशिक्षण ढांचे का परिचय जो मल्टी-स्टेप फ्यूचर-स्लाइस प्रेडिक्शन, फैक्टर-अवेयर स्टेट लर्निंग और लेज़न-फैक्टर काउंटरफैक्टुअल प्रेडिक्शन को जोड़कर ऐसे रिप्रेजेंटेशन को प्रोत्साहित करता है जो प्रेडिक्टिव, इंटरवेंशन-सेंसिटिव और क्लिनिकली स्ट्रक्चर्ड हैं।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोग जो प्रदर्शित करते हैं कि स्लाइसवर्ल्ड बेंचमार्क डेटासेट्स (M3D-Cap और CT-RATE) पर मौजूदा प्रतिनिधि CTRG दृष्टिकोणों (MedVInT-TD, Med-Flamingo, RadFM, और S-LMR सहित) को लगातार पछाड़ता है, बड़े LLM बैकबोन वाले बेसलाइन्स से भी बेहतर प्रदर्शन करता है, और मल्टी-होरिज़न प्रेडिक्शन, फैक्टर अलाइनमेंट और कम-स्लाइस अवलोकन के तहत मजबूती जैसे मापने योग्य गुण प्रदर्शित करता है।

परिणाम

रिपोर्ट जनरेशन प्रदर्शन: M3D-Cap और CT-RATE पर, स्लाईसवर्ल्ड मानक नेचुरल लैंग्वेज जनरेशन मेट्रिक्स (BLEU, ROUGE, METEOR, BERTScore) और क्लिनिकली ओरिएंटेड मेट्रिक्स (RaTEScore, GREEN) में मौजूदा प्रतिनिधि CTRG दृष्टिकोणों को लगातार पछाड़ता है। विशेष रूप से, यह 7B–14B मॉडल का उपयोग करने वाले बेसलाइन्स की तुलना में छोटे LLM बैकबोन (जैसे, 1.7B–4B पैरामीटर्स) के साथ भी बेहतर प्रदर्शन प्राप्त करता है।
एब्लेशन स्टडीज: स्टेप-बाय-स्टेप एब्लेशन पुष्टि करता है कि वर्ल्ड-मॉडल ट्रेनिंग का प्रत्येक घटक (रिकंस्ट्रक्शन, मल्टी-स्टेप प्रेडिक्शन, फैक्टर-अवेयर लर्निंग और काउंटरफैक्टुअल प्रेडिक्शन) अंतिम प्रदर्शन में क्रमिक रूप से योगदान देता है।
प्रेडिक्टिव क्षमता: मॉडल पर्सिस्टेंस और लीनियर एक्सट्रपलेशन बेसलाइन्स की तुलना में कम मीन स्क्वेर्ड एरर (MSE) और उच्च कोसाइन सिमिलैरिटी के साथ भविष्य के स्लाइस-लेवल विजुअल फीचर्स की भविष्यवाणी करने की क्षमता प्रदर्शित करता है, जो यह प्रमाणित करता है कि सीखा गया स्टेट प्रेडिक्टिव स्पेशियल इंफॉर्मेशन को बनाए रखता है।
फैक्टर अलाइनमेंट: प्रोबिंग प्रयोग दिखाते हैं कि एनाटॉमी, लेज़न और अनसर्टेन्टी फैक्टर्स अपने इच्छित क्लिनिकल सिग्नल्स (जैसे, लेज़न फैक्टर्स लेज़न प्रेजेंस लेबल्स के साथ सह-संबंधित होते हैं, अनसर्टेन्टी फैक्टर्स प्रेडिक्शन डिफिकल्टी के साथ) के साथ अलाइन होते हैं।
नियंत्रित हस्तक्षेप: चयनात्मक लेज़न-फैक्टर इंटरवेंशन (लेज़न-जीरो) लेज़न-पॉजिटिव मामलों के लिए रिपोर्ट में फोकल-लेज़न कंटेंट को सफलतापूर्वक कम करता है जबकि नॉन-टारगेट फाइंडिंग्स को सुरक्षित रखता है और क्लिनिकल वैधता बनाए रखता है, जो विशिष्ट लेज़न साक्ष्य के उत्पन्न टेक्स्ट पर पड़ने वाले प्रभाव को मॉड्यूलेट करने की मॉडल की क्षमता को प्रदर्शित करता है।

महत्व

यह पेपर तर्क देता है कि स्लाईसवर्ल्ड CTRG को डायरेक्ट वॉल्यूम-टू-टेक्स्ट मैपिंग से आगे बढ़ाकर एक प्रेडिक्टिव और कंट्रोलेबल रिप्रेजेंटेशन इंटरफेस की ओर ले जाता है। वर्ल्ड मॉडलिंग के रूप में समस्या को फ्रेम करके, यह दृष्टिकोण एक संरचित आंतरिक अवस्था प्रदान करता है जो:

एक्सियल स्लाइस के माध्यम से सीटी साक्ष्य की गतिशीलता को कैप्चर करता है।
रिपोर्ट-लेवल विश्लेषण के लिए लेटेंट लेज़न-फैक्टर मैनिपुलेशन का समर्थन करता है।
जब केवल स्लाइस का एक उपसमूह उपलब्ध होता है, तो मजबूती को बढ़ाता है।

लेखक इसे अधिक व्याख्या योग्य और क्लिनिकली ग्राउंडेड मेडिकल AI की दिशा में एक कदम के रूप में देखते हैं, जहाँ मॉडल के आंतरिक स्टेट को डायग्नोस्टिक सिग्नल के लिए प्रोब किया जा सकता है और विशिष्ट निष्कर्षों के उत्पन्न रिपोर्टों पर कारण प्रभाव (causal impact) को समझने के लिए मैनिपुलेट किया जा सकता है, न कि मॉडल को केवल एक ब्लैक-बॉक्स इमेज-टू-टेक्स्ट कनवर्टर के रूप में देखने के बजाय।