💻 computer science

RAFM: Retrieval-Augmented Flow Matching for Unpaired CBCT-to-CT Translation

यह शोधपत्र रिट्रीवल-ऑगमेंटेड फ्लो मैचिंग (RAFM) प्रस्तुत करता है, जो एक फ्रोजन DINOv3 एनकोडर और एक ग्लोबल मेमोरी बैंक का लाभ उठाकर उच्च गुणवत्ता वाले सूडो पेयर्स (pseudo pairs) का निर्माण करता है, जिससे अनपेयर्ड CBCT-टू-CT ट्रांसलेशन को बेहतर बनाया जाता है, जिससे रेक्टिफाइड फ्लो ट्रेनिंग को स्थिरता मिलती है और यह SynthRAD2023 बेंचमार्क पर मौजूदा दृष्टिकोणों से बेहतर प्रदर्शन करता है।

मूल लेखक: Xianhao Zhou, Jianghao Wu, Lanfeng Zhong, Ku Zhao, Jinlong He, Shaoting Zhang, Guotai Wang

प्रकाशित 2026-03-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xianhao Zhou, Jianghao Wu, Lanfeng Zhong, Ku Zhao, Jinlong He, Shaoting Zhang, Guotai Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ शोध पत्र RAFM: Unpaired CBCT-to-CT Translation के लिए Retrieval-Augmented Flow Matching का सरल अवधारणाओं और रचनात्मक उपमाओं के साथ विवरण दिया गया है।

बड़ी समस्या: "धुंधलापन" बनाम "क्रिस्टल क्लियर"

कल्पना कीजिए कि आप कैंसर के मरीज के लिए रेडिएशन थेरेपी की योजना बना रहे हैं। आपको उनके शरीर के अंदर का एक सटीक, हाई-डेफिनिशन मानचित्र चाहिए ताकि रेडिएशन बीम को सटीक रूप से लक्षित किया जा सके। यह मानचित्र आमतौर पर एक CT स्कैन होता है। यह एक क्रिस्टल-क्लियर, हाई-रिज़ॉल्यूशन फोटोग्राफ की तरह है जहाँ हर हड्डी और अंग स्पष्ट रूप से परिभाषित होते हैं, और संख्याएँ (जिन्हें हौन्सफील्ड यूनिट्स कहा जाता है) आपको बताते हैं कि ऊतक (tissue) कितना घना है।

हालाँकि, जब मरीज वास्तव में रेडिएशन के लिए उपचार मेज पर लेटा होता है, तो मशीन एक अलग प्रकार की तस्वीर लेती है जिसे CBCT कहा जाता है।

CBCT एक दानेदार (grainy), कम रोशनी वाली सुरक्षा कैमरे की फोटो की तरह है। इसे जल्दी में लिया जाता है और इसमें अक्सर अजीब "आर्टिफैक्ट्स" (ग्लिच, धारियाँ या धुंधलापन) होते हैं और इसकी संख्याएँ गलत होती हैं।
लक्ष्य: आप उस दानेदार सुरक्षा फोटो को एक क्रिस्टल-क्लियर, हाई-डेफिनिशन फोटो में बदलना चाहते हैं ताकि आप सुरक्षित रूप से रेडिएशन डोज़ की गणना कर सकें।

पुराना तरीका: अजनबियों को मिलाने की कोशिश करना

कंप्यूटर को यह सिखाने के लिए कि दानेदार फोटो को कैसे ठीक किया जाए, आपको आमतौर पर एक "शिक्षक" की आवश्यकता होती है। शिक्षक को यह सीखने के लिए कि अंतर क्या है, एक दानेदार फोटो और उसी व्यक्ति की ठीक वही स्पष्ट फोटो एक ही समय में देखनी चाहिए।

समस्या: वास्तविक दुनिया में, ऐसे "मैच्ड पेयर्स" (जुड़े हुए जोड़े) प्राप्त करना एक दुस्वप्न है।

मरीज स्कैन के बीच में हिल सकते हैं।
उनके अंग खिसक सकते हैं (जैसे एक गुब्बारा थोड़ा पिचक जाता है)।
दो स्कैन के बीच समय बीत जाता है।
कभी-कभी, आपके पास उस विशिष्ट रोगी के लिए स्पष्ट फोटो भी नहीं होती है।

इसलिए, शोधकर्ता कंप्यूटर को अनपेयर्ड डेटा (unpaired data) का उपयोग करके सिखाते हैं। कल्पना कीजिए कि आप किसी को फ्रेंच से अंग्रेजी में अनुवाद करना सिखा रहे हैं, लेकिन आपके पास केवल फ्रेंच किताबों का ढेर और अंग्रेजी किताबों का एक अलग ढेर है, बिना यह जाने कि कौन सा फ्रेंच वाक्य किस अंग्रेजी वाक्य के अनुरूप है।

नया समाधान: RAFM ("स्मार्ट लाइब्रेरियन" दृष्टिकोण)

लेखकों ने एक नया तरीका पेश किया जिसे RAFM कहा जाता है। वे Flow Matching की अवधारणा का उपयोग करते हैं, जो एक नदी के बहने जैसा है जो एक अस्त-व्यस्त अवस्था (CBCT) से एक साफ अवस्था (CT) की ओर जाती है।

यहाँ पेचीदा हिस्सा यह है कि नदी को कैसे बहना है, यह सिखाने के लिए, आपको एक "स्टार्ट पॉइंट" (दानेदार फोटो) और एक "एंड पॉइंट" (स्पष्ट फोटो) चुनना होगा।

पुरानी गलती: यदि आप बस एक रैंडम दानेदार फोटो उठाते हैं और उसे एक रैंडम स्पष्ट फोटो के साथ जोड़ देते हैं, तो कंप्यूटर भ्रमित हो जाता है। यह एक फ्रेंच छात्र को "सेब" के बारे में वाक्य अनुवाद करना सिखाने के लिए "कारों" के बारे में अंग्रेजी वाक्य दिखाने जैसा है। कंप्यूटर गलत सबक सीखता है, और अंतिम छवि अजीब या विकृत दिखती है।
RAFM का समाधान: लेखकों ने महसूस किया कि भले ही फोटो एक ही मरीज के न हों, वे समान हो सकते हैं। कूल्हे की हड्डी (hip bone) की एक दानेदार फोटो को कूल्हे की हड्डी की एक स्पष्ट फोटो के साथ जोड़ा जाना चाहिए, न कि खोपड़ी की स्पष्ट फोटो के साथ।

"स्मार्ट लाइब्रेरियन" की उपमा

कंप्यूटर को एक छात्र के रूप में सोचें जो सीखने की कोशिश कर रहा है।

मेमोरी बैंक: कंप्यूटर के पास उन सभी स्पष्ट CT स्कैन का एक विशाल पुस्तकालय है जो उसने कभी देखे हैं।
सर्च टूल (DINOv3): कंप्यूटर एक सुपर-स्मार्ट "लाइब्रेरियन" (एक AI एनकोडर) का उपयोग करता है जो एक दानेदार CBCT फोटो को देख सकता है और तुरंत उसके "वाइब" या "कंटेंट" को समझ सकता है।
रिट्रीवल (पुनर्प्राप्ति): जब कंप्यूटर एक पेल्विस (pelvis) की दानेदार फोटो देखता है, तो लाइब्रेरियन केवल एक रैंडम स्पष्ट फोटो नहीं चुनता। वह लाइब्रेरी में खोज करता है और पेल्विस की सबसे समान स्पष्ट फोटो ढूंढ निकालता है।
सबक: अब, कंप्यूटर सीखता है: "ठीक है, इस विशिष्ट दानेदार पेल्विस को एक स्पष्ट पेल्विस में बदलने के लिए, मुझे उस विशिष्ट स्पष्ट पेल्विस की ओर देखना चाहिए।"

इस प्रक्रिया को रिट्रीवल-ऑगमेंटेड (Retrieval-Augmented) कहा जाता है। कंप्यूटर हर सबक के लिए सबसे अच्छा "शिक्षक" खोजता है, भले ही उसके पास मूल जोड़ा मौजूद न हो।

यह कैसे बहता है ("नदी" की उपमा)

एक बार जब कंप्यूटर के पास ये "स्मार्टली मैच किए गए" जोड़े आ जाते हैं, तो वह रेक्टिफाइड फ्लो (Rectified Flow) का उपयोग करता है।

कल्पना कीजिए कि एक नदी एक कीचड़ भरे दलदल (दानेदार CBCT) से एक निर्मल झील (स्पष्ट CT) की ओर बह रही है।
कंप्यूटर सीखता है कि पानी को कीचड़ से झील तक पहुँचने के लिए बिल्कुल सटीक रास्ता क्या लेना चाहिए ताकि वह कहीं फंस न जाए या गोल-गोल न घूमने लगे।
क्योंकि "शिक्षक" (रिट्रीव किए गए जोड़े) अब अर्थपूर्ण रूप से समान (पेल्विस-टू-पेल्विस) हैं, इसलिए नदी सुचारू रूप से और सीधे बहती है। यह पेल्विस को खोपड़ी में बदलने में अपनी ऊर्जा बर्बाद नहीं करती है।

यह क्यों मायने रखता है

लेखकों ने इस पर एक सख्त चुनौती का परीक्षण किया जहाँ कंप्यूटर को प्रशिक्षण के दौरान एक ही मरीज के मैच किए गए जोड़े को देखने की अनुमति कभी नहीं दी गई थी।

परिणाम: RAFM ने अन्य सभी तरीकों को पछाड़ दिया। इसने पहले की तुलना में अधिक स्पष्ट चित्र, कम ग्लिच और रोगी की शारीरिक संरचना (anatomy) को बेहतर ढंग से संरक्षित किया।
लाभ: डॉक्टर अब इन AI-जनरेटेड "सिंथेटिक CTs" पर भरोसा कर सकते हैं ताकि रेडिएशन थेरेपी की योजना अधिक सटीकता से बनाई जा सके, भले ही उनके पास उपचार मशीन से प्राप्त दानेदार, कम गुणवत्ता वाले स्कैन ही क्यों न हों।

एक वाक्य में सारांश

RAFM एक स्मार्ट AI है जो एक लाइब्रेरियन की तरह काम करके धुंधले मेडिकल स्कैन को ठीक करना सीखता है: रैंडम मिलान करने के बजाय, यह एक विशाल लाइब्रेरी में खोजकर हर धुंधली इमेज के लिए सबसे समान स्पष्ट इमेज ढूंढ लेता है, जिससे इसे मूल "पहले और बाद के" फोटो के बिना भी एकदम सही बदलाव सीखने में मदद मिलती है।

यहाँ शोध पत्र "RAFM: Retrieval-Augmented Flow Matching for Unpaired CBCT-to-CT Translation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

संदर्भ (Context): रेडियोथेरेपी में, इमेज गाइडेंस के लिए नियमित रूप से कोन-बीम सीटी (CBCT) प्राप्त की जाती है, लेकिन इसमें गंभीर आर्टिफ़ेक्ट्स (artifacts) और अविश्वसनीय हौंसफील्ड यूनिट (HU) मान होते हैं, जो इसे सीधे डोज़ कैलकुलेशन के लिए अनुपयुक्त बनाते हैं। CBCT से सिंथेटिक सीटी (sCT) उत्पन्न करना एक महत्वपूर्ण समाधान है।
चुनौती (Challenge): आदर्श रूप से, CBCT-to-CT ट्रांसलेशन के लिए पेयर्ड डेटा (एक ही रोगी का CBCT और CT एक ही समय पर) की आवश्यकता होती है। हालाँकि, टेम्पोरल अंतराल, शारीरिक भिन्नताओं और रजिस्ट्रेशन त्रुटियों के कारण ऐसा पेयर्ड डेटा प्राप्त करना कठिन है। फलस्वरूप, इस कार्य को अक्सर अनपेयर्ड ट्रांसलेशन (unpaired translation) के रूप में माना जाना चाहिए।
मौजूदा विधियों की सीमाएँ (Limitations of Existing Methods):

GANs: प्रशिक्षण अस्थिरता और हाइपरपैरामीटर के प्रति संवेदनशीलता के प्रति प्रवृत्त होते हैं।
Diffusion/Schrödinger-Bridge Models: अक्सर जटिल, गणनात्मक रूप से भारी होते हैं, और अभी भी एडवरसेरियल घटकों पर निर्भर हो सकते हैं।
Rectified Flow (RF): एक आशाजनक गैर-एडवरसेरियल विकल्प जो ट्रांसलेशन को वितरणों (distributions) के बीच नियत (deterministic) परिवहन के रूप में मॉडल करता है। हालाँकि, RF सैद्धांतिक रूप से "एंडपॉइंट कपलिंग" (एक स्रोत नमूना $x_0$ को एक लक्ष्य नमूना $x_1$ के साथ जोड़ना) की आवश्यकता रखता है। छोटे मेडिकल डेटासेट में सीमित बैच आकार के साथ, रैंडम पेयरिंग या बैच-लोकल पेयरिंग से अर्थपूर्ण रूप से बेमेल एंडपॉइंट्स (जैसे, कूल्हे का CBCT और घुटने का CT जोड़ना) प्राप्त होते हैं, जिससे शोर युक्त ट्रांसपोर्ट टारगेट्स और खराब शारीरिक संरक्षण (anatomical preservation) होता है।

2. कार्यप्रणाली: रिट्रीवल-ऑगमेंटेड फ्लो मैचिंग (RAFM)

लेखक RAFM प्रस्तावित करते हैं, जो एक फ्रेमवर्क है जो उच्च गुणवत्ता वाले छद्म-जोड़े (pseudo-pairs) बनाने के लिए Rectified Flow (RF) को रिट्रीवल-ऑगमेंटेड रणनीति के साथ एकीकृत करता है, जिसके लिए ग्राउंड-ट्रुथ पेयर्ड डेटा की आवश्यकता नहीं होती है।

मुख्य घटक (Core Components):

Rectified Flow फॉर्मूलेशन:
- ट्रांसलेशन को एक नियत ऑर्डिनरी डिफरेंशियल इक्वेशन (ODE) के रूप में मॉडल किया गया है: $\frac{dx_t}{dt} = v_\theta(x_t, t)$ ।
- पथ एक स्रोत CBCT स्लाइस ( $x_0$ ) और एक लक्ष्य CT स्लाइस ( $x_1$ ) के बीच एक सीधी रेखा इंटरपोलेशन है: $x_t = (1-t)x_0 + tx_1$ ।
- मॉडल $v_\theta$ (एक टाइम-कंडीशन्ड U-Net) को निरंतर वेग वेक्टर $x_1 - x_0$ की भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है।
रिट्रीवल-ऑगमेंटेड कपलिंग (मुख्य नवाचार):
- रैंडम या बैच-लोकल पेयरिंग के बजाय, RAFM एक ग्लोबल मेमोरी बैंक का उपयोग करके सिमेंटिक छद्म-जोड़े (semantic pseudo-pairs) बनाता है।
- फीचर एक्सट्रैक्शन: सभी CT स्लाइस के लिए फीचर एम्बेडिंग्स निकालने के लिए एक फ्रोजन DINOv3 एनकोडर का उपयोग किया जाता है।
- मेमोरी बैंक: एक रोलिंग (FIFO) ग्लोबल मेमोरी बैंक CT फीचर-स्लाइस जोड़ों को संग्रहीत करता है। दक्षता और कवरेज को संतुलित करने के लिए यह बैंक मिनी-बैच से बड़ा लेकिन पूरे डेटासेट से छोटा है।
- रिट्रीवल प्रक्रिया: वर्तमान मिनी-बैच में प्रत्येक CBCT स्लाइस के लिए, मॉडल उसका फीचर एम्बेडिंग कंप्यूट करता है और कोसाइन सिमिलैरिटी के आधार पर ग्लोबल मेमोरी बैंक से सबसे समान CT स्लाइस को रिट्रीव करता है।
- कठोर अनपेयर्ड प्रकृति: रिट्रीवल केवल फीचर समानता पर निर्भर करता है, न कि विषय की पहचान या टेम्पोरल अलाइनमेंट पर। इस प्रकार, फ्रेमवर्क सख्ती से अनपेयर्ड रहता है।
प्रशिक्षण उद्देश्य (Training Objective):
- लॉस फंक्शन अनुमानित वेग और रिट्रीव किए गए छद्म-जोड़े के वेग के बीच के अंतर को कम करता है:
  $L_{RAFM} = \mathbb{E}_{(x_0, x_1) \sim \rho_{retr}, t \sim U(0,1)} \left[ \| v_\theta((1-t)x_0 + tx_1, t) - (x_1 - x_0) \|_2^2 \right]$
- यहाँ, $\rho_{retr}$ रिट्रीवल-प्रेरित अनुभवजन्य कपलिंग (empirical coupling) है।
इन्फरेंस (Inference):
- दिए गए CBCT इनपुट के लिए, मॉडल $t=0$ से $t=1$ तक सीखे गए ODE को हल करता है (10-स्टेप यूलर इंटीग्रेशन का उपयोग करके) ताकि सिंथेटिक CT उत्पन्न किया जा सके।

3. मुख्य योगदान (Key Contributions)

नया फ्रेमवर्क: अनपेयर्ड मेडिकल इमेज ट्रांसलेशन के लिए Rectified Flow का पहला अनुप्रयोग, जो छोटे डेटासेट और छोटे बैच आकार की विशिष्ट चुनौती को संबोधित करता है।
रिट्रीवल-ऑगमेंटेड रणनीति: सिमेंटिक रूप से सुसंगत छद्म-जोड़े बनाने के लिए एक ग्लोबल मेमोरी बैंक और फ्रोजन DINOv3 एनकोडर पेश करता है, जो रैंडम या बैच-वाइज मैचिंग विधियों की तुलना में कपलिंग की गुणवत्ता में काफी सुधार करता है।
गैर-एडवरसेरियल स्थिरता: GANs और डिफ्यूजन मॉडल्स के लिए एक पूर्णतः गैर-एडवरसेरियल विकल्प प्रदान करता है, जो स्थिर अनुकूलन और विश्वसनीय संरचना संरक्षण सुनिश्चित करता है।
कठोर मूल्यांकन प्रोटोकॉल: यह विधि एक कठोर "सब्जेक्ट-लेवल ट्रू-अनपेयर्ड" प्रोटोकॉल के तहत मान्य की जाती है जहाँ प्रशिक्षण सेट में कोई CBCT-CT पत्राचार (correspondence) मौजूद नहीं है।

4. प्रयोगात्मक परिणाम (Experimental Results)

डेटासेट: SynthRAD2023 (Pelvis), जिसे CBCT और CT के लिए अलग-अलग ट्रेनिंग सेट्स (प्रत्येक 63 विषय) में विभाजित किया गया है।
बेसलाइन्स: GANs (CycleGAN, GcGAN, CUT) और डिफ्यूजन/SB विधियों (SynDiff, UNSB) के विरुद्ध तुलना की गई।

मात्रात्मक प्रदर्शन (RAFM बनाम सर्वश्रेष्ठ बेसलाइन):

MAE (HU): 101.2 (SynDiff के 104.2 के मुकाबले) – कम होना बेहतर है।
SSIM: 80.96% (CUT के 80.27% के मुकाबले) – अधिक होना बेहतर है।
PSNR: 25.15 dB (SynDiff के 24.94 dB के मुकाबले) – अधिक होना बेहतर है।
FID: 53.29 (UNSB के 62.91 के मुकाबले) – कम होना बेहतर है, जो बेहतर वितरण संबंधी वास्तविकता (distributional realism) को दर्शाता है।
SegScore: 75.77% (UNSB के 72.07% के मुकाबले) – अधिक होना बेहतर है, जो अंग विभाजन (organ segmentation) के लिए बेहतर शारीरिक निरंतरता को दर्शाता है।

गुणात्मक परिणाम (Qualitative Results):

RAFM बेसलाइन्स की तुलना में स्वच्छ आर्टिफ़ेक्ट सप्रेशन और अधिक स्थिर शारीरिक संरचनाओं वाली छवियां उत्पन्न करता है।
एरर मैप्स (Error maps) कम संरचनात्मक विरूपण (structural distortion) दिखाते हैं।

एब्लेशन स्टडीज (Ablation Studies):

कपलिंग गुणवत्ता: रैंडम कपलिंग (K=0) खराब प्रदर्शन करती है। बैच-वाइज मैचिंग (K=4) परिणामों में सुधार करती है। रिट्रीवल-ऑगमेंटेड कपलिंग (K=512) सर्वोत्तम प्रदर्शन देती है।
मेमोरी बैंक का आकार: प्रदर्शन K=512 पर चरम पर पहुँचता है, जिसके बाद रिटर्न कम होने लगता है।
अपर बाउंड (Upper Bound): हालांकि RAFM एक पूर्णतः पेयर्ड RF मॉडल (जिसमें परफेक्ट वोक्सेल अलाइनमेंट होता है) के प्रदर्शन तक नहीं पहुँचता है, लेकिन यह शारीरिक मेट्रिक्स (SegScore 75.77% बनाम पेयर्ड के लिए 76.87%) में अंतर को काफी कम कर देता है।

5. महत्व और प्रभाव (Significance and Impact)

नैदानिक प्रासंगिकता (Clinical Relevance): यह कठिन-से-प्राप्त पेयर्ड डेटा की आवश्यकता के बिना, नियमित CBCT स्कैन से उच्च-गुणवत्ता वाली, डोज़-कैलकुलेशन-रेडी CT छवियां उत्पन्न करने में सक्षम बनाता है, जिससे एडेप्टिव रेडियोथेरेपी सुलभ होती है।
पद्धतिगत उन्नति (Methodological Advancement): यह प्रदर्शित करता है कि डिस्ट्रीब्यूशन-लेवल कपलिंग को रिट्रीवल मैकेनिज्म के माध्यम से छोटे-डेटा शासन (small-data regimes) में प्रभावी ढंग से अनुमानित किया जा सकता है, जो मेडिकल इमेजिंग में फ्लो मैचिंग को लागू करने की एक बड़ी बाधा को हल करता है।
दक्षता (Efficiency): RAFM गणनात्मक रूप से कुशल है, इसके इन्फरेंस के लिए केवल 10 ODE स्टेप्स की आवश्यकता होती है (मल्टी-स्टेप डिफ्यूजन की तुलना में बहुत तेज़) और यह CycleGANs के जटिल ड्यूल-जेनरेटर आर्किटेक्चर से बचता है।
ओपन सोर्स: कोड सार्वजनिक रूप से उपलब्ध है, जो पुनरुत्पादकता (reproducibility) और आगे के अनुसंधान को बढ़ावा देता है।