A Unified Dual-Branch Framework for Tri-ModalMedical Image Fusion and Super-Resolution

لطالما منحت التصويرات الطبية للأطباء طريقتين متميزتين لرؤية جسم الإنسان، لكل منهما نقاط قوتها ونقاط ضعفها. أحد أنواع الفحص، مثل صورة الرنين المغناطيسي القياسية، يعمل كخريطة تفصيلية للتشريح، حيث يظهر الحواف الحادة للأعضاء، ونسيج الأنسجة، والحدود الدقيقة للهياكل. ونوع آخر، مثل الفحص الوظيفي، يعمل أشبه بخريطة حرارية للنشاط، ليكشف عن الأماكن التي يعمل فيها الجسم بجهد، أو حيث يكون التمثيل الغذائي مرتفعًا، أو حيث تنطلق الإشارات الكيميائية، وغالبًا دون إظهار الخطوط الواضحة للأعضاء نفسها. لعقود من الزمن، اضطر الأطباء إلى دمج هاتين الصورتين ذهنيًا في عقولهم للحصول على تشخيص كامل. وفي السنوات الأخيرة، تعلمت أجهزة الكمبيوتر دمج هذه الصور تلقائيًا، مما خلق صورة واحدة تجمع بين المخطط الحاد وخريطة النشاط. ومع ذلك، ظلت هناك مشكلة مستمرة، وهي أن الصور المستخدمة لهذا الدمج غالبًا ما تكون ضبابية للغاية أو منخفضة الدقة بحيث لا تظهر التفاصيل الصغيرة والحرجة اللازمة للإجراءات الدقيقة. وعندما يحاول الباحثون شحذ هذه الصور الضبابية، فإنهم غالبًا ما يفقدون المعلومات الفريدة من المسوحات المختلفة، أو يقومون بشحذ جزء من الصورة بينما يطمسون جزءًا آخر.

اقترح فريق من الباحثين في جامعة ليني في الصين طريقة جديدة لحل هذه المشكلة من خلال التعامل مع دمج الصور وشحذ التفاصيل كمهمة واحدة موحدة بدلاً من خطوتين منفصلتين. إن عملهم، الذي نُشر في مقال بحثي، يقدم نظامًا مصممًا لاستقبال ثلاثة أنواع مختلفة من المسوحات الطبية في آن واحد — اثنان يظهران البنية وواحد يظهر الوظيفة — لإنتاج صورة واحدة عالية الدقة تحافظ على أفضل الميزات من الثلاثة جميعًا. وبدلاً من مجرد دمج البيانات ثم محاولة إصلاح الضبابية، فإن طريقتهم تبني شبكة متخصصة تفهم الفرق بين معلومات "الشكل" ومعلومات "النشاط" منذ البداية. وقد وجدوا أنه من خلال فصل هذين النوعين من المعلومات إلى مسارات معالجة مختلفة ثم إعادة دمجها بعناً، يمكن للكمبيوتر إنشاء صورة نهائية أكثر وضوحًا ودقة بكثير مما تنتجه الطرق الموجودة.

يكمن جوهر هذا النهج الجديد في كيفية معالجة الكمبيوتر للبيانات الواردة. فقد صمم الباحثون إطار عمل يتكون من فرعين، أو مسارين، يعملان جنبًا إلى جنب. يخصص أحد الفرعين للصور الهيكلية، التي تحتوي على التفاصيل التشريحية مثل حدود الأنسجة والأنسجة الدقيقة. هذا المسار مضبوط للبحث عن الحواف والخطوط العريضة، مما يضمن عدم فقدان الخطوط الحادة للهندسة الجسدية. أما الفرع الآخر فهو مخصص للصور الوظيفية، التي توضح كيفية تفاعل أجزاء مختلفة من الجسم أو تمثيلها الغذائي. هذا المسار مضبوط لفهم المناطق الأوسع من النشاط والمعنى الدلالي، والتقاط "البقع الساخنة" للوظيفة البيولوجية. ومن خلال إبقاء هذين النوعين من المعلومات منفصلين أثناء المعالجة الأولية، يتجنب النظام الارتباك الذي يحدث غالبًا عندما يحاول الكمبيوتر معاملة حافة حادة وبقعة نشاط متوهجة كشيء واحد.

بمجرد أن يستخلص هذان الفرعان ميزاتهما المحددة، يجمعهما النظام باستخدام وحدة متخصصة يسميها المؤلفون "وحدة دمج المتبقي ذات الانتباه المتبادل ثنائي الاتجاه". بعبارة بسيطة، هذه هي الآلية التي تسمح للفرع الهيكلي والفرع الوظيفي بالتحدث مع بعضهما البعض والتعلم من بعضهما البعض. يسأل الفرع الهيكل الفرع الوظيفي: "أين هو النشاط الذي يطابق هذا الحرف؟" ويسأل الفرع الوظيفي: "ما هو الشكل الذي يتوافق مع هذا النشاط؟" تضمن هذه المحادثة ثنائية الاتجاه أن الصورة النهائية لا تقوم فقط بتكديس المعلومات فوق بعضها البعض، بل تدمجها حقًا. ثم يستخدم النظام هذه المعلومات الغنية والمدمجة لإعادة بناء الصورة بدقة أعلى بكثير، وتعبئة التفاصيل المفقودة بمستوى من الدقة كان من الصعب تحقيقه سابقًا.

لاختبار نظامهم، استخدم الباحثون مجموعة بيانات من الصور الطبية من جامعة هارفارد، والتي تضمنت تركيبات من المسوحات الهيكلية والمسوحات الوظيفية مثل SPECT وPET. وقارنوا طريقتهم الجديدة بمجموعة واسعة من التقنيات الموجودة المصممة إما لدمج الصور أو لشحذها، ولكن ليس كليهما في وقت واحد. وأظهرت النتائج ميزة واضحة لنهجهم الموحد. في الاختبارات التي تم فيها تكبير الصور بمقدار الضعف، أنتجت طريقتهم نتيجة بجودة محددة بلغت 28.94، وهي أعلى من أفضل طريقة تالية. وعندما تم تكبير الصور أربع مرات، كانت النتيجة 24.95، وهي تتصدر المنافسة أيضًا. وحتى عندما تم تكبير الصور ثماني مرات — وهي مهمة صعبة للغاية تؤدي عادةً إلى فقدان التفاصيل — حافظت طريقتهم على أعلى درجة جودة بلغت 21.93. تشير هذه الأرقام إلى أن النظام الجديد أفضل في الحفاظ على الكثافة الحقيقية وهيكل الأنسجة الأصلية مع إضافة الحدة اللازمة.

أكدت المقارنات البصرية للنتائج هذه النتائج أيضًا. فعندما نظر الباحثون في التفاصيل المكبرة للصور المعاد بناؤها، رأوا أن الطرق القديمة غالبًا ما كانت تنعم الأنسجة المهمة أو تطمس الحدود بين الأنسجة المختلفة. في المقابل، احتفظت الصور التي أنتجها الإطار الجديد بالأنماط الدقيقة الشبيهة بالأغصان وحافظت على حواف الهياكل حادة، حتى في أكثر المشاهد تحديًا وتكبيرًا. وكان النظام فعالًا بشكل خاص في التمييز بين مناطق النشاط العالي والمنخفض، مما ضمن عدم تسرب "البقع الساخنة" الوظيفية إلى التشريح المحيط بها. هذا المستوى من الوضوح أمر بالغ الأهمية لمهام مثل التخطيط الجراحي، حيث يحتاج الجراح إلى معرفة مكان وجود الآفة بالضبط بالنسبة للأوعية الدموية والأعصاب المحيطة بها.

أجرى الباحثون أيضًا تجارب لفهم سبب نجاح نظامهم. فقد اختبروا ما سيحدث لو أزالوا أحد الفرعين أو لو قاموا ببساطة بدمج المعلومات دون وحدة التواصل ثنائي الاتجاه الخاصة بهم. عندما استخدموا الفرع الهيكلي فقط، انخفضت جودة الصورة بشكل كبير، مما أثبت أن المعلومات الوظيفية ضرورية. وبالمثل، أدى استخدام الفرع الوظيفي فقط إلى صورة سيئة للغاية، مما أظهر أن التفاصيل التشريحية ضرورية بنفس القدر. كما وجدوا أن مجرد لصق نوعي المعلومات معًا دون آلية الانتباه الخاصة لم يكن كافيًا؛ فقد احتاج النظام إلى ذلك التفاعل النشط ثنائي الاتجاه لدمج البيانات بفعالية حقًا. علاوة على على ذلك، اكتشفوا أن الفرعين يحتاجان إلى استخدام أحجام مختلفة من المرشحات (filters) لمعالجة الصور، حيث يستخدم الفرع الهيكلي مرشحات أصغر لالتقاط التفاصيل الدقيقة بينما يستخدم الفرع الوظيفي مرشحات أكبر لفهم الأنماط الأوسع. كان هذا الاختلاف في التصميم مفتاحًا لنجاح النظام.

على الرغم من هذه النجاحات، يشير المؤلفون بحذر إلى قيود عملهم والتحديات المتبقية قبل أن يمكن استخدام هذه التكنولوجيا على نطاق واسع في المستشفيات. يفترض النظام حاليًا أن المسوحات المختلفة متوافقة تمامًا مع بعضها البعض، مما يعني أن نفس الجزء من الجسم يقع في نفس المكان بالضبط في كل صورة. في بيئة سريرية حقيقية، يتحرك المرضى، وقد تستخدم آلات مختلفة زوايا مختلفة قليلاً، مما قد يربك النظام. بالإضافة إلى ذلك، تتطلب الطريقة وجود الأنواع الثلاثة من المسوحات؛ فإذا كان لدى المريض نوعان فقط، فلن يتمكن النظام من العمل كما هو مصمم. كما يعتمد تدريب النظام على امتلاك صور مرجعية عالية الجودة للتعلم منها، وهي صور لا تتوفر دائمًا في العالم الحقيقي. ويقترح الباحثون أن العمل المستقبلي سيحتاج إلى معالجة هذه المشكلات، ربما من خلال تعليم النظام كيفية التعامل مع الصور غير المتوافقة أو العمل مع بيانات غير مكتملة، لجعل التكنولوجيا قوية بما يكفي للاستخدام الطبي اليومي.

في نهاية المطاف، يمثل هذا البحث خطوة واعدة نحو كيفية مساعدة الكمبيوتر في التشخيص الطبي. فمن خلال الاعتراف بأن شكل الجسم ووظيفة أنسجته هما نوعان مختلفان من المعلومات اللذين يحتاجان إلى معالجة مختلفة، استطاع الباحثون إنشاء أداة يمكنها إنتاج صور أكثر وضوحًا وتفصيلًا من مصادر متعددة. هذا النهج الموحد لا يدمج الصور فحسب، بل يعيد بناء رؤية أكثر اكتمالًا ودقة لحالة المريض، مما قد يساعد الأطباء في اتخاذ قرارات أفضل وتخطيط علاجات أكثر دقة. وبينما لا يزال الطريق نحو التطبيق السريري قيد التمهيد، فإن القدرة على توليد صور طبية مدمجة عالية الدقة من وسائط متعددة تمثل تقدمًا كبيرًا في مجال تحليل الوسائط المتعددة الطبية.