Adaptive Multimodal Fusion in Radiology: Dynamic Balancing of Visual Findings and Clinical Context

في غرفة الطوارئ، يصل مريض وهو يعاني من صعوبة في التنفس. غالبًا ما تكون الخطوة الأولى للطبيب هي إجراء أشعة سينية للصدر، وهي صورة ثنائية الأبعاد تكشف عن البنية الخفية للرئتين. لعقود من الزمن، تم تدريب أنظمة الكمبيوتر على قراءة هذه الصور، حيث تعلمت رصد الظلال البيضاء للعدوى أو البقع الداكنة للسوائل التي تشير إلى المرض. لقد أصبحت أدوات الذكاء الاصطنا هذه ماهرة بشكل ملحوظ في رصد ما يمكن للعين رؤيته، محاكيةً دقة الخبراء البشر في كثير من الحالات. ومع ذلك، لا تزال هناك فجوة حرجة في كيفية تفكير هذه الآلات. في العالم الحقيقي، لا ينظر طبيب الأشعة أبدًا إلى الأشعة السينية في معزل عن غيرها؛ فهو يقرأ الصورة بينما يستحضر في آن واحد التاريخ الطبي للمريض، وعلاماته الحيوية، وملاحظات الطبيب حول سبب قدومه. هو يعلم أن ظلًا طفيفًا قد يعني جلطة دموية إذا كان المريض يعاني من معدل ضربات قلب مرتفع، أو مجرد أثر عابر لا يضر إذا كان المريض بصحة جيدة بشكل عام. غالبًا ما تغفل أنظمة الذكاء الاصطنا الحالية هذا السياق، حيث تتعامل مع الصورة باعتبارها الحقيقة الوحيدة، مما قد يؤدي إلى أخطاء عندما تكون العلامات البصرية للمرض باهتة أو مخفية.

هذا القصور هو محور دراسة جديدة تطرح سؤالاً بسيطًا ولكنه عميق: هل يمكن لنظام ذكاء اصطناعي أن يتعلم موازنة ما يراه مع ما يقرؤه، تمامًا كما يفعل الطبيب البشري؟ وضع الباحثون هدفهم لبناء نموذج لا يكتفي بمجرد إضافة النص إلى الصورة، بل يتعلم وزن كل منهما مقابل الآخر. اختبروا هذه الفكرة على مجموعة محددة من المرضى الذين حضروا إلى قسم الطوارئ وهم يعانون من ضيق في التنفس، وهو عرض يمكن أن ينتج عن فشل القلب، أو عدوى الرئة، أو أمراض التنفس المزمنة، أو جلطة دموية خطيرة في الرئة. كان التحدي يكمكم في أن بعض هذه الحالات تبدو فيها الأشعة السينية طبيعية تقريبًا، بينما يكون الوصف النصي لحالة المريض مليئًا بالدلالات. أراد الفريق معرفة ما إذا كان بإمكانهم إنشاء نظام يعرف متى يثق في الصورة ومتى يثق في الكلمات، عبر تحويل انتباهه ديناميكيًا بناءً على الحالة المعينة.

ولاختبار ذلك، جمع الباحثون مجموعة ضخمة تضم أكثر من 25,000 سجل مريض من قاعدة بيانات طبية عامة. كل سجل يربط بين أشعة سينية للصدر والتقرير السريري المقابل لها، والذي يتضمن عمر المريض، وعلاماته الحيوية مثل معدل ضربات القلب ومستويات الأكسجين، والملاحظات الأولية للطبيب. لقد اختاروا بعناية حالات تتضمن أربعة حالات محددة تسبب مشاكل في التنفس، بالإضافة إلى مجموعة من المرضى الأصحاء ليكونوا بمثابة خط أساس للمقارنة. صُممت مجموعة البيانات لتكون صعبة، حيث احتوت على العديد من الحالات التي لم تقدم فيها الأشعة السينية وحدها سوى القليل من المساعدة، لا سيما في حالة تسمى الانصمام الرئوي (الجلطة الرئوية)، حيث تسد جلطة دموية شريانًا ولكنها غالبًا لا تترك أي أثر مرئي في الأشعة السينية القياسية. قام الباحثون أولاً بتدريب نماذج ذكاء اصطناعي منفصلة للنظر في الصور فقط، وأخرى لقراءة النصوص فقط. وكما كان متوقعًا، حققت النماذج القائمة على النصوص أداءً أفضل بشكل عام لأن الملاحظات المكتوبة احتوت على التفاصيل المحددة اللازمة لتشخيص هذه الحالات المعقدة، بينما عانت النماذج التي تعتمد على الصور فقط، خاصة في حالات الجلطات الدموية.

بعد ذلك، حاول الفريق دمج هذين المصدرين من المعلومات باستخدام طرق مختلفة. بدأوا بنهج بسيط حيث يقوم الكمبيوتر بتقديم تخمين بناءً على الصورة، ثم تخمين آخر بناءً على النص، ثم يقوم بمتوسط الإجابتين. كان هذا يعمل بشكل أفضل من النظر إلى أي مصدر بمفرده، لكنها كانت عملية جامدة؛ فقد تعامل النظام مع الصورة والنص كشريكين متساويين في كل حالة، بغض النظر عما إذا كانت الأشعة السينية واضحة أو ضبابية. ثم جربوا طريقة أكثر تقدمًا حيث يقوم الكمبيوتر بدمج التفاصيل من الصورة والنص في قائمة واحدة من الميزات قبل اتخاذ القرار. أدى ذلك إلى تحسين النتائج بشكل أكبر، مما سمح للنظام برؤية الروابط بين الأنماط البصرية والكلمات المكتوبة. ومع ذلك، اشتبه الباحثون في أن النظام الذكي حقًا يجب أن يكون أكثر مرونة، وقادرًا على تحديد المصدر الأكثر موثوقية في اللحظة ذاتها.

الحل النهائي الذي اقترحوه هو نظام يطلقون عليه اسم "الدمج العصبي ذو البوابة" (Neural Gated Fusion). فبدلاً من إجبار الصورة والنص على الاندماج بطريقة ثابتة، تتضمن هذه البنية بوابة رقمية تعمل مثل المفتاح. بالنسبة لكل مريض، ينظر النظام إلى الأشعة السينية والتقرير ويحسب وزنًا لكل منهما. إذا أظهرت الأشعة السينية مشكلة واضحة وجلية، تفتح البوابة على مصراعيها لتسمح للمعلومات المرئية بالهيمنة على القرار. أما إذا كانت الأشعة السينية غامضة أو تبدو طبيعية، فإن البوابة تتحول لتسمح للنص السريري بتولي زمام المبادرة. هذا التوازن الديناميكي يسمح للنظام بالتكيف مع الاحتياجات المحددة لكل حالة. وعندما اختبروا هذا النهج الجديد، تفوق على جميع الطرق السابقة؛ حيث حقق النظام مستوى عالٍ من الدقة في تحديد الأمراض، وتميز بشكل خاص في اكتشاف الانصمام الرئوي، وهي الحالة التي فشل فيها النموذج المرئي وحده تقريبًا.

تظهر النتائج أن هذا النهج المرن هو الطريقة الأكثر فعالية لدمج الصور الطبية والسجلات المرضية. فمن خلال السماح للنظام بتنظيم كيفية اعتماده على الصورة مقابل النص بشكل ديناميكي، نجح الباحثون في ابتكار أداة أكثر قوة وموثوقية من تلك التي تكتفي بمجرد تكديس الاثنين معًا. تشير الدراسة إلى أنه لكي يتمكن الذكاء الاصطناعي من المساعدة حقًا في التشخيص الطبي، يجب أن يحاكي الطريقة التي يفكر بها الأطباء البشر: ليس من خلال معاملة كل قطعة من الأدلة على أنها متساوية الأهمية، بل من خلال معرفة متى ينبغي النظر بدقة أكبر في الصورة ومتى ينبغي الإنصات بتركيز أكبر إلى القصة التي يرويها المريض. إن هذا التحول من الجمع الثابت إلى التوازن الديناميكي يمثل خطوة مهمة نحو إنشاء ذكاء اصطناعي يمكنه التعامل مع الواقع المعقد والمتشابك للصحة البشرية.