A Modular Agent for Reliable and Auditable Spatial Relation Verification in CT Scans
تقدم هذه الورقة عميلاً برمجياً نموذجياً للتصوير الطبي يعزز التحقق الموثوق والقابل للتدقيق من العلاقات المكانية في الأشعة المقطعية عبر تفكيك المهمة إلى تحليل لغوي، وتحديد المواقع التشريحية، وتحقق هندسي حتمي، محققاً دقة وقابلية تفسير أعلى بكثير من نماذج الرؤية واللغة المتكاملة.
المؤلفون الأصليون:Simon Vincent Abel, Heiko Hillenhagen, Michael Götz, Timo Ropinski, Ayhan Can Erdur, Daniel Santak Wolf
في عالم التصوير الطبي، أصبحت الحواسيب بارعة بشكل متزايد في النظر إلى صور جسم الإنسان. هذه الأنظمة، التي تُسمى غالباً نماذج الرؤية واللغة، يمكنها قراءة المسح الضوئي ووصف ما تراه، تماماً كما قد يفعل طبيب الأشعة. ويجري اختبار هذه الأنظمة لمعرفة ما إذا كان بإمكانها المساعدة في كتابة التقارير، أو الإجابة عن أسئلة حول حالة المريض، أو حتى إجراء محادثة مع الطبيب. ومع ذلك، هناك نوع محدد من التفكير لا تزال هذه الآلات الذكية تعاني فيه: وهو فهم مكان الأشياء بدقة بالنسبة لبعضها البعض. ففي المسح الطبي، لا يعد معرفة أن الورم يقع على يسار الكبد، أو أن الكسر فوق الركبة، مجرد تفصيل ثانوي؛ بل هو غالباً الفرق بين التشخيص الصحيح والخطأ الخطير. فإذا خمن الكمبيوتر موقع اكتشاف ما، فقد يؤدي ذلك إلى إجراء جراحة في الجزء الخطأ من العمود الفقري أو تفسير خاطئ لكيفية انتشار المرض. ولكي تحظى هذه الأدوات بالثقة في المستشفى، يجب عليها أن تفعل أكثر من مجرد تقديم إجابات تبدو منطقية؛ بل يجب عليها إثبات إجاباتها من خلال الإشارة إلى الدليل الفعلي في الصورة.
لقد طور فريق من الباحثين من جامعات في ألمانيا طريقة جديدة لحل هذه المشكلة. فبدلاً من مطالبة برنامج كمبيوتر واحد شامل بالنظر إلى مسح مقطعي (CT) وتخمين الإجابة على سؤال مثل "هل الكبد على يسار الطحال؟"، قاموا ببناء نظام يفكك المهمة إلى خطوات أصغر وأكثر قابلية للإدارة. لقد أنشأوا "عميلاً نموذجياً" (modular agent)، وهو في الأساس فريق من الأدوات المتخصصة التي تعمل معاً تحت إشراف متحكم مركزي. فعندما يطرح المستخدم سؤالاً، لا يحاول النظام الإجابة عليه دفعة واحدة؛ أولاً، يقوم بترجمة السؤال اللغوي الطبيعي إلى قائمة واضحة ومنظمة لما يجب العثين إليه. بعد ذلك، يستخدم كاشفاً مخصصاً للعثور على أعضاء محددة في الصورة، مع تحديد مواقعها بدقة. وأخيراً، يقوم حاسب بسيط يعتمد على القواعد بالتحقق من المسافة والاتجاه بين تلك المواقع المحددة لتحديد ما إذا كانت العبارة صحيحة أم خاطئة. هذا النهج يزيل التخمين من القرار النهائي، معتمداً بدلاً من ذلك على قياسات دقيقة ومنطق واضح.
اختبر الباحثون هذا النظام الجديد مقابل النماذج القياسية "الكل في واحد" باستخدام مجموعة من 938 سؤالاً حول مسوحات مقطعية للبطن. وقد أدت النماذج القياسية، التي تحاول الإجابة على السؤال في خطوة واحدة، أداءً سيئاً للغاية، حيث أجابت بشكل صحيح في حوالي نصف الحالات فقط، وهو ما يكاد لا يتجاوز التخمين العشوائي. وفي المقابل، كان النظام النموذجي الجديد أكثر نجاحاً؛ فعندما استخدم الفريق نموذج لغة محدداً للمساعدة في تشغيل نظامهم، حقق دقة بلغت 94.1 بالمائة. وهذا يعني أنه من بين كل 100 سؤال، أجاب النظام بشكل صحيح على 9ជា 94 منها. كان التحسن دراماتيكياً، حيث مثل قفزة تزيد عن 42 نقطة مئوية عن أفضل نموذج قياسي. كما قدم النظام سجلاً واضحاً لكيفية وصوله إلى كل إجابة، موضحاً بالضبط الأعضاء التي وجدها وكيفية قياس المساحة بينها.
وما يجعل هذه النتيجة مهمة بشكل خاص ليس فقط الدرجة العالية، بل شفافية العملية. فبسبب بناء النظام في مراحل منفصلة، استطاع الباحثون النظر في أي خطأ ورؤية أين حدث بالضبط. وقد وجدوا أنه عندما أخطأ النظام في الإجابة، كان ذلك دائماً تقرياً بسبب تعثر الأداة التي تجد الأعضاء في تحديد مركزها بدقة، أو لأنها فشلت في العثور على عضو ما. أما الجزء من النظام الذي يتحقق من الرياضيات والمنطق فلم يرتكب خطأً واحداً من تلقاء نفسه. هذه القدرة على تتبع الخطأ والوصول به إلى خطوة محددة هي شيء لا تستطيع النماذج القياسية "الكل في واحد" القيام به. فمع تلك النماذج، إذا كانت الإجابة خاطئة، فمن المستحيل معرفة ما إذا كان الكمبيوتر قد أساء فهم السؤال، أو فشل في رؤية العضو، أو ببساء خلط بين العلاقات المكانية. إن النظام الجديد يحول "الصندوق الأسود" إلى عملية واضحة وقابلة للتدقيق.
يقر الباحثون بأن نظامهم الحالي محدود بفحص العلاقات البسيطة (يمين ويسار أو فوق وتحت) في شرائح ثنائية الأبعاد من المسح المقطعي. فهو لا يتعامل بعد مع الأحجام المعقدة ثلاثية الأبعاد أو قياس المسافات بين الأجسام. ومع ذلك، فإن نجاح هذا النهج يشير إلى مسار واعد لمستقبل الذكاء الاصطناł الطبي. فمن خلال استبدال الأمل في أن يتمكن نموذج واحد من فعل كل شيء بشكل مثالي باستراتيجية تستخدم أدوات متخصصة لمهام محددة، أظهر الفريق أنه يمكن جعل الحواسيب أكثر موثوقية في فهم التخطيط الفيزيائي لجسم الإنسان. يوفر هذا التصميم النموذجي طريقة لبناء مساعدين طبيين ليسوا دقيقين فحسب، بل وموثوقين أيضاً، لأن منطقهم يمكن رؤيته والتحقق منه في كل خطوة.
ملخص تقني: وكيل معياري للتحقق الموثوق والقابل للتدقيق من العلاقات المكانية في صور الأشعة المقطعية (CT)
بيان المشكلة يعد الفهم المكاني الموثوق شرطًا أساسيًا حاسمًا لأنظمة الرؤية واللغة الطبية (VLMs) المخصصة لدعم توليد التقارير الإشعاعية وفهم الصور المهيكل. وبينما تُظهر نماذج VLMs الحديثة واعدًا في مختلف مهام التصوير الطبي، تشير الأدلة الأخيرة إلى أنها لا تزال ضعيفة في الاستدلال المكاني المنضبط. وتحديدًا، تواجه هذه النماذج صعوبة في ربط العلاقات المكانية (مثل: يسار/يمين، فوق/تحت) بالأدلة الصورية بشكل موثوق، وغالبًا ما تفشل في العلاقات التركيبية والمفاهيم المكانية الأساسية. وفي مجال الأشعة، حيث يجب أن تصف التقارير النتائج بتحديد تشريحي واضح، تشكل حالات الفشل هذه مخاطر على دقة التشخيص، مما قد يؤدي إلى أخطاء مثل إجراء جراحة في مستوى خاطئ من العمود الفقري أو سوء تفسير العلاقات بين الأورام. علاوة على ذلك، تفتقر نماذج VLMs التي تعمل من البداية إلى النهاية (end-to-end) إلى القدرة على تقديم أدلة يمكن التحقق منها لقراراتها المكانية، مما يخلق عقبات أمام النشر السريري بسبب ضعف الربط البصري والهلوسة.
المنهجية يقترح المؤلفون وكيلًا معياريًا للتصوير الطبي مصممًا للتحقق الثنائي من العلاقات المكانية في شرائح الأشعة المقطعية المحورية. وبخلاف نماذج VLMs التي تتنبأ بالإجابات مباشرة، يقوم هذا النظام بتفكيك المهمة إلى مراحل صريحة وقابلة للتدقيق باستخدام بنية هجينة:
نظرة عامة على البنية: يحافظ النظام على واجهة محادثة قياسية لنماذج VLMs، لكنه يفوض عمليات الاستدلال البصري الداخلية إلى أدوات متخصصة. يقوم متحكم مركزي يعتمد على VLM (باستخدام LangChain للتنسيق) باستلام زوج (الصورة-الاستعلام)، واستخراج الاستعلام الجوهري، وتوجيهه إلى مسار تحقق مكاني مخصص.
مسار التحقق المكاني: يتكون هذا المسار من أربع مراحل متميزة:
استخراج الصف (Tuple Extraction): يقوم محلل خفيف الوزن (مع وجود نظام احتياطي يعتمد على VLM) بتحويل الاستعلامات اللغوية الطبيعية إلى صفوف علاقات مهيكلة (على سبيل المثال، تحويل "هل الكبد يسار الطحال؟" إلى (الكبد، يسار، الطحال)).
مطابقة الأنطولوجيا (Ontology Matching): يتم تعيين الكيانات المستخرجة إلى فئات كاشفة معيارية. وفي حال فشل عملية التعيين، يعيد النظام نتيجة غير صالحة مع إدخال سجل تدقيق.
التحديد الموضعي (Localization): يقوم كاشف يعتمد على نموذج YOLO بتحديد المواقع الهيكلية المستعلم عنها في شريحة الأشعة المقطعية، ويمرر فقط صندوق الإحاطة (bounding box) الأعلى ثقة لكل فئة إلى المرحلة التالية.
التحقق الحتمي (Deterministic Verification): يتم حساب القرار المكاني النهائي من مراكز الأجسام المكتشفة باستخدام قواعد هندسية حتمية (مثل مقارنة الترتيب الأفقي أو الرأسي). لا يتنبأ أي نموذج عصبي بالقيمة الحقيقية النهائية؛ بل يتم اشتقاق القرار صراحةً من الإحداثيات المقدمة من الأدوات.
القابلية للتدقيق (Auditability): يسجل النظام الحالات الوسيطة (المطالبة، الاستعلام المستخرج، مطابقة الأنطولوجيا، الاكتشافات، المقارنة الهندسية) لتمكين التحديد الدقيق لمواضع الفشل.
المساهمات الرئيسية
بنية الوكيل المعياري: تقديم وكيل تصوير طبي موجه نحو المهام يحافظ على واجهة VLM قياسية، بينما يفوض داخليًا الاستدلال البصري إلى أدوات متخصصة وقابلة للتدقيق.
التحقق المكاني الصريح: تصميم مسار استدلال يستبدل تنبؤات VLM المعرضة للهلوسة بمزيج من التحديد التشريحي القوي (YOLO) والتحقق الهندسي الحتمي.
التقييم المرحلي والأداء المتفوق: إثبات أن الوكيل المعياري يتفوق بشكل كبير على نماذج VLM المباشرة (end-to-end). ينقل هذا العمل التقييم من دقة "الصندوق الأسود" إلى تحديد دقيق للفشل على مستوى كل وحدة، مما يحدد بالضبط أين تنهار مسارات الاستدلال.
النتائج تم تقييم النهج باستخدام مجموعة اختبار MIRP للأسئلة والأجوبة المكانية (938 زوجًا من الصور والأسئلة) ومقارنته بنماذج VLM تمثيلية تعمل من البداية إلى النهاية (MedGemma 4b و Qwen2-VL 7b).
الأداء: حقق أفضل تكوين هجين (Qwen2-VL + الوكيل الهجين) دقة بنسبة 94.1% ومعامل F1 بنسبة 94.2%. ويمثل هذا تحسنًا قدره 42.5 نقطة مئوية عن التلقين المباشر لنموذج Qwen2-VL (الذي حقق دقة 51.6%). كما أظهر نموذج MedGemma الهجين مكاسب كبيرة، حيث وصل إلى دقة 91.6% مقارلة بـ 51.8% للنموذج المباشر الأساسي.
مقارنة الخطوط المرجعية: أدت نماذج VLM المباشرة أداءً قريبًا من مستوى الصدفة (~52% دقة)، وهو ما يتوافق مع نتائج لوحة المتصدرين السابقة على اختبار MIRP.
تحليل الفشل: في أفضل تكوين هجين، تم تحليل 55 حالة خاطئة. كان المصدر المهيمن للخطأ هو التحديد الموضعي غير الدقيق بواسطة نموذج YOLO (28 حالة، 50.9%)، يليه أخطاء في التحليل/استخراج الاستعلام (15 حالة، 27.3%) والاكتشافات المفقودة (12 حالة، 21.8%). لم تُعزَ أي أخطاء إلى استخراج الأسئلة، أو التوجيه، أو مطابقة الأنطولوجيا، أو الغموض الهندسي، أو التنسيق.
جودة المخرجات: لم يتم ملاحظة أي مخرجات ثنائية غير صالحة في تكوين الوكيل الهجين.
الأهمية والادعاءات يفترض البحث أن التحقق المكاني المعياري الصريح يعمل كحجر بناء واعد لوكلاء التصوير الطبي الموجهة نحو التقارير في المستقبل. تكمن الأهمية في مجالين رئيسيين:
سد فجوة الربط البصري: من خلال استبدال التنبؤات متعددة الوسائط الضمنية بالاكتشافات التشريحية الصريحة والمقارنات الإحداثية الحتمية، نجح النظام في معالجة إخفاقات الربط البصري الشائعة في نماذج VMs الحالية.
الاستدلال القابل للتدقيق: يكشف التصميم المعياري عن التمثيلات الوسيطة، مما يسمح بنسب الفشل صراحةً إلى وحدات محددة (مثل الكشف مقابل التحليل) بدلاً من بقائها مخفية داخل تنبؤ "الصندوق الأسود". وهذا أمر بالغ الأهمية للتطبيقات الطبية حيث لا تكفي الإجابة المقبولة دون دليل صوري يمكن تتبعه.
يشير المؤلفون إلى أنه بينما يقتصر التنفيذ الحالي على العلاقات المكانية الثنائية ثنائية الأبعاد في شرائح الأشعة المقطعية المحورية ولا يعالج بعد الاستدلال الحجمي الكامل أو المفاهيم المكانية المعقدة (الاحتواء، التداخل)، فإن الطبيعة المعيارية لإطار العمل تسمح بالدمج المستقبلي لأدوات التوجيه ثلاثي الأبعاد والقياس الحجمي. يضع هذا العمل أساسًا لتوسيع إطار العمل الوكيلي ليشمل مسارات سريرية إضافية قابلة للتدقيق.