RAPTOR+: A Visually Grounded Vision-Language Framework to Improve Clinical Trust and Auditability in Automated Cancer Referral Processing

ملخص تقني: RAPTOR+

بيان المشكلة
تعتمد الإحالات العاجلة لسرطان القولون والمستقيم (CRC) المشتبه بها غالبًا على وثائق سريرية شبه منظمة (نماذج ممسوحة ضوئيًا، فاكسات، ملاحظات مكتوبة بخط اليد)، مما يخلق اختناقات تشغيلية بسبب الحاجة إلى المراجعة والنسخ اليدوي. وبينما اعتمدت الأنظمة السابقة مثل نظام RAPTOR الأصلي على النماذج اللغوية الكبيرة (LLMs) للاستخراج المنظم، إلا أنها كانت تعتمد على مرحلة التعرف الضوئي على الحروف (OCR) منفصلة. هذه البنية عرضة لتأثيرات الخط اليدوي، واختلافات التنسيق، وجودة المسح الضعيفة. والأهم من ذلك، أنها تفتقر إلى التأسيس البصري (Visual Grounding)، مما يعني أن النظام لا يمكنه ربط البيانات المستخرجة بمناطق محددة في الوثيقة المصدر. هذا الغياب في تحديد موقع الأدلة يمنع التحقق السريري، ويؤدي إلى مخاطر "الاستخراج غير المؤسس" (القيم المهلوسة)، ويقوض إمكانية التدقيق المطلوبة في سير العمل السريري الحساس للسلامة.

المنهجية
يقدم المؤلفون RAPTOR+، وهو إطار عمل متعدد الوسائط (Multimodal) ونهاية إلى نهاية (End-to-end) يعتمد على الرؤية واللغة، مصمم لإجراء الاستخراج المنظم مع تحديد موقع الأدلة البصرية.

• مجموعة البيانات: تستخدم الدراسة مجموعة بيانات منسقة سريريًا تضم 223 نموذج إحالة لسرطان القولون والمستقيم، والتي تعكس التباين في العالم الحقيقي بما في ذلك التنسيقات غير المتجانسة، والنصوص الحرة، والتعليقات المكتوبة بخط اليد، والعلامات التحريرية. تم تقسيم البيانات إلى 176 نموذجًا للتدريب و47 نموذجًا للاختبار المحجوز. تتضمن الحقيقة الأرضية (Ground Truth) قيم الحقول المنظمة وتوصيفات دقيقة لصناديق الإحاطة (Bounding-box) للأدلة البصرية.
• بنية النظام: يستبدل RAPTOR+ خط الأنابيب الذي يبدأ بالـ OCR بمشفر-فك تشفير (Encoder-Decoder) يعتمد على المحولات متعددة الوسائط (Multimodal Transformer). يقوم بمعالجة الميزات البصرية عبر "محول الرؤية" (Vision Transformer) ويقوم بمواءمتها مع الرموز اللغوية باستخدام الانتباه المتقاطع (Cross-attention). المخرج هو كائن JSON منظم حيث يرافق كل قيمة حقل صندوق إحاطة يشير إلى الدليل المصدر.
• النماذج التي تم تقييمها: تقارن الدراسة مجموعة متنوعة من نماذج الرؤية واللغة (VLMs):
  • النماذج التجارية (Zero-Shot): Gemini 2.5 Flash وClaude Opus 4.6.
  • النماذج مفتوحة الأوزان (Zero-Shot): متغيرات Qwen3-VL (بمعلمات 2B، 4B، 8B، 32B).
  • النماذج مفتوحة الأوزان (المُدربة بدقة - Fine-Tuned): متغيرات Qwen3-VL (2B، 4B، 8B) التي تم تدريبها على صور وثائق مقترنة بأهداف JSON المنظمة التي تحتوي على القيم وإحداثيات صناديق الإحاطة.
• بروتوكول التقييم: يتم قياس الأداء باستخدام بروتوكول متعدد المعايير يفصل بين الاستخراج الدلالي وتحديد موقع الأدلة:
  • دقة القراءة (NM): الصحة الدلالية للقيمة المستخرجة.
  • دقة الدليل (EP): نسبة صناديق الإحاطة المتوقعة التي تتداخل مع أي منطقة من الحقيقة الأرضية.
  • السلامة الصارمة (Joint IoU): نسبة الحقول التي تكون فيها القيمة صحيحة و صندوق الإحاطة لديه تقاطع فوق الاتحاد (IoU) > 0.5 مع الحقيقة الأرضية.
  • دقة التدقيق (Joint IoP): مقياس أكثر تسامحًا (IoP > 0.5) يقيم الفائدة للمراجعة البشرية (Human-in-the-loop).

المساهمات الرئيسية

1. إطار تقييم مدرك للتأسيس (Grounding-Aware): يقترح المؤلفون طريقة تقييم مبتكرة تقيس بشكل مشترك الاستخراج المنظم وتحديد موقع الأدلة البصرية، مما يعالج "فجوة التأسيس" حيث تقرأ النماذج جيدًا ولكنها تشير بشكل سيئ.
2. توصيف أوضاع الفشل: تحدد الدراسة أوضاع فشل محددة ذات صلة سريريًا، وخاصة "سوء التحديد المكاني الواثق" في نماذج الـ Zero-shot (مثل Claude Opus 4.6)، حيث تولد النماذج إحداثيات لمعظم الحقول ولكن بدقة تقتر_ب من الصفر، مما يخلق شعورًا زائفًا بالموثوقية.
3. تحليل التكيف: يحلل العمل كيف يؤثر حجم النموذج والتدريب المتخصص على موثوقية التأسيس، موضحًا أن التدريب الدقيق يعمل كمفتاح هيكلي لتمكين الاستخراج القائم على الأدلة.

النتائج

• محدودية الـ Zero-Shot: بينما أظهرت نماذج الـ Zero-shot قدرات قراءة دلالية قوية (على سبيل المثال، Claude Opus 4.6 بنسبة 95.2%، وQwen3-VL-32B بنسبة 95.3%)، إلا أنها أظهرت إخفاقات جسيمة في التأسيس. حقق Gemini 2.5 Flash دقة قراءة بلغت 92.6% ولكن 1.2% فقط في السلامة الصارمة. وأظهر Claude Opus 4.6 تراجعًا أسوأ في التأسيس (0.2% سلامة صارمة)، حيث كان يشير كثيرًا إلى مناطق خاطئة رغم دقة القراءة العالية.
• تأثير التدريب الدقيق (Fine-Tuning): أدى التدريب الدقيق إلى تحسين كل من دقة القراءة والتأسيس بشكل كبير. حقق نموذج Qwen3-VL-8B المدرب دقة قراءة بلغت 96.1% و60.6% في السلامة الصارمة، وهو تحسن كبير عن نظيره في وضع الـ Zero-shot (دقة 88.4%، وسلامة 6.2%) وعن جميع النماذج المرجعية في وضع الـ Zero-shot.
• دقة الدليل: رفع التدريب الدقيق دقة الدليل من 70.1% (Zero-shot Qwen3-VL-8B) إلى 88.5%. النماذج الأصغر (2B/4B) التي لم تنتج أي صناديق إحاطة في وضع الـ Zero-shot أصبحت وظيفية بعد التدريب الدقيق، محققة تغطية عالية (82.8% و87.6%).
• المقايضات: وجدت الدراسة أنه لا توجد مقايضة بين جودة الاستخراج وموثوقية الدليل؛ فقد حسن التدريب الدقيق كليهما في آن واحد. كما تعلمت النماذج المدربة بدقة الامتناع (إخراج قيمة فارغة/null) عند عدم اليقين، مما يعطي الأولوية للمؤشرات الموثوقة على الاستخراج القسري.

الأهمية والادعاءات
يزعم البحث أن التدريب الدقيق المخصص للمهمة ضروري للفهم الموثوق والمقابل للتدقيق للوثائق السريرية. وتثبت النتائج أن القدرة على الاستخراج الدلالي وحدها غير كافية للنشر في البيئات الحرجة للسلامة؛ فبدون تأسيس أدلة قابل للتحقق، لا يمكن للأنظمة المؤتمتة دعم ثقة الأطباء أو المساءلة.

يتيح RAPTOR+ ربط قرارات الإحالة المستخرجة مباشرة بالأدلة البصرية، مما يدعم سير عمل الإنسان في الحلقة (Human-in-the-loop) حيث يمكن للأطباء التحقق بسرعة من القرارات مقابل المناطق المصدرية. ويخلص المؤلفون إلى أنه بينما يمكن لنماذج الـ Zero-shot أن تعمل كمساعدين للتدقيق لتوجيه الانتباه، إلا أنها غير مناسبة حاليًا للتحقق المؤتمت بالكامل. يوفر الإطار المقترح مسارًا نحو فرز أكثر أمانًا وكفاءة لسرطان القولون والمستقيم من خلال ضمان اقتران الأتمتة بأدلة قابلة للتحقق.