ملخص تقني: التقييم المضاد للواقع يكشف عن ملفات قدرات خفية في النماذج اللغوية الكبيرة والوكلاء السريريين

بيان المشكلة

تعتمد نماذج التقييم الحالية للنماذج اللغوية الكبيرة (LLMs) والوكلاء في السياق السريري بشكل كبير على مقاييس تعتمد على التغطية، مثل تشابه النصوص أو قواعد التقييم التي تستخدم نموذج لغوي كحكم (LLM-as-judge) لمقارنة المخرجات بالسلوكيات المرجعية. هذه المقاييس تسأل: "هل تبدو المخرجات صحيحة؟" لكنها تفشل في معالجة سؤال: "هل يقوم النموذج بتحديث مخرجاته للأسباب الصحيحة؟"

هذا القصور يعد أمراً حرجاً في البيئات السريرية حيث يمكن لنظامين أن يحصلا على نفس الدرجة في مقاييس التغطية، ومع ذلك يتصرفان بشكل مختلف جذرياً تحت مدخلات مرضى متغيرة. على سبيل المثال، قد يقترح ذكاء اصطناعي متخصص في الأورام علاجاً قياسياً (مثل FOLFIRINOX) لحالة سرطان البنكرياس بغض النظر عما إذا كان المريض لم يتلقَّ علاجاً سابقاً أو فشل في علاجات سابقة. وبينما قد تكافئ مقاييس التغطية (مثل درجة مطابقة الإجماع، CMS) هذا الاتساق، إلا أنها لا تستطيع اكتشاف غياب الاستجابة السببية. ويتفاقم هذا الأمر في الوكلاء الذين يستخدمون الأدوات، والذين يمكنهم استرداد معلومات صحيحة عبر استدعاءات الأدوات، لكنهم لا يزالون يولدون توصيات تتجاهل تلك المعلومات.

المنهجية

قدم المؤلفون درجة الحساسية السببية (CSS)، وهي مقياس تدخلي مسجل مسبقاً مصمم لقياس مدى استجابة سلوك النموذج للتغيرات ذات المعنى السريري في بيانات المدخلات.

1. كتالوج التدخلات المسجل مسبقاً

تستخدم الدراسة كتالوجاً من 12 تدخلاً عبر خمس عائلات محفزة سريرياً، تم تحديدها بتنسيق YAML قبل التقييم لمنع تحيز الاختيار اللاحق (post-hoc selection bias):

• العائلة أ (قلب المؤشرات الحيوية): استبدال الحالة الخاصة بـ HER2 أو ER أو PD-L1.
• العائلة ب (العلاج السابق): حقن تاريخ من التقدم في خط علاجي سابق.
• العائلة ج (تجريد المؤشر الحيوي): حذف الإشارات إلى مؤشرات حيوية محددة.
• العائلة د (حالة الجراحة): التبديل بين تاريخ الاستئصال (مثلاً: مستأصل مقابل غير مستأصل).
• العائلة هـ (اضطراب المرحلة): تغيير مرحلة المرض.

2. آلية تسجيل الدرجات

لكل (نموذج، حالة، تدخل)، يقوم النظام بإنشاء توصية أساسية وتوصية متدخلة. يقوم نموذج لغوي حكم (الافتراضي هو gpt-5.4 مع استخدام claude-opus-4-7 عندما يكون gpt-5.4 هو موضوع التقييم لتجنب تحيز التفضيل الذاتي) بتقييم ما إذا كانت التوصية تتحدث في الاتجاه الصحيح المسجل مسبقاً.

• الدرجة: {0.0, 0.5, 1.0} تقابل (لا تغيير / إقرار بالتغيير ولكن دون تعديل / تحديث صحيح).
• المقياس: درجة CSS هي متوسط الدرجات عبر جميع الأزواج، وتُحسب بشكل تجميعي وبشكل منفصل لكل عائلة تدخل.

3. الإعداد التجريبي

• المجموعة: 224 حالة من حالات مجلس أورام الأورام الموثقة من قبل خبراء مع توصيات علاجية حقيقية.
• النماذج: ستة نماذج رائدة من ثلاث مختبرات (OpenAI, Anthropic, xAI) تم تقييمها في إعدادين:
  1. استدلال النموذج اللغوي بضربة واحدة (Single-shot LLM inference): مطالبة مباشرة واستجابة.
  2. الوكيل مستخدم الأدوات (Tool-using Agent): وكيل من نوع ReAct يستخدم أداة read_chart_section لاسترداد المعلومات، حيث تقوم التدخلات بتعديل البيانات الأساسية التي تستردها الأداة.
• الأساس (Baseline): درجة مطابقة الإجماع (CMS)، وهو مقياس استدعاء مرجح يقيس التداخل مع إجماع الخبراء.

النتائج الرئيسية

1. عكس الترتيب بين المقاييس

وجدت الدراسة عكس ترتيب شبه كامل للنماذج بين CMS (التغطية) و CSS (الاستجابة).

• الارتباط: معامل سبيرمان $\rho = -0.49$ (رغم أنه ضعيف إحصائياً بسبب $n=6$).
• تبديل الرتب: تغير ترتيب جميع النماذج الستة. النموذج الذي حل في المرتبة الأخيرة في CMS (grok-4.20-reasoning) حل في المرتبة الأولى في CSS. وعلى العكس من ذلك، هبط أفضل نموذج في CMS (gpt-5) إلى المرتبة الرابعة في CSS. كما أن gpt-5.4 الذي حل رابعاً في CMS، حل أخيراً (السادس) في CSS.

2. الثغرة الأمنية الشاملة (العائلة د)

كانت هناك نتيجة حرجة وهي الفشل الشامل لجميع النماذج الرائدة فيما يتعلق بتدخلات حالة الجراحة (العائلة د).

• الأداء: سجلت جميع النماذج $\le 17.2\%$ في CSS لهذه العائلة. أفضل أداء كان لـ (grok-4.20) بنسبة 17.2%، بينما كان الأسوأ هو (gpt-5.4) بنسبة 3.9%.
• الدلالة: لم تنجح أي من النماذج في تحديث توصيات العلاج بشكل موثوق عندما تغيرت حالة الاستئصال للمريض، وهي إشارة سلامة حرجة سريرياً فشلت مقاييس CMS في كشفها.

3. انتقال الوكيل والاستجابة الهيكلية

عند تقييمهم كوكلاء مستخدمين للأدوات على مجموعة فرعية من حالات العائلة د:

• التحسن: أدى استخدام الأدوات إلى زيادة CSS لخمسة من النماذج الستة (زيادات تتراوح بين +2.5 إلى +20.3 نقطة مئوية).
• شذوذ gpt-5.4: ظل gpt-5.4 دون تغيير (0.050 $\to$ 0.050) رغم استرداده لنفس أقسام المخطط التي استردتها النماذج المستجيبة. يشير هذا إلى عجز في الاستجابة الهيكلية بدلاً من فشل في الوصول إلى المعلومات؛ فالنموذج يسترد البيانات ولكنه يفشل في دمجها في عملية الاستدلال.

4. التحقق من الصحة

• تكرار الحكم المتقاطع: استخدام claude-opus-4-7 كحكم موحد حافظ على ترتيب الرتب ($\rho = +1.00$)، مما يؤكد أن النتائج لم تكن ناتجة عن تحيز الحكم.
• التحقق البشري: قام ثلاثة مهنيين طبيين بالتحقق من مجموعة فرعية مكونة من 100 زوج. وبينما كان الاتفاق لكل حالة متوسطاً، فإن معدلات الفشل الإجمالية للعائلة د توافقت بشكل وثيق بين أحكام النماذج اللغوية (0.10) والبشر (0.09).

الأهمية والادعاءات

يزعم البحث أن CSS يعمل كمكمل ضروري للتقييم القائم على التغطية للذكاء الاصطناत्मक السريري. وتتمثل مساهماته الرئيسية في:

1. كشف الملفات الخفية: يكشف CSS عن ملفات القدرات (مثل الحساسية لحالة الجراحة مقابل تغيير المؤشرات الحيوية) التي تحجبها مقاييس التغطية الإجمالية.
2. اكتشاف السلامة: يحدد ثغرات السلامة الشاملة (تحديداً فيما يتعلق بحالة الجراحة) التي تغفلها المقاييس القياسية لأنها لا تختبر التغيير السلوكي تحت ظروف الواقع المضاد.
3. تقييم الوكيل: ينتقل CSS مباشرة إلى تقييم الوكلاء مستخدمي الأدوات، مما يميز بين النماذج التي تفشل بسبب نقص الوصول إلى المعلومات وتلك التي لديها عجز هيكلي في تحديث الاستدلال بناءً على المعلومات المستردة.
4. الفائدة المستقبلية: يقترح المؤلفون CSS كإشارة "مكافأة كثيفة" (dense reward) مرشحة لعمليات التعلم المعزز (RL) الوكيلية المستقبلية، بالانتقال من مجرد مطابقة المخرجات الثابتة إلى الاستجابة الديناميكية.

يبقى المؤلفون متواضعين بشأن إمكانية تعميم النتائج المحددة على جميع المجالات الطبية، مشيرين إلى أن النتائج خاصة بحالات مجلس أورام الأورام، وأن حجم العينة الصغير ($n=6$ نماذج) يحد من القوة الإحصائية لادعاءات ارتباط الرتب. ومع ذلك، فإنهم يؤكدون أن منهجية المقاييس التدخلية المسجلة مسبقاً قوية وضرورية لتقييم الوكلاء السريريين للذكاء الاصطناعي.