Agent Role Structure and Operating Characteristics in Large Language Model Clinical Classification: A Comparative Study of Specialist and Deliberative Multi-Agent Protocols

ملخص تقني لورقة بحثية بعنوان: "هيكل أدوار الوكيل وخصائص التشغيل في التصنيف السريري للنماذج اللغوية الكبيرة: دراسة مقارنة بين بروتوكولات الوكيل المتخصص والبروتوكولات التداولية"

1. بيان المشكلة

بينما تُستخدم النماذج اللغوية الكبيرة (LLMs) بشكل متزايد في دعم القرار السريري، إلا أن التأثير المحدد لـ تفكيك الأدوار الداخلية ضمن أنظمة الوكلاء المتعددين لا يزال غير مفهوم بشكل كافٍ. غالبًا ما تخلط الدراسات السابقة التي تقارن بين التلقين أحادي الوكيل وتلقين الوكلاء المتعددين بين التغييرات الهيكلية وبين الاختلافات في تهيئة النموذج، أو بيانات التدريب، أو معلمات فك التشفير. وبناءً على ذلك، ليس من الواضح ما إذا كانت فروق الأداء الملحوظة في مهام التنبؤ السريري تعود إلى هيكل أدوار الوكيل (مثل التخصص مقابل التعميم) أم إلى متغيرات تجريبية أخرى. تسعى هذه الورقة إلى عزل تفكيك الأدوار كمتغير وحيد تم التلاعب به لتحديد كيف يغير بشكل منهجي سلوك التصنيف وخصائص التشغيل (الحساسية مقابل النوعية) دون تعديل أوزان النموذج.

2. المنهجية

تستخدم الدراسة تصميمًا تجريبيًا محكمًا يقارن بين بروتوكولين حتميين للوكلاء المتعددين تحت ظروف متطابقة.

• الإعداد التجريبي:

  • النموذج: تستخدم جميع الوكلاء نفس النموذج الأساسي (llama3.1:8b) بأوزان ثابتة.
  • فك التشفير: إعدادات حتمية (درجة الحرارة = 0) لضمان قابلية التكرار.
  • سير العمل: يستخدم كلا البروتوكولين هيكل "الرسم البياني الموجه غير الدوري" (DAG)، حيث يقوم الوكلاء في المستويات العليا بتوليد تقييمات وسيطة مهيكلة، والتي يتم بعد ذلك معالجتها بواسطة وكيل مُحكّم في المستوى الأدنى.
  • مجموعات البيانات: مجموعتان من البيانات السريرية الجدولية من مستودع UCI:
    1. مرض قلب كليفلاند (Cleveland Heart Disease): 303 سجلًا، 13 ميزة (تصنيف ثنائي: وجود المرض/عدم وجوده).
    2. سكري سكان الهنود بِيما (Pima Indians Diabetes): 768 سجلًا، 8 ميزات (تصنيف ثنائي).
  • الضبط (Control): تم تثبيت أوزان النموذج، ودرجة حرارة فك التشفير، والميزانية الحسابية، ومنطق التجميع، وكود التنفيذ عبر جميع التجارب.

• البروتوكولات المقارنة:

  1. التداولي العام (Generic Deliberative - GD): وكيلان سريريان "عامان" يعملان بالتوازي. يقوم كل وكيل بتقييم سجل المريض بالكامل بشكل مستقل وإنتاج رأي مهيكل (إشارة، قوة، وتبرير).
  2. المتخصص في الميزات (Feature-Specialist - FS): وكيلان "متخصصان" يعملان بالتوازي. يُقيد كل وكيل بتقييم ميزة سريرية واحدة محددة فقط (على سبيل المثال، وكيل واحد ينظر إلى ضغط الدم، والآخر إلى مستوى الجلوكوز). يقدم كل منهما آراء مهيكلة بناءً على الميزة المخصصة له فقط.
  • التحكيم: في كلتا الحالتين، يتلقى الوكيل الثالث (المُحكّم) سجل المريض الكامل والمخرجات المهيكلة من الوكيلين في المستويات العليا لاتخاذ التنبؤ الثنائي النهائي.

• مقايئات التقييم:

  • مقاييس التصنيف القياسية: الدقة (Accuracy)، الدقة الكلية (Macro-Precision)، الاستدعاء الكلي (Macro-Recall)، وF1-Score الكلي (Macro-F1).
  • خصائص التشغيل: الحساسية (Sensitivity - استدعاء الفئة الموجبة) مقابل النوعية (Specificity - استدعاء الفئة السالبة).
  • مصفوفات الارتباك (Confusion matrices) لتحليل توزيع الأخطاء (الإيجابيات الكاذبة مقابل السلبيات الكاذبة).

3. المساهمات الرئيسية

• عزل تفكيك الأدوار: تعد هذه الدراسة الأولى التي تعزل بدقة هيكل الدور الداخلي كمتغير مستقل في التصنيف السريري للنماذج اللغوية الكبيرة، مما يثبت أن بنية التلقين وحدها يمكن أن تغير خصائص التشغيل.
• إثبات التحيز الاستقرائي: توضح الدراسة أن تنظيم الأدوار يعمل كـ "تحيز استقرائي مهيكل"، مما يغير توزيع الأخطاء (المقايضة بين الحساسية والنوعية) دون أي تغيير في معلمات النموذج أو التدريب.
  ً* التأثيرات المعتمدة على مجموعة البيانات: تكشف الورقة أن تأثير تخصص الأدوار ليس موحدًا؛ بل يعتمد بشكل كبير على طبيعة مجموعة البيانات (مثل الميزات الفئوية مقابل المستمرة، وعدم توازن الفئات).

4. النتائج

تظهر النتائج أن تغيير هيكل الدور يعيد تشكيل الأداء بشكل منهجي، لكن اتجاه هذا التغيير يختلف باختلاف مجموعة البيانات:

• مجموعة بيانات مرض قلب كليفلاند:

  • تفوق المتخصص في الميزات (FS) على التداولي العام (GD) في الدقة الإجمالية (0.72 مقابل 0.65) وفي F1-Score الكلي (0.71 مقابل 0.65).
  • التحول التشغيلي: أدى نظام FS إلى تحويل نقطة التشغيل نحو نوعية أعلى (+0.22) وحساسية أقل (-0.13).
  • تحليل الخطأ: قلل نظام FS بشكل كبير من الإيجابيات الكاذبة (29 مقابل 66) ولكنه زاد من السلبيات الكاذبة (57 مقابل 39). يشير هذا إلى أن تقييد الوكلاء بميزة واحدة يمنع تراكم الإشارات الضعيفة في تشخيص إيجابي كاذب، مما يجعل النظام أكثر تحفظًا.

• مجموعة بيانات سكري سكان الهنود بِيما:

  • تفوق التداولي العام (GD) على المتخصص في الميزات (FS) في الدقة الإجمالية (0.68 مقابل 0.51) وفي F1-Score الكلي (0.64 مقابل 0.49).
  • التحول التشغيلي: تسبب نظام FS في عدم تماثل فئوي صارخ، حيث حقق استدعاءً عاليًا جدًا للفئة الموجبة (0.95) ولكن استدعاءً منخفضًا للغاية للفئة السالبة (0.27).
  • تحليل الخطأ: أدى نظام FS إلى زيادة هائلة في الإيجابيات الكاذبة (365 مقابل 104) مقارنة بنظام GD. في هذا السياق، أدى تقسيم البيانات حسب الميزات إلى فرط في الحساسية، حيث تسببت الميزات الفردية في تصنيفات إيجابية حتى عندما لم يكن السجل الإجمالي يدعم ذلك.

5. الأهمية والآثار المترتبة

• التصميم المعماري كآلية تحكم: تثبت النتائج أن بنية تلقين الوكلاء المتعددين ليست مجرد تفصيل تنفيذي سطحي، بل هي قرار نمذجة جوهري. يمكن استخدامها كآلية صريحة لضبط المقايضة بين الحساسية والنوعية في الأنظمة الحرجة من حيث السلامة.
• النشر السياقي:
  • في السيناريوهات التي تكون فيها الإيجابيات الكاذبة مكلفة (مثل قلق المرضى غير المبرر أو الفحوصات التكميلية التدخلية)، قد يكون هيكل المتخصص في الميزات (كما في نتائج كليفلاند) مفضلًا لتقليل الضوضاء.
  • في السيناريوهات التي تكون فيها السلبيات الكاذبة حرجة (مثل تفويت التشخيص)، قد يكون نهج التداولي العام (كما في نتائج بِيما) أكثر أمانًا، لأنه يسمح بالتفكير الشمولي الذي يمكنه دمج الإشارات الضعيفة.
• الاتجاهات المستقبلية: يرى المؤلفون ضرورة صياغة أطر عمل لضبط سلوك النماذج اللغوية الكبيرة من خلال التلاعب المنهجي بتفكيك الأدوار. يجب أن تستكشف الأعمال المستقبلية هذه التأثيرات في المهام متعددة الفئات، والسجلات الطبية الإلكترونية عالية الأبعاد، ومع فك التشفير الاحتمالي لفهم المعايرة والقدرة على التعميم بشكل أفضل.

في الختام، تثبت الورقة أن كيفية توجيه النموذج اللغوي الكبير لتنظيم تفكيره الداخلي (متخصص مقابل عام) يغير بشكل جذري ملف اتخاذ القرار لديه، مما يوفر وسيلة جديدة لتحسين أنظمة الذكاء الاصماعي السريري دون الحاجة لإعادة تدريب النماذج.