MedJudgeRAG: Option-Wise Evidence Judgment with Dynamic Knowledge Graphs for Medical MCQA

ملخص تقني: MedJudgeRAG

بيان المشكلة

في مجال الإجابة على الأسئلة الطبية متعددة الخيارات (MCQA)، يهدف نظام استرجاع المعلومات المعزز بالتوليد (RAG) إلى استكمال المعرفة البارامترية للنماذج اللغوية الكبيرة (LLMs) بمعلومات خارجية متخصصة. ومع ذلك، فإن نهج "Vanilla RAG" التقليدي، الذي يقوم بإلحاق الوثائق المسترجعة بمدخلات النموذج دون تمييز، غالبًا ما يؤدي إلى تدهور أداء النموذج. يحدث هذا التدهور بسبب:

1. الأدلة المشتتة: تعتمد الإجابات الصحيحة غالبًا على أدلة مجزأة عبر وثائق متعددة، وهو ما يفشل نهج Vanilla RAG في ربطه هيكليًا.
2. الافتقار إلى التحقق: يفتقر النموذج إلى آلية للتحقق بشكل منهجي مما إذا كانت المعلومات المسترجعة تشكل دليلًا كافيًا لخيارات إجابة محددة.
3. غياب عملية اتخاذ القرار: لا توجد عملية قرار وسيطة صريحة لربط الأدلة المسترجعة باختيار الإجابة النهائية، مما يؤدي إلى دقة استنتاج قد تقل عن دقة النماذج التي تعتمد فقط على المعرفة البارامترية.

المنهجية: MedJudgeRAG

يقترح المؤلفون إطار عمل MedJudgeRAG، المصمم لهيكلة الوثائق المسترجعة في رسم بياني للمعرفة الديناميكي (Dynamic Knowledge Graph - KG) وإجراء حكم على الأدلة لكل خيار على حدة. يعمل النظام من خلال مسار تدريب تحت الإشراف (SFT) يتضمن نموذج معلم ونموذج طالب.

1. بناء الرسم البياني للمعرفة الديناميكي (Dynamic Knowledge Graph Construction)

بدلاً من تغذية النموذج بنصوص خام، يقوم النموذج باستخراج رسم بياني للمعرفة (KG) مهيكل من الوثائق المسترجعة ($D$) بناءً على السؤال ($q$) والخيارات ($O$).

• المخطط (Schema): يتكون الـ KG من توبلات الكيانات (الاسم، النوع، الوصف، الدليل) وتوبلات العلاقات (المصدر، نوع العلاقة، الهدف، الوصف، الدليل).
• القيود: تتوافق أنواع الكيانات مع 15 مجموعة دلالية من نظام المصطلحات الطبية الموحد (UMLS). كما تم تكييف العلاقات من نظام UMLS.
• مبادئ التوليد:
  • تمييزي: يتم استخراج المعلومات التي تميز الخيارات فقط.
  • مرتكز على الوثائق: يجب أن تكون جميع الكيانات والعلاقات مدعومة بالوثائق المسترجعة لمنع الهلوسة.
  • تتبع الدليل: كل عنصر يستشهد بمؤشرات الوثائق المصدرية.
  • السماح بالرسم البيالي الفارغ: إذا كانت الوثائق غير ذات صلة، يمكن للنموذج إنتاج KG فارغ لتجنب الضجيج.

2. الحكم على الأدلة لكل خيار (Option-Wise Evidence Judgment)

بعد توليد الـ KG، ينفذ النموذج تسلسل استنتاج مهيكل ($r$) يتكون من ثلاث مراحل:

• توليد الحكم (Verdict Generation): لكل خيار، يحدد النموذج حكمًا: مدعوم (وجود دليل مباشر)، مُناقض (الدليل يثبت عدم الصحة)، أو غير كافٍ (نقص في الأدلة). يتم ذلك بأسلوب "الدليل أولاً"، مما يتطلب من النموذج الاستشهاد بوثائق أو عناصر KG محددة قبل إصدار الحكم.
• اختيار الاستراتيجية (Strategy Selection): بناءً على مجموعة الأحكام، يختار النموذج استراتيجية الاستنتاج:
  • الاستناد إلى الأرضية (Grounded): إذا كان الخيار مدعومًا، يتم اختياره كإجابة.
  • الاستبعاد (Elimination): إذا لم يكن أي خيار مدعومًا ولكن بعض الخيارات مُناقضة، يقوم النموذج باستبعاد الخيارات غير الصحيحة ويستنتج بناءً على الخيارات المتبقية باستخدام المعرفة البارامترية.
  • البارامترية (Parametric): إذا كانت جميع الخيارات غير كافية، يعود النموذج إلى معرفته البارامترية الداخلية.
• الإجابة النهائية: يتم إنتاج الإجابة بناءً على الاستراتيجية المختارة.

3. استراتيجية التدريب

• إعداد المعلم والطالب (Teacher-Student Setup): يقوم نموذج معلم (GPT-5.1) بتوليد آثار استنتاج مهيكلة (KG + أحكام + قرار + إجابة) من $(q, O, D)$ دون الوصول إلى الإجابة الصحيحة أثناء التوليد. تعمل هذه الآثار كأهداف لتدريب (SFT) للنموذج الطالب (Mistral-7B أو Llama-3-8B).
• دالة الفقد الموزونة (Weighted Loss Function): يستخدم التدريب دالة فقد "Cross-Entropy" موزونة. وزن الفقد لقطعة الـ KG ($\lambda_g$) قابل للتعديل، بينما وزن قطعة الاستنتاج ثابت عند 1. يسمح هذا للنموذج بإعطاء الأولوية لتعلم استراتيجية الاستنتاج على حساب إعادة بناء الشكل السطحي المثالي للـ KG.
• أنماط فك التشفير (Decoding Modes):
  • الصريح (Explicit): يولد النموذج الـ KG، ثم مسار الاستنتاج.
  • الضمني (Implicit): يتخطى النموذج توليد الـ KG الصريح، ويقوم مباشرة بإنتاج مسار الاستنتاج، مشروطًا بالتمثيل الداخلي للـ KG.

النتائج الرئيسية

أُجريت التجارب على اختبارات MedQA و MedMCQA باستخدام نماذج Mistral-7B و Llama-3-8B، مع إعدادات استرجاع متطابقة (أفضل 5 وثائق من PubMed/كتب دراسية عبر Contriever).

• الأداء مقابل Vanilla RAG: أدى Vanilla RAG باستمرار إلى تدهور الأداء مقارنة بالأساس البارامتري (على سبيل المثال، انخفض Llama-3 بنسبة ~10.8 نقطة مئوية في MedQA). عكس MedJudgeRAG هذا الاتجاه، حيث تفوق على Vanilla RAG بما يصل إلى +17.1 نقطة مئوية (Llama في MedQA) و +11.7 نقطة مئوية (Llama في MedMCQA).
• الأداء مقابل البارامتري: تفوق MedJudgeRAG باستمرار على الأساس البارامتري، مما أظهر دمجًا ناجحًا للمعرفة الخارجية.
• الترميز الصريح مقابل الضمني:
  • الترميز الضمني (تخطي مخرجات الـ KG الصريحة) حقق عمومًا دقة أعلى وعددًا أقل بكثير من المخرجات "غير الصالحة" (حيث فشل النموذج في اختيار إجابة) مقارنة بالترميز الصريح.
  • بالنسبة لـ Llama-3، كان الترميز الضمني هو الأفضل في كلا الاختبارين.
• دراسة الاستئصال على فقدان الـ KG ($\lambda_g$):
  • ضبط $\lambda_g = 0.0$ (لا يوجد فقد مباشر على رموز KG) أدى غالبًا إلى أفضل دقة للإجابة.
  • زيادة $\lambda_g$ (إجبار النموذج على إعادة بناء الـ KG) لم تؤدِ إلى تحسين خطي في دقة الإجابة، بل أدت أحيانًا إلى تدهورها بسبب عدم تطابق الأهداف وقيود عدد الرموز (token budget).
  • يشير هذا إلى أن الـ KG يعمل بشكل أفضل كـ إشارة إشراف هيكلية أثناء التدريب بدلاً من كونه مخرجًا صريحًا مطلوبًا أثناء الاستنتاج.

الأهمية والادعاءات

يدعي البحث أن MedJudgeRAG يعالج القيود الجوهرية لـ Vanilla RAG في مجال الأسئلة الطبية متعددة الخيارات من خلال تقديم عملية استنتاج مهيكلة. وتتمثل مساهماته الرئيسية في:

1. ابتكار إطار العمل: يقترح طريقة لهيكلة الأدلة المشتتة في KG ديناميكي وإجراء حكم على الأدلة لكل خيار، مما يتغلب على تدهور الأداء المشاهد في RAG القياسي.
2. رؤية تدريبية: من خلال دراسة الاستئصال، يكشف المؤلفون أن الـ KG الديناميكي يعمل بشكل أكثر فعالية كـ إشارة إشراف هيكلية في وقت التدريب بدلاً من كونه مخرجًا صريحًا في وقت الاستنتاج. يتعلم النموذج الاستنتاج مشروطًا بهيكل الرسم البياني دون الحاجة بالضرورة إلى توليد الرسم البياني صراحة، مما يوازن بين التوجيه الهيكلي وكفاءة الاستنتاج.
3. المتانة: يثبت إطار العمل أنه مع استراتيجية الاستنتاج الصحيحة (الحكم والاستبعاد)، يمكن للوثائق المسترجعة أن تعزز بدلاً من أن تعيق أداء النماذج اللغوية الكبيرة في المجالات الطبية المعقدة.

يؤكد المؤلفون أن التحسن لا ينبع من تعلم معرفة جديدة بالمجال، بل من تعلم بناء المعرفة الديناميكية واستراتيجية استنتاج مصممة خصيصًا للأسئلة متعددة الخيارات.