ملخص تقني: MasonNLP في مسابقة MEDIQA-SYNUR 2026

تعريف المشكلة

تتناول الورقة البحثية تحدي تحويل النصوص الحوارية بين الممرض والمريض إلى ملاحظات سريرية مهيكلة ومتوافقة مع المخطط (schema). وبينما يعد التوثيق السريري أمراً حيوياً لاستمرارية الرعاية، إلا أنه يفرض عبئاً كبيراً على الأطباء، الذين يقضون وقتاً طويلاً في مهام السجلات الصحية الإلكترونية (EHR) بدلاً من تقديم الرعاية المباشرة للمرضى. تتطلب مهمة MEDIQA-SYNUR تحديداً من الأنظمة استخراج الملاحظات السريرية الهامة من النصوص وتحويلها إلى مخطط محدد مسبقاً يتكون من 193 مفهوماً للملاحظات. يتضمن هذا المخطط قيوداً صارمة على نوع القيمة (رقمي، نصي، اختيار أحادي، اختيار متعدد) ومتطلبات صلاحية محددة للقيم الفئوية. وتكمن الصعوبة في مساحة المخرجات الكبيرة وغير المتجانسة، والحاجة إلى تجنب قيام النموذج بتوليد أسماء مفاهيم وهمية (hallucinating) أو انتهاك قيود النوع، وهي أخطاء شائعة في النماذج اللغوية الكبيرة (LLMs) تحت ظروف المخططات الصارمة.

المنهجية

يقترح المؤلفون خط معالجة (pipeline) نمطياً يعتمد على التوليد المعزز بالاسترجاع (RAG)، مصمماً لربط مخرجات النموذج اللغوي الكبير بكل من الأمثلة المسترجعة وقيود المخطط. يتكون النظام من المكونات التالية:

1. متن الاسترجاع وقاعدة المعرفة:

   • تعمل مجموعة التدريب كمتن وحيد للاسترجاع.
   • يتم تمثيل كل حالة تدريب من خلال منظورين نصيين: النص الأصلي، و"ملخص أسماء المفاهيم" المستمد من ربط معرفات المفاهيم (IDs) بأسماء المخطط الخاصة بها.
   • يتم توليد التضمينات (embeddings) باستخدام Sentence-Transformers all-MiniLM-L6-v2 للنموذج الأساسي Llama-4، و OpenAI text-embedding-3-large للنموذج الأساسي GPT-5.2.

2. استرجاع الأمثلة (RAG):

   • يتم استرجاع مجموعة مرشحة عبر تشابه جيب التمام (cosine similarity) على تضمينات النصوص.
   • يتم إعادة ترتيب المجموعة باستخدام درجة موزونة تجمع بين تشابه النص ($w_t=0.70$)، وتشابه ملخص أسماء المفاهيم ($w_c=0.25$)، والتداخل اللفظي عبر تشابه جاكارد (Jaccard similarity) ($w_l=0.05$).
   • يتم إدراج أفضل $k$ من الأمثلة (تتراوح $k \in \{3, 5, 10, 20, 30, 50\}$) في المطالبة (prompt) كأمثلة قليلة (few-shot demonstrations)، حيث يتم الربط بين نص المثال ومخرجات JSON المقابلة له (القيم الذهبية).

3. قيود المخطط (Schema Constraints):
   تقارن الدراسة بين استراتيجيتين للمطالبة لربط النموذج بالمخطط $S$:

   • المطالبة بالمخطط الكامل (Full Schema Prompting): يتلقى النموذج القائمة الكاملة لـ 193 مفهوماً، بما في ذلك المعرفات، والأسماء، وأنواع القيم، والقيم الفئوية المسموح بها.
   • المطالبة بالمخطط المرشح المختصر (Pruned Candidate Schema Prompting): يتم إنشاء مجموعة مرشحة لكل حالة $C(x)$ بناءً على تسجيل درجات المفاهيم بناءً على المطابقات اللفظية مع النص، والتشابه الدلالي مع أسماء المفاهيم، والتوسع عبر الاسترجاع (إضافة المفاهيم الموجودة في الأمثلة المسترجعة). وهذا يحد من مساحة المخرجات لتصبح مجموعة فرعية مدمجة من المفاهيم ذات الصلة.

4. الاستنتاج والمعالجة اللاحقة:

   • يتم توجيه النموذج اللغسي الكبير لإخراج قائمة JSON فقط من أزواج (id, v).
   • التوسع الحتمي (Deterministic Expansion): لمنع توليد أسماء أو أنواع وهمية، يقوم النظام بمعالجة المخرجات لاحقاً عبر البحث عن الاسم (name) ونوع القيمة (value_type) المعياري لكل معرف (id) متوقع من المخطط.
   • التحقق من المخطط: يتم التحقق من صحة التوقعات مقابل المخطط؛ حيث يتم حذف المعرفات غير المعروفة، وتطبيع القيم (على سبيل المثال، تحويل النصوص الرقمية إلى أرقام عشرية، وفرض القوائم المحددة للأنواع الفئوية).

5. تدقيق المرحلة الثانية (Second-Pass Auditing):
   مرحلة تنقية حيث يقوم نموذج مدقق بمراجعة النص الأصلي، والمخطط، وتوقعات المرحلة الأولى. ويتم توجيهه لإزالة العناصر غير المدعومة، وتصحيح مشكلات الالتزام بالمخطط، وإضافة الملاحظات المفقودة المدعومة بوضوح فقط.

تم تقييم خط المعالجة باستخدام نموذجين أساسيين: Llama-4-Scout-17B-16E-Instruct (مفتوح الأوزان) و GPT-5.2 (مغلق الأوزان).

النتائج الرئيسية

أسفرت التجارب، الملخصة في الجدول 2 من الورقة، عن مقاييس الأداء التالية (درجات F1):

• أفضل تكوين: تم تحقيق أعلى أداء باستخدام GPT-5.2 مع المطالبة بالمخطط الكامل، وRAG (مع $k=30$ مثالاً)، وتدقيق المرحلة الثانية، مما أدى إلى درجة F1 بلغت 80.36%.
• تأثير RAG: أدى تعزيز الاسترجاع (RAG) باستمرار إلى تحسين الأداء عبر كلا النموذجين وتكويني المخطط، وذلك من خلال تقليل السلبيات الكاذبة وتعزيز هيكل JSON المتوقع وتطبيع القيم.
• التفاعل مع المخطط:
  • Llama-4 (مفتوح الأوزان): قدم أفضل أداء مع المخطط المرشح المختصر (F1 بنسبة 73.20% مع RAG). ساعد تقليل مساحة المخرجات هذا النموذج الأصغر على الالتزام بالقيود والتركيز على المفاهيم ذات الصلة.
  • GPT-5.2 (مغلق الأوزان): قدم أفضل أداء مع المخطط الكامل (F1 بنسبة 80.27% مع RAG). استفاد النموذج الأكبر من السياق الكامل للتمييز بين المفاهيم المترابطة، بينما أدى الاختصار إلى انخفاض في الدقة (تحيز "يشبه القائمة المرجعية" يشجع على الاستخراج الزائد).
• تدقيق المرحلة الثانية: قدم مكاسب إضافية متواضلة (على سبيل المثال، +0.09 في F1 لـ GPT-5.2)، وذلك بشكل أساسي من خلال تصحيح أخطاء الالتزام بالمخطط والتطبيع المتبقية بدلاً من تغيير تغطية الاستخراج بشكل كبير.

تحليل الخطأ

يكشف تحليل الخطأ (الجدول 3 و4) أن معظم الأخطاء ليست خلافات طفيفة في القيم، بل هي:

• الإيجابيات الكاذبة (508 حالة): 81.9% منها كانت توقعات لمفاهيم زائفة (معرفات ليست موجودة في الحقيقة الأرضية/المرجع). شملت المفاهيم الأكثر توقعاً بشكل زائد "التشخيص الثانوي" و"تعريف المريض"، والتي كانت منطقية سريرياً ولكن نادراً ما تم تدوينها في المعيار الذهبي.
• السلبيات الكاذبة (485 حالة): 78.8% منها كانت مفاهيم مفقودة تماماً.
• مشكلات منهجية: نبع جزء كبير من الأخطاء من عدم التطابق على مستوى التمثيل، مثل الأصفار البادئة في معرفات المفاهيم (مثل "03" مقابل "3") واختلافات الترميز في الرموز الفئوية (مثل وحدات درجة الحرارة). تسلط هذه المشكلات الضوء على هشاشة المطابقة النصية الصارمة في المخططات غير المتجانسة.

الأهمية والمساهمات

تدعي الورقة ثلاث مساهمات رئيسية في مجال استخراج المعلومات السريرية (IE):

1. قيد المخطط الواعي بالنموذج (Model-Aware Schema Constraint): توضح الدراسة أن الاستراتيجية المثلى لتقييد مخرجات النموذج ليست عالمية، بل تعتمد على حجم النموذج وبنيته. فالمخططات المرشحة المختصرة مفيدة للنماذج الأصغر مفتوحة الأوزان لتقليل مساحة القرار، بينما تستفيد النماذج الأكبر المغلقة الأوزان من سياق المخطط الكامل للاستفادة من قدراتها في الاستنتاج.
2. التفاعل بين RAG والمخطط: يوفر العمل دليلاً منهجياً على أن التوليد المعزز بالاسترجاع (RAG) يحسن باستمرار الاستخراج المقيد بالمخطط، ولكن فعاليته تتأثر بكيفية تقديم المخطط للنموذج.
3. التنقية مقابل المكون الأساسي: يظهر المؤلفون أن تدقيق المرحلة الثانية يحقق تحسينات متواضلة من خلال إصلاح أخطاء التطبيع المتبقية، ولكنه لا يحل محل الآليات الأساسية لـ RAG وقيود المخطط. ومن الأفضل استخدامه كمرحلة تنقية نهائية.

بشكل عام، تشير النتائج إلى أن استخراج الملاحظات الفعال المقيد بالمخطط يتطلب استراتيجية تختار بشكل مشترك بين طرق الاسترجاع وقيود المخطط المصممة خصيصاً لقدرات النموذج اللغوي المستخدم.