LLM StructCore: Schema-Guided Reasoning Condensation and Deterministic Compilation
تقدم هذه الورقة بحثًا حول LLM StructCore، وهو إطار عمل مكون من مرحلتين وموجه بالمخطط (schema-guided)، يقوم بتفكيك المهمة الصعبة المتمثلة في ملء نماذج تقارير الحالات السريرية المكونة من 134 عنصرًا إلى ملخص استدلالي يعتمد على النماذج اللغوية الكبيرة ومستقل عن اللغة، يتبعه مترجم (compiler) حتمي، مما يحقق أداءً قويًا في تحدي CL4Health 2026 لضيق التنفس مع إدارة الضجيج وقيود المخرجات الصارمة بفعالية.
تخيل أنك طبيب تحاول ملء نموذج تأمين ضخم يتكون من 134 سؤالاً (نموذج تقرير حالة - CRF) بناءً على ملاحظة مريض مكتوبة بخط اليد وغير منظمة. الملاحظة مليئة بالكلمات العامية، والاختصارات، والتفاصيل المفقودة. إذا أخطأت في التخمين، فسترفض شركة التأمين النموذج بأكمله. وإذا تركت أشياء فارغة بينما كان ينبغي عليك ملؤها، فستتعرض للعقوبة.
تصف هذه الورقة نظاماً ذكياً يتكون من خطوتين يسمى LLM StructCore، والذي يحل هذه المشكلة عن طريق تقسيم العمل بين "مفكر مبدع" و"روبوت صارم".
إليك كيف يعمل، باستخدام تشبيهات بسيطة:
المشكلة: "كابوس الـ 134 بنداً"
عادةً، يحاول الناس الطلب من ذكاء اصطنا-عي فائق الذكاء (نموذج لغوي كبير - LLM) قراءة الملاحظة وملء جميع الصناديو الـ 134 دفعة واحدة.
المشكلة: يصاب الذكاء الاصطناعي بالارتباك. قد يخترع حقائق (يهلوس)، أو يخطئ في التنسيق، أو يغفل عن حقيقة أن بنداً معيناً هو "غير معروف".
النتيجة: يتم رفض النموذج لأن الذكاء الاصطناعي حاول أن يكون مبدعاً أكثر من اللازم.
الحل: "المهندس والمعماري"
أدرك المؤلفون أنهم بحاجة إلى الفصل بين التفكير وبين اتباع القواعد. لقد بنوا مساراً يتكون من مرحلتين:
المرحلة الأولى: "المساعد التنفيذي" (المفكر المبدع)
بدلاً من الطلب من الذكاء الاصطناعي ملء الـ 134 صندوقاً، يطلبون منه القيام بشيء أبسط بكثير: تلخيص قصة المريض في 9 فئات فقط.
التشبيه: تخيل مديراً تنفيذياً (الذكاء الاصطناعي) يشعر بالإرهاق من تقرير مكون من 100 صفحة. بدلاً من الطلب منه ملء جدول بيانات، تطلب منه كتابة بريد إلكتروني مكون من 9 نقاط رئيسية لمساعده.
النقطة 1: من هو المريض؟ (البيانات الديموغرافية)
النقطة 2: ما هي علاماته الحيوية؟ (العلامات الحيوية)
النقطة 3: ما هي الفحوصات المخبرية التي أُجريت؟ (المختبر)
...وهكذا لـ 9 فئات.
الحيلة: يُطلب من الذكاء الاصطنا-عي أن يكون صادقاً بصرامة. إذا لم تذكر الملاحظة شيئاً، يجب على الذكاء الاصطنا-عي كتابة "غير معروف". هو لا يخمن، بل يقوم فقط بتكثيف الملاحظة الفوضوية إلى ملخص منظم ونظيف.
لماذا ينجح هذا: لأن الذكاء الاصطنا-عي يحتاج فقط لإدارة 9 "سلال" بدلاً من 134 صندوقاً محدداً، فهو نادراً ما يرتكب الأخطاء. الأمر يشبه أن تطلب من طاهٍ "قائمة بالمكونات" بدلاً من "طهي الوجبة كاملة بإتقان".
المرحلة الثانية: "الروبوت الصارم" (المُجمّع الحتمي)
بمجرد أن ينتهي الذكاء الاصطنا-عي من ملخصه المكون من 9 نقاط، يتولى قطعة من كود الكمبيوتر القياسي (بدون تدخل الذكاء الاصطنا-عي) المهمة.
التشبيه: تخيل روبوت مصنع صارم يتلقى البريد الإلكتروني المكون من 9 نقاط من المدير التنفيذي. مهمته هي ترجمة تلك النقاط التسع إلى النموذج النهائي المكون من 134 صندوقاً.
الترجمة: يقرأ "معدل ضربات القلب: 105 نبضة في الدقيقة (سريع)" ويقوم تلقائياً بملء خانة "معدل ضربات القلب" بكلمة "تسارع نبضات القلب" (المصطلح الطبي الرسمي).
التحقق من الحقائق: لديه كتاب قواعد. إذا ذكرت ملاحظة المدير التنفيذي "تاريخ إصابة بالسرطان"، ولكن الروبوت رأى كلمة "فحص" أو "تاريخ عائلي"، فإنه يعرف ألا يملأ خانة "سرطان نشط". إنه يعمل كبوابة أمان لمنع الإنذارات الكاذبة.
ملء الفجوات: إذا لم تذكر ملخص المدير التنفيذي بنداً معيناً، يقوم الروبوت تلقائياً بتحديده كـ "غير معروف" (وهي الإجابة الصحيحة للمعلومات المفقودة).
لماذا هو رائع: الروبوتات لا تتعب أبداً، ولا تهلوس، وتتبع القواعد دائماً بدقة. إذا كان المدخل هو نفسه، فإن المخرج سيكون دائماً هو نفسه.
لماذا يعد هذا أمراً مهماً للغاية؟
إنه مستقل عن اللغة: يمكن لـ "المساعد التنفيذي" (المرحلة 1) قراءة الملاحظة بالإنجليزية، أو الإيطالية، أو أي لغة أخرى. أما "الروبوت" (المرحلة 2) فيقوم فقط بترجمة المفاهيم إلى النموذج الرسمي. وقد عمل النظام بنفس الكفاءة للملاحظات الإيطالية كما هو الحال مع الإنجليزية، دون الحاجة لإعادة برمجته.
يعمل على أجهزة صغيرة: نظر لكون الذكاء الاصطنا-عي يقوم بالمهمة السهلة وهي التلخيص لـ 9 فئات فقط، فأنت لا تحتاج إلى كمبيوتر ضخم ومكلف جداً لتشغيله. يمكنك تشغيل هذا النظام على جهاز كمبيوتر محمول أو حتى خادم محلي، وهو أمر رائع للمستشفيات التي ترغب في الحفاظ على خصوصية بيانات المرضى وعدم إرسالها إلى السحابة (Cloud).
إنه موثوق: في المسابقة، حصل هذا النظام على درجة 0.63 (من أصل 1.0)، وهو قريب جداً من الفائز. والأفضل من ذلك، أن النظام قابل للتكرار بنسبة 100%. إذا قمت بتشغيله مرة أخرى، ستحصل على نفس النتيجة تماماً.
الخلاصة
تعلمنا هذه الورقة أنه عند التعامل مع المهام المعقدة وعالية المخاطر، لا تطلب من الذكاء الاصطنا-عي القيام بكل شيء في وقت واحد.
اترك للذكاء الاصطنا-عي مهمة التلخيص الإبداعي (المرحلة 1).
واترك للكود (البرمجية) مهمة اتباع القواعد بصرامة (المرحلة 2).
من خلال تقسيم العمل، حولوا عملية فوضوية وعرضة للخطأ إلى آلة نظيفة وموثوقة تملأ النماذج الطبية بدقة عالية وبدون أي هلوسة.
إليك ملخص تقني مفصل لورقة البحث بعنوان "LLM StructCore: Schema-Guided Reasoning Condensation and Deterministic Compilation" للباحث سيرهي زابولوتني (Serhii Zabolotnii).
1. بيان المشكلة
تتناول الورقة تحدي الملء التلقائي لنماذج تقارير الحالات (CRFs) من الملاحظات السريرية غير المهيكلة، وتحديداً لمهمة CL4Health 2026 Dyspnea CRF.
المهمة: ربط الملاحظات السريرية غير المهيكلة (باللغتين الإنجليزية والإيطالية) بمخطط (schema) صارم يتكون من 134 عنصراً.
التحديات الرئيسية:
الندرة الشديدة: يحتوي متوسط المستندات على حوالي 12 عنصراً معروفاً فقط من أصل 134؛ ومعظم العناصر الأخرى تُصنف كـ "غير معروفة".
التقييم الصارم: مقياس التقييم (Macro-F1) يعاقب بشدة كل من الإيجابيات الكاذبة (FP) (التنبؤ بقيمة غير موجودة) والسبيات الكاذبة (FN) (فقدان قيمة موجودة).
عدم استقرار المخرجات: غالباً ما تفشل النماذج اللغوية الكبيرة (LLMs) التي تعمل بنظام (النهاية إلى النهاية) بسبب الانحراف في التنسيق (JSON غير صالح) أو "الهلوسة" في التنبؤات التي تزيد من الإيجابيات الكاذبة.
التكلفة: تكالفت الاستدلال العالية للنماذج الضخمة، ومخاطر خصوصية البيانات عند إرسال بيانات المرضى إلى واجهات برمجة تطبيقات خارجية.
2. المنهجية: خط الإنتاج ثنائي المراحل
يقترح المؤلفون LLM StructCore، وهو بنية تعتمد على العقود ومقسمة إلى مرحلتين، تفصل بين استخراج المعلومات السريرية وفرض المخطط الصارم.
المرحلة الأولى: تكثيف الاستدلال الموجه بالمخطط (SGR)
الآلية: بدلاً من مطالبة النموذج اللغوي بالتنبؤ بجميع العناصر الـ 134 مباشرة، يتم توجيهه لإنشاء كائن JSON يحتوي على 9 مفاتيح نطاق بالضبط:
الديموغرافيا (Demographics)
العلامات الحيوية (Vitals)
المختبر (Labs)
المشكلات (Problems)
الأعراض (Symptoms)
الأدوية (Medications)
الإجراءات (Procedures)
الاستخدام (Utilization)
الحالة النهائية (Disposition)
أنماط SGR:
التتالي (Cascade): يتبع النموذج تسلسلاً ثابتاً لهذه المجالات التسعة لضمان التغطية الموحدة.
الدورة (Cycle): تتضمن المطالبات (prompts) قوائم مراجعة ضمنية (مثل علامات حيوية محددة، أو 28 مشكلة محددة) لتحسين الاستدعاء (recall) للعناصر النادرة.
**التوجيه (Routing):: يخرج النموذج نصوصاً حرة داخل مفاتيح JSON، مما يؤجل عملية تطبيع المفردات الصارمة إلى المرحلة الثانية.
الاستقرار: تم تصميم المطالبة لتحقيق نجاح بنسبة 100% في تحليل JSON حتى على النماذج الصغيرة المكممة (مثل MedGemma 4B) دون الحاجة إلى فك تشفير معقد مقيد بالقواعد (مثل XGrammar).
استراتيجية الشرائح المتعددة (Multi-Slice Strategy): بالنسبة للملاحظات الطويلة، يتم تقسيم المدخلات إلى نوافذ متداخلة، وتلخيص كل منها بشكل مستقل، ثم دمجها (قاعدة "آخر كاتب هو الفائز" للحقائق الفردية، والدمج للقوائم) للبقاء ضمن حدود سياق النموذج.
المرحلة الثانية: المترجم الحتمي (0-LLM)
الهدف: تحويل ملخص JSON الناتج من المرحلة الأولى إلى تنسيق التقديم النهائي المكون من 134 عنصراً.
الآلية: مترجم بايثون (Python) حتمي بالكامل يعتمد على القواعد (بدون استدعاءات للنماذج اللغوية).
خوارزمية من 4 خطوات:
استخراج (KV): تحليل أسطر "المفتاح: القيمة" من نص المرحلة الأولى.
النمذجة المعيارية (Canonicalization): تطبيع أسماء العناصر باستخدام المطابقة التامة، وتحويل حالة الأحرف، وتوسيع الاختصارات (أكثر من 70 قاعدة)، وخريطة أسماء مستعارة اختيارية من نظام UMLS (تغطية 134/134).
الاستنتاج (Derivation): استنتاج العناصر المركبة (مثلاً: "علاج متعدد الأدوية" إذا تم إدراج 8 أدوية أو أكثر).
البوابة (Gating): فلاتر صارمة تعتمد على التعبيرات النمطية (regex) تستبعد التنبؤات الإيجابية غير المدعومة للعناصر عالية الخطورة (مثلاً: منع "الأورام النشطة" ما لم توجد إشارات محددة لنشاط السرطان؛ ومنع "عدم انتظام ضربات القلب" إذا ذُكر "نظم جيبي طبيعي").
تطبيع المفردات: ربط القيم المستخرجة بالمفردات المحكومة الرسمية المكونة من 13 فئة (مثلاً: تحويل "105 نبضة في الدقيقة" إلى "تسارع ضربات القلب").
التوسيع: ملء جميع العناصر الـ 134، مع تحديد العناصر الغائبة كـ "غير معروفة".
3. المساهمات الرئيسية
تفكيك SGR: نقل عبء الصحة الهيكلية من النموذج اللغوي إلى الكود البرمجي. من خلال تقليل المخطط المستهدف من 134 حقلاً إلى 9 مفاتيح مستقرة، يحقق النظام استقرار JSON بنسبة 100% حتى على النماذج المحلية الصغيرة.
التجميع الحتمي: استبدال تمريرة النموذج اللغوي الثانية بمترجم يعتمد على القواعد يضمن قابلية إعادة إنتاج بت-لم-بت (bit-for-bit)، وصفر تكلفة استدلال، والتزام تام بالمفردات المحكومة.
الجاهزية للذكاء الاصطناعي الطرفي (Edge AI): يتيح خط الإنتاج هذا النشر الذي يحافظ على الخصوصية على أجهزة محلية (مثل Apple M3 Pro) باستخدام نماذج مكممة بقدر 4B، مما يتجنب الحاجة لإرسال بيانات المرضى إلى واجهات برمجة تطبيقات خارجية.
حيادية اللغة: يعمل النظام مع كل من الإنجليزية والإيطالية دون الحاجة لهندسة خاصة باللغة في المرحلة الأولى. حيث تتعامل المرحلة الثانية الحتمية مع الاختلافات متعددة اللغات عبر خريطة UMLS.
4. النتائج التجريبية
مجموعات البيانات: استخدمت تقسيمات CL4Health 2026 الرسمية (تدريب: 10، تطوير: 80، اختبار: 200).
النماذج المعلمة (Teacher Models): تم اختبار Mistral Large 3 (675B)، وQwen 3.5 (397B)، وClaude Sonnet 4.6.
الأداء (Dev80):
الإنجليزية: حققت توليفة Mistral Large 3 + المرحلة الثانية الحتمية Macro-F1 قدره 0.6543.
الإيطالية: حققت نفس التوليفة Macro-F1 قدره 0.6905 (متفوقة على الإنجليزية، ويرجع ذلك على الأرج� إلى أن الملاحظات المصدرية الإيطالية أكثر هيكلية).
النموذج الطالب (Student Model): حقق نموذج MedGemma 4B المحلي F1 قدره 0.6521 على Train10 مع عدد منخفض جداً من الإيجابيات الكاذبة، مما يثبت جدوى النشر الطرفي.
الاختبار (Test200 - Codabench):
حقق متغير النسخة الإنجليزية المقدمة F1 قدره 0.63، وهو ما يضعه ضمن نطاق 0.05 من النظام الأعلى تصنيفاً (Aurum، F1 0.68).
تم تجهيز النسخة الإيطالية (F1 0.6905 على Dev) ولكن لم يتم تقديمها بسبب قيود عدد المحاولات.
تحليل الخطأ:
تقليل الإيجابيات الكاذبة (FP): قللت آلية بوابة FP من الإيجابيات الكاذبة للعناصر عالية الخطورة بنسبة ~70% (مثلاً: تقليل الإيجابيات الكاذبة لـ "الأورام النشطة" من 18 إلى 4).
عنق الزجاجة: نشأت أكثر من 85% من الأخطاء في المرحلة الأولى (فقدان الحقائق)، مما يؤكد أن المرحلة الثانية الحتمية ليست هي عنق الزجاجة في الأداء.
5. الأهمية والخاتمة
تثبت هذه الورقة أن الاستدلال الموجه بالمخطط (SGR) المقترن بـ التجميع الحتمي هو استراتيجية فعالة للغاية لمهام معالجة اللغات الطبيعية السريرية التي تتميز بالندرة الشديدة وعقود المخرجات الصارمة.
الموثوقية: يحل مشاكل "الهلوسة" وانحراف التنسيق الشائعة في عمليات الاستخراج من نهاية إلى نهاية باستخدام LLM.
الكفاءة: يسمح باستخدام نماذج محلية أصغر وأرخص وأكثر صداقة للخصوصية لمرحلة الاستخراج مع الحفاظ على دقة عالية.
قابلية إعادة الإنتاج: تضمن الطبيعة الحتمية للمرحلة الثانية أن تكون النتائج قابلة لإعادة الإنتاج بالكامل وقابلة للتفسير، وهو مطلب حيوي للتطبيقات السريرية.
يخلص المؤلفون إلى أن هذا النهج ينافس الأنظمة الاحترافية رفيعة المستوى مع توفير تحكم أفضل، وكفاءة في التكلفة، ومرونة في النشر لبيئات الحافة (edge environments). سيركز العمل المستقبلي على تحسين استدعاء (recall) المرحلة الأولى للحالات النادرة واستكشاف النهج الهجينة للعناصر المعتمدة على السياق.