Think Fast, Talk Smart: Partitioning Deterministic and Neural Computation for Structured Health Text Generation

ملخص تقني: فكر بسرعة، وتحدث بذكاء (TFTS)

بيان المشكلة
يتم نشر النماذج اللغوية الكبيرة (LLMs) بشكل متزايد لتوليد نصوص صحية من سجلات مهيكلة (مثل السلاسل الزمنية للأجهزة القابلة للارتداء، المؤشرات الحيوية، وسجلات الرعاية). وبينما تتفوق هذه النماذج في الطلاقة، فإن مهام توليد النصوص الصحية المتكررة تتطلب التزامًا صارمًا بالبيانات المصدرية، والادعاءات المستندة إلى الأدلة، والامتثال للسياسات، والمخرجات القابلة للقراءة آليًا. تكمن المشكلة الجوهرية التي يعالجها البحث في تحديد أي المسؤوليات في هذا المسار يجب أن تُوكل إلى الحوسبة الحتمية (Deterministic Computation) مقابل التلقين وقت التشغيل (Runtime Prompting) للنماذج اللغوية الكبيرة. تعتمد النهج الحالية غالبًا على استدعاء واحد (Zero-shot أو Few-shot) لأداء المهمة التحليلية واللغوية بأكملها، مما يؤدي إلى مخاطر حدการณ์ات رقمية (Hallucinations)، وانتهاكات للسياسات، وتكاليف أعلى.

المنهجية
يقدم المؤلفون إطار عمل للتقسيم يسمى "فكر بسرعة، وتحدث بذكاء" (TFTS)، وهو مخصص لتوليد رؤى الصحة والنوم. يقوم النظام بتفكيك المهمة إلى أربع مراحل متميزة:

1. المدخلات المهيكلة: استيعاب الإشارات المستمدة من الأجهزة القابلة للارتداء (النوم، الاستشفاء، الفسيولوجيا، السلوك).
2. وحدات تحليلية حتمية: تتعامل طبقات برمجية (Code-based) مع مهام الاستدلال المتكررة والقابلة للتحقق، بما في ذلك:
   • المقارنة: مقارنات عددية مقابل الخطوط المرجعية (Baselines).
   • التصنيف (Ranking): اختيار المقاييس التي سيتم عرضها بناءً على قواعد محددة.
   • الإسناد (Attribution): ضبط الادعاءات التفسيرية بناءً على الأدلة المتاحة.
   • التسليم (Handoff): تجميع الحقائق المختارة في واجهة مدمجة ومقيدة بمخطط (Schema-constrained).
3. الكاتب (LLM) المحدود: استدعاء واحد لنموذج لغوي كبير يأخذ الواجهة الحتمية ويقوم بتوليد نصوص موجهة للمستخدم، مع الالتزام الصارم بالحقائق والمخطط المقدم.
4. التقييم الحتمي: تحليل آلي والتحقق من المخرجات النهائية.

ولتقييم ضرورة هذا التقسيم، يستخدم المؤلفون بروتوكول استبدال الطبقات (Layer-Replacement Protocol). فبدلاً من مقارنة النظام الكامل مع مطالبة (Prompt) أحادية، يقومون باستبدال الطبقات الحتمية الفردية (المقارنة، المصنف، الإسناد، التسليم) بشكل منهجي بقطع بيانات نوعية مولدة بواسطة النموذج اللغوي. يهدف ذلك إلى عزل أنماط الفشل المحددة، واختبار ما إذا كان بإمكان النموذج اللغوي الحفاظ على المعنى المقصود لخطوة تحليلية وسيطة بما يتجاوز مجرد إنتاج ملفات JSON صالحة تركيبياً.

الإعداد التجريبي

• مجموعة البيانات: 280 ليلة مستخدم من 20 مستخدماً نشطاً.
• النماذج: تم تقييم ستة نماذج لغوية كبيرة (GPT-5 nano، GPT-4o mini، GPT-OSS-20B/120B، Haiku 4.5، Sonnet 4.6).
• النماذج المرجعية (Baselines):
  • الاستدعاء الصفري المهيكل (Structured Zero-Shot): بيانات خام وقواعد في مطالبة واحدة.
  • الاستدعاء القليل المهيكل (Structured Few-Shot): يتضمن جداول المقاييس وأمثلة في مطالبة واحدة.
• المقاييس: معدل الخطأ الرقمي (NUMERR)، خطأ الامتثال للتعليمات (SELERR + ATTRERR)، خطأ المخطط (SCHEMAERR)، والتكلفة الإجمالية.

النتائج الرئيسية

1. جبهة الخطأ والتكلفة: يشغل نظام TFTS باستمرار المنطقة ذات التكلفة المنخفضة والخطأ المنخفض عبر جميع النماذج الستة. حقق متوسط معدل خطأ رقمي (NUMERR) بنسبة 0.7% (والنموذج الأسوأ سجل 2.0%)، ومعدل خطأ في الامتثال للتعليمات أقل من 3%. في المقابل، فشلت النماذج المرجعية ذات الاستدعاء الواحد في الوصول إلى هذه الجبهة؛ حيث حسن نموذج (Structured Few-Shot) من الالتزام بالمخطط، لكنه ظل يعاني من أخطاء عالية في الاختيار الإجمالي (68.6%) وأخطاء رقمية.
2. نتائج استبدال الطبقات:
   • استبدال المقارنة: تفويض الملاحظة العددية للنموذج اللغوي، مما أدى إلى ارتفاع معدل الخطأ الرقمي (NUMERR) إلى 16.9%.
   • استبدال المصنف (Ranker): يحافظ على الحقائق المرتكزة، لكنه يؤدي إلى تدهور الالتزام بقواعد الاختيار، مما نتج عنه خطأ في الاختيار بنسبة 65.8%.
   • استبدال الإسناد (Attribution): يزيد من اللغة السببية غير المدعومة، حيث ارتفرت أخطاء الإسناد إلى 24.5%.
   • استبدال التسليم (Handoff): حتى عندما تكون الحقائق السابقة حتمية، فإن استبدال واجهة (الدليل-إلى-الكاتب) المدمجة يعيد إدخال الأخطاء (NUMERR 4.8%، ATTRERR 10.7%)، مما يشير إلى أن الواجهة نفسها هي آلية موثوقية.
3. كفاءة التكلفة: يحقق TFTS تكاليف إجمالية أقل من النماذج المرجعية من خلال استخدام استدعاء واحد محدود للنموذج اللغوي بدلاً من الاعتماد على مطالبات معقدة متعددة الخطوات أو التحسين التكراري داخل استدعاء واحد.

الأهمية والادعاءات
يجادل البحث بأنه بالنسبة لأعمال الصحة المهيكلة ذات القواعد التحليلية المتكررة، يجب أن يتولى الكود البرمجي عملية التحليل، بينما يجب تقييد النماذج اللغوية الكبيرة في التعبير عن الحقائق المتحقق منها.

• قاعدة التصميم: "اجعل الكود يفكر بسرعة فوق الحقائق والسياسات المستقرة، ثم دع النموذج اللغوي يتحدث بذكاء ضمن حدود متحقق منها".
• أنماط الفشل: تكشف الدراسة أن مسؤوليات تحليلية محددة (الحساب، سياسة التصنيف، حجز الأدلة) عرضة للفشل عند تفويضها للنماذج اللغوية، حتى عندما تنتج مخرجات صحيحة تركيبياً.
• النطاق: يضع المؤلفون هذا النهج كطريقة مكملة لـ (Retrieval-Augmented Generation - RAG) واستخدام الأدوات (Tool Use). وبينما تعمل تلك الطرق على تحسين استرجاع السياق أو الاستدعاءات المتعلمة، يعالج TFTS أي المسؤوليات يجب إزالتها من عملية التلقين أثناء التشغيل تماماً.
• القيود: تركز الدراسة على الحفاظ على نظام مرجعي حتمي، وليس على الأمثلية السريرية أو التشخيص مفتوح النهايات. مبدأ التقسيم هذا ينطبق بشكل أفضل على المجالات ذات المدخلات المهيكلة، والقواعد المستقرة، والوسطاء القابلين للتحقق (مثل نتائج المختبر، مراقبة العلامات الحيوية)، بدلاً من المهام التي تتطلب استدلالاً سريرياً مفتوح النهايات.

يخلص المؤلفون إلى أن الاعتماد على التلق