خاتمة تقنية: كشف الهلوسة في النماذج اللغوية الكبيرة (LLMs) بفعالية من حيث التكلفة عبر التنبؤ بالأنظمة الديناميكية

بيان المشكلة

تنتج النماذج اللغوية الكبيرة (LLMs) محتوىً بليغاً ولكنه غير صحيح واقعياً، وهي ظاهرة تُعرف بالهلوسة (Hallucination). تمثل هذه المشكلة عائقاً حرجاً أمام نشر هذه النماذج في المجالات عالية الخطورة مثل الرعاية الصحية، والقانون، والتمويل. وعلى الرغم من أن الهلوسة حتمية نظرياً بسبب المقايضة بين البيانات المحدودة في التدريب والتوليد مفتوح النهايات، إلا أن طرق الكشف الحالية تواجه قيوداً كبيرة:

• طرق الصندوق الأبيض/الرمادي (White-Box/Gray-Box): تتطلب الوصول إلى الحالات الداخلية للنموذج (الحالات الخفية، خرائط الانتباه) أو احتمالات مستوى الرمز (token-level probabilities)، وهي أمور غير متاحة للنماذج التجارية مغلقة المصدر التي يتم الوصول إليها عبر واجهات برمجة التطبيقات (APIs).
• طرق الصندوق الأسود الموجودة (Existing Black-Box Methods): تعتمد عادةً على فحوصات الاتساق القائمة على أخذ العينات المكثفة حسابياً (مثل SelfCheckGPT) أو استرجاع المعرفة الخارجية. وتتسبب هذه النهج في تكاليف عالية لواجهات برمجة التطبيقات، وزمن انتقال مرتفع، وأعباء إضافية في الموارد، مما يجعلها غير عملية للتطبيقات التي تعمل في الوقت الفعلي وتتعامل مع عينات مفردة.

هناك حاجة ملحة لإطار عمل مستقل وفعال من حيث التكلفة للكشف، يعمل حصرياً على النص المُولد، دون الحاجة إلى مرجع خارجي أو عمليات أخذ عينات متعددة.

المنهجية

يقترح المؤلفون التعامل مع النموذج اللغوي الكبير (LLM) كـ نظام ديناميكي (DS) أسود الصندوق. فبدلاً من تحليل الرموز (tokens) كوحدات مستقلة، تقوم الطريقة بنمذجة التطور الزمني لتمثيلات الرموز (embeddings) باعتبارها تجليات ملحوظة لديناميكيات الحالة الكامنة للنموذج.

الإطار الأساسي

1. صياغة النظام الديناميكي:
   يتم نمذجة مخرجات النموذج اللغوي الكبير كنظام منفصل وغير خطي:
   $$x_{k+1} = F(x_k), \quad y_k = H(x_k)$$
   حيث تمثل $x_k$ الحالات الداخلية وتمثل $y_k$ تمثيلات الرموز الملحوظة. يستخدم المؤلفون نظرية مؤثر كوبمان (Koopman Operator Theory) لجعل ديناميكيات هذه الملحوظات خطية، مما يسمح بالتنبؤ بالحالات المستقبلية بناءً على الملاحظات الماضية.

2. المرحلة الأولى: الاستدلال القائم على البيانات للنظام الديناميكي (التكيف غير المتصل - Offline Adaptation):

• تستخدم الطريقة مجموعة صغيرة من البيانات المصنفة التي تحتوي على ردود فعل حقيقية ومهلوسة على حد سواء.
• يتم "رفع" (lifting) تمثيلات الرموز إلى فضاء عالي الأبعاد باستخدام طريقة تفكيك النمط الديناميكي الممتد (Extended DMD).
• يتم استنتاج نموذجين ديناميكيين خطيين متميزين:
  • $A_c$: مؤثر الانتقال للردود الحقيقية (الصحيحة).
  • $A_h$: مؤثر الانتقال للردود المهلوسة.
• الفرضية هي أن الردود الحقيقية والمهلوسة تتطور على "منوعات" (manifolds) مختلفة ($M_c$ و $M_h$) داخل فضاء التمثيل، مما يؤدي إلى تقديرات مختلفة لمؤثر كوبمان.

3. المرحلة الثانية: التصنيف عبر درجة البواقي التفاضلية (الاستدلال - Inference):

• بالنسبة لاستجابة جديدة غير معروفة، تحسب الطريقة خطأ التنبؤ (الباقي/residual) لمسار تمثيل الرموز باستخدام كلا النموذجين ($A_c$ و $A_h$).
• على مستوى الاستجابة، يتم حساب درجة البواقي التفاضلية ($\Delta E$):
  $$\Delta E = \sqrt{\sum \epsilon_{h,j}^2} - \sqrt{\sum \epsilon_{c,j}^2}$$
  حيث تمثل $\epsilon$ خطأ التنبؤ.
• المنطق: إذا كانت الاستجابة مهلوسة، فإن النموذج المتكيف مع الهلوسة ($A_h$) يجب أن يتنبأ بالمسار بدقة أكبر من النموذج الحقيقي ($A_c$)، مما يؤدي إلى $\Delta E$ سالبة. وعلى العكس من ذلك، فإن النص الحقيقي يعطي $\Delta E$ موجبة.
• يتم تطبيق عتبة قرار $\eta$ على $\Delta E$ لتصنيف المخرج كحقيقي (0) أو مهلوس (1).

4. المعايرة الواعية بالتفضيلات (Preference-Aware Calibration):
   لتلبية متطلبات المستخدمين المتنوعة (مثل الصرامة مقابل التسامح مع عدم الدقة الطفيفة)، يقدم المؤلفون آلية معايرة. باستخدام مجموعة صغيرة من العروض التوضيحية التي قام المستخدم بتدوينها، يتم تحسين العتبة $\eta$ لتتماشى مع تفضيلات الحساسية المحددة، مما يسمح للمكتشف بالتكيف مع حالات الاستخدام الفردية.

المساهمات الرئيسية

1. منظور ديناميكي مبتكر: يعد هذا العمل الأول الذي يعامل مخرجات النماذج اللغوية الكبيرة كأنظمة ديناميكية سوداء الصندوق، حيث تتطور الردود الحقيقية والمهلوسة على منوعات مختلفة في فضاء الحالة.
2. كشف فعال من pass واحد (Single-Pass): على عكس الطرق القائمة على الاسترجاع أو أخذ العينات المتعددة، تحدد هذه الطة الهلوسة في إجراء تمريرة واحدة دون الحاجة إلى احتمالات الرموز، أو قواعد معرفية خارجية، أو تمريرات أمامية متعددة.
3. أداء يضاهي أحدث المعايير (State-of-the-Art): تحقق الطريقة نتائج تنافسية أو متفوقة مقارنة بالنماذج المرجعية المستهلكة للموارد عبر ثلاثة اختبارات معيارية مختلفة (WikiBio, HaluEval, FELM).
4. معايرة متمحورة حول المستخدم: تتيح آلية ضبط عتبات التصنيف بناءً على مستويات الصرامة المحددة من قبل المستخدم القدرة على الكشف الشخصي.

النتائج التجريبية

تم تقييم الطريقة على ثلاث مجموعات بيانات: WikiBio (السير الذاتية)، HaluEval (التلخيص)، و FELM (الاستدلال في الرياضيات والعلوم والمنطق).

• الأداء:
  • في مهمة التلخيص HaluEval، حققت الطريقة دقة بلغت 99.3% باستخدام نموذج تمثيل Llama-3، متفوقة بشكل كبير على الكواشف ذات التمرير الصفري (zero-shot) وغيرها من نماذج الصندوق الأسود.
  • في WikiBio، حققت الطريقة AUC-PR قدرها 85.3 (باستخدام Llama-3) للكشف عن الجمل غير الحقيقية، متجاوزة SelfCheckGPT (81.96).
  • في FELM، حقق متغير Llama-3 دقة متوازنة بلغت 68.4، مساوية أو متفوقة على GPT-4 والنماذج القوية الأخرى.
• طول التسلسل: يتحسن الأداء مع سلاسل الرموز الأطول، حيث توفر المسارات الطويلة معلومات دلالية أغنى. وتستفيد نماذج التمثيل الأصغر بشكل أكبر من زيادة أطوال التسلسل، بينما تحافظ النماذج الأكبر (مثل Llama-3) على أداء عالٍ حتى مع التسلسلات القصيرة.
• التعميم عبر نماذج التمثيل (Cross-Embedding Generalization): لاحظت الدراسة قابلية نقل مفاجئة؛ حيث يمكن للنماذج الديناميكية التي تم تكييفها على فضاء تمثيل واحد (مثل Qwen3) أن تتعمم جزئياً لتقييم الاستجابات الممثلة في فضاء مختلف (مثل Llama-3). وهذا يشير إلى وجود بصمات ديناميكية عالمية للواقعية عبر منوعات التمثيل المختلفة.
• الكفاءة: تتجنب الطريقة زمن الانتظار وتكاليف الاسترجاع الخارجي أو أخذ العينات المتعددة، مما يوفر حلاً منخفض التكاليف مناسباً للتطبيقات في الوقت الفعلي.

الأهمية والادعاءات

يزعم المؤلفون أن هذا العمل يقدم بديلاً فعالاً من حيث التكلفة وقابلاً للتوسع لطرق كشف الهلوسة الحالية. ومن خلال إعادة صياغة المشكلة من منظور الأنظمة الديناميكية، فقد أثبتوا أن التطور الزمني لتمثيلات الرموز يشفر بطبيعته الفرق بين المحتوى الحقيقي والمهلوس.

يؤكد العمل أن طريقتهم:

• لا تتطلب الوصول إلى مكونات النموذج الداخلية (صندوق أسود حقيقي)،
• لا تتطلب استرجاع المعرفة الخارجية،
• لا تتطلب عمليات أخذ عينات متعددة،
• تحقق نتائج تضاهي أحدث المعايير مع تقليل الأعباء الموردية.

يقر المؤلفون بوجود بعض القيود، مشيرين إلى أنه بينما تكتشف الطريقة الهلوسة، فإنها لا تقدم تصحيحات واقعية خارجية أو تقدم استراتيجية للتخفيف من الهلوسة (مثل تعديل الأوامر/Prompts). ومع ذلك، فهم يضعون هذا العمل كخطوة أساسية نحو أطر كشف مستقلة وذاتية لتشغيل النماذج اللغوية الكبيرة بشكل موثوق في المجالات الحرجة.