Tethered Reasoning: Decoupling Entropy from Hallucination in Quantized LLMs via Manifold Steering

إليك ملخص تقني مفصل لورقة البحث بعنوان "التفكير المربوط: فك الارتباط بين الإنتروبيا والهلوسة في النماذج اللغوية الكبيرة المكممة عبر توجيه المتشعب" (Tethered Reasoning: Decoupling Entropy from Hallucination in Quantized LLMs via Manifold Steering) للكاتب كريج أتكينسون.

1. بيان المشكلة

تعالج الورقة معضلة جوهرية في نشر النماذج اللغوية الكبيرة المكممة (Quantized LLMs) (تحديداً بدقة 4-بت) عبر درجات حرارة عينات ($T$) متغيرة:

• درجة الحرارة المنخفضة ($T \to 0$): تؤدي إلى مخرجات تكرارية وانهيار في الأنماط (mode-collapsed) بسبب الحتمية الصارمة.
• درجة الحرارة العالية ($T > 2.0$): تسبب تقليدياً "الهلوسة"، وعدم الاتساق الدلالي، والأخطاء الواقعية. غالباً ما تضع أطر الاستدلال القياسية حداً لـ $T$ عند 2.0 لمنع ذلك.
• عقوبة التكميم (The Quantization Penalty): يضيف التكميم ضوضاء ($\epsilon_q$) تزيد من تفاقم المقايضة بين درجة الحرارة والإنتروبيا. تميل النماذج المكممة إلى الانهيار (فقدان الاتساق) عند درجات حرارة أقل من النماذج كاملة الدقة، لأن ضوضاء التكميم ترفع فعلياً من "درجة حرارة" النظام.

الفرضية الجوهرية: يتحدى المؤلفون الافتراض القائل بأن الهلوسة عند درجات الحرارة العالية هي انهيار دلالي (فقدان المعرفة). بدلاً من ذلك، يفترضون أنها تباعد في المسارات (trajectory divergence): أي خروج تنشيطات الحالة الخفية عن المناطق المتماسكة بنيوياً (المتشعب/Manifold) في فضاء التمثيل.

2. المنهجية: إطار عمل Helix

يقترح المؤلفون Helix، وهو إطار عمل للتدخل الهندسي أثناء الاستدلال، يقوم بفك الارتباط بين إنتروبيا المخرجات والهلوسة عبر ربط مسارات الحالة الخفية بـ "متشعب صدق" (Truthfulness Manifold) محسب مسبقاً.

أ. درجة الصدق الموحدة (Unified Truth Score - UTS)

يقدم Helix مقياساً لعدم اليقين لكل رمز (token) يجمع بين إشارتين:

1. الإنتروبيا الدلالية ($S_E$): إنتروبيا شانون لتوزيع الرموز.
2. مسافة المتشعب ($S_D$): مسافة ماهالانوبيس (Mahalanobis distance) لمتجه تنشيط الحالة الخفية من متشعب الصدق ($\mathcal{M}_{truth}$) المحسب مسبقاً.

يتم حساب UTS كمجموع موزون:
$$\text{UTS}_t = \beta(T) \cdot S_E^{(t)} + (1 - \beta(T)) \cdot S_D^{(t)}$$

• التسليم التكيفي (Adaptive Handover): تقوم دالة سيجمويد (sigmoid) $\beta(T)$ بتغيير الوزن ديناميكياً بناءً على درجة الحرارة. عند درجات الحرارة المنخفضة، تقود الإنتروبيا النتيجة (الدقة)؛ وعند درجات الحرارة العالية (حيث تتشبع الإنتروبيا)، تقود مسافة المتشعب (الاستقرار).

ب. التجذير الهندسي (متشعب الصدق)

• البناء: يتم بناء المتشعب بطريقة غير خاضعة للإشراف من التنشيطات الخفية للمطالبات الواقعية (من TruthfulQA، وWikiText، وGSM8K) التي تم توليدها عند درجات حرارة محافظة ($T=0.1$).
• استراتيجية البنية الهجينة: يستهدف إطار العمل نموذج Granite 4.0 H Small، وهو بنية هجينة تجمع بين Mamba-2 (نموذج فضاء الحالة) وTransformer. وجد المؤلفون أن توجيه طبقات انتباه Transformer المتفرقة فقط (حوالي 10% من الطبقات، وتحديداً الطبقات 4، 12، و20) كافٍ لتصحيح الانحراف في صياغة فضاء الحالة لـ Mamba-2.

ج. التوجيه المتدرج (Graduated Steering)

عندما تنخفض قيمة UTS عن حد معين، يتم تطبيق متجه توجيه (التدرج السالب للحقل الجهدي) على اللوجيت (logits):

• الآلية: يتم تطبيق عقوبة على أعلى لوجيت (top logit) بما يتناسب مع عدم اليقين.
• الكفاءة: يتم تفعيل التدخل لـ 0.2%–2.5% فقط من الرموز.
• العبء الحسابي: يحدث التدخل ضمن عملية التمرير الأمامي الواحدة (استخراج اللوجيتات/التنشيطات الموجودة)، مما يضيف تأخراً طفيفاً جداً.

3. المساهمات الرئيسية

1. فرضية تباعد المسار: إثبات أن الفشل عند درجات الحرارة العالية هو مشكلة هندسية (الخروج عن المتشعب) وليس دلالية، مما يسمح بالتصحيح المستهدف.
2. درجة الصدق الموحدة (UTS): مقياس لعدم اليقين في تمريرة واحدة لكل رمز، يجمع بين الإنتروبيا والمسافة الهندسية، مما يلغي الحاجة إلى المجموعات (ensembles).
3. استعادة التكميم: إظهار أن التوجيه الهندسي يمكن أن يسمح للنماذج المكممة بـ 4-بت بتجاوز النماذج كاملة الدقة.
4. التفكير المستقل عن درجة الحرارة: تحقيق أداء مستقر عبر طيف واسع من درجات الحرارة ($T=0.5$ إلى $T=3.0$).
5. المستودع الإبداعي عالي الإنتروبيا: تحديد ظاهرة كانت محجوبة سابقاً حيث تفتح درجات الحرارة العالية، عند ربطها، مساحات إبداعية شاسعة وغير متداخلة دون التضحوا بالتماسك المنطقي.
6. التوليف متعدد درجات الحرارة: نموذج استدلال جديد يستعلم عبر درجات حرارة مختلفة لتوليد مفاهيم فريدة تزيد بنسبة 200%+ عن الاستدلال أحادي درجة الحرارة.

4. النتائج التجريبية

تم تقييم إطار العمل على Granite 4.0 H Small (الإجمالي 32B، النشط 9B، مكمم بـ 4-بت) وتم التحقق من صحته عبر Qwen3-30B-A3B (MoE).

• استعادة التكميم: عند $T=1.0$، تفوق النموذج الموجه بـ 4-بت (91.80%) على النموذج الأساسي كامل الدقة (87.27%) بمقدار 4.53 نقطة مئوية.
• كفاءة التوجيه: حتى عند $T=3.0$، تم توليد أكثر من 97% من الرموز دون تدخل.
• المستودع الإبداعي: في مهمة كتابة الأغاني، أدى التوليد بدرجة حرارة عالية ($T>2.0$) مع التوجيه إلى تكرار أفكار بنسبة 5–20% فقط (مقابل 70–80% عند درجات الحرارة المنخفضة)، مما أنتج 30 مفهوماً فريداً عبر 11 نقطة درجة حرارة (زيادة بنسبة 200%+ عن الاستدفتاد أحادي الدرجة).

5. الأهمية والآثار

• كسر حاجز $T=2.0$: تجادل الورقة بأن سقف $T=2.0$ في الأطر القياسية هو قيد بنيوي اصطناعي وليس قيداً في النموذج. يتيح Helix تشغيلاً موثوقاً حتى $T=3.0$.
• دمقرطة الذكاء الاصطناعي: من خلال تمكين النماذج المكممة بـ 4-بت من التفوق على النماذج كاملة الدقة، يسمح Helix بتوفير استدلال عالي الدقة على الأجهزة محدودة الموارد (مثل وحدات معالجة الرسومات الاستهلاكية أو الأجهزة الطرفية).
• نموذج جديد للبنيات الهجينة: تقدم الورقة استراتيجية تحكم جديدة للبنيات الهجينة (SSM-Transformer) من خلال إيجاد أن توجيه طبقات Transformer المتفرقة يصحح الانحراف في نماذج Mamba-2.
• الاستكشاف الإبداعي: يشير اكتشاف "المستودع الإبداعي عالي الإنتروبيا" إلى أنه يمكن التعامل مع درجة الحرارة كبُعد إبداعي. من خلال ربط النموذج بالتماسك البنيوي (النحو/المنطق) بدلاً من الحقائق المحددة، يمكن للنموذج استكشاف مساحات دلالية متنوعة دون الهلوسة.
• القابلية للمراقبة: يوفر إطار العمل تليمتري (Telemetry) لكل رمز (UTS، مسافة ماهالانوبيس)، مما يوفر رؤية غير مسبوقة لعدم يقين النموذج أثناء الاستدلال دون الحاجة لمجموعات (ensembles).

الخلاصة: تثبت الورقة أن الهلوسة في النماذج اللغوية الكبيرة المكممة هي مشكلة هندسية يمكن حلها عبر توجيه المتشعب. هذا النهج لا يعمل فقط على استقرار الاستدلال عند درجات الحرارة العالية، بل يطلق أيضاً الإمكانات الإبداعية الكامنة، محولاً درجة الحرارة من معامل مقايضة إلى أداة للتحسين والاكتشاف.