OLLM: Options-based Large Language Models

إليك ملخص تقني مفصل لورقة البحث بعنوان "OLLM: النماذج اللغوية الكبيرة القائمة على الخيارات (Options-based Large Language Models)".

1. بيان المشكلة

تعمل النماذج اللغوية الكبيرة (LLMs) التقليدية وفق نموذج توقع الرمز التالي المنفرد (single next-token prediction). ولتوليد مخرجات متنوعة، تعتمد هذه النماذج على استدلالات أخذ العينات العشوائية (مثل درجة الحرارة - temperature، وtop-k، وtop-p). ويواجه هذا النهج عدة قيود:

• التنوع الضمني: يتم استحثاث التنوع عبر الضجيج بدلاً من نمذجته بشكل صريح، مما يجعل التحكم فيه أو تحسينه أمراً صعباً.
• التنافس: تتنافس الرموز البديلة المعقولة ضمن "سيمبلكس" احتمالي واحد (softmax)، مما يؤدي غالباً إلى جعل النموذج يفرط في التكيف مع نمط مهيمن (overfit to a dominant mode) أو يفشل في التقاط تعدد الأنماط الحقيقي في الاستنتاج.
• عدم كفاءة التعلم المعزز (RL): إن الضبط الدقيق باستخدام التعلم المعزز عبر المفردات الكاملة غير فعال من حيث العينات وعرضة لـ "اختراق المكافأة" (reward hacking) أو السلوكيات المتدهورة (مثل تبديل اللغة أو الاستنتاج غير المترابط) لأن فضاء العمليات (action space) كبير للغاية وغير مهيكل.
• الغموض مقابل الحتمية: يظهر التحليل التجريبي أنه بينما تكون العديد من مواضع الرموز حتمية (مثل إكمال صيغة رياضية)، فإن جزءاً كبيراً منها (~58%) يتسم بغموض عالٍ، مما يسمح بتعدّد التكملات المعقولة. وتكافح النماذج اللغوية الكبيرة القياسية لتمثيل هذه البدائل صراحة دون الانهيار في نمط واحد.

2. المنهجية: OLLM (النماذج اللغوية الكبيرة القائمة على الخيارات)

يقترح المؤلفون OLLM، وهو تعديل معماري خفيف الوزن يستبدل توزيع الرمز التالي المنفرد بمجموعة من الخيارات المتعلمة (learned options) التي يتم فهرستها بواسطة متغير كامن منفصل.

المعمارية

يعمل OLLM كوحدة "قابلة للتوصيل والتشغيل" (plug-in) تُدرج قبل رأس النموذج (lm_head) لأي نموذج لغوي كبير مدرب مسبقاً. ويتكون من طبقتين جديدتين:

1. المُشفّر (Encoder - $E_\psi$):
   • المدخلات: الحالة المخفية للسياق ($h_t$) وتضمين الرمز التالي الحقيقي ($e(y_{t+1})$).
   • الوظيفة: يربط هذه المدخلات بتوزيع احتمالي فوق فضاء كامن منفصل صغير $Z = \{1, \dots, K\}$.
   • الهدف: يتعلم خلال التدريب تعيين "الخيار" (الكمن) الصحيح للرمز المستهدف بناءً على السياق.
2. المُفكك (Decoder - $D_\omega$):
   • المدخلات: المتغير الكامن المختار $z$ والحالة المخفية $h_t$.
   • الوظيفة: يولد متجه انحياز $\Delta h_t$ يُضاف إلى الحالة المخفية قبل إسقاط المفردات.
   • الأثر: يعمل هذا على توجيه قيم الـ (logits) بحيث تقابل الخيارات الكامنة المختلفة مساحات (logits) مختلفة، مما يؤدي فعلياً إلى فك تشابك الاستمراريات المتنافسة.

أهداف التدريب

يتم تدريب النموذج باستخدام مزيج من ثلاثة خسائر (losses):

1. خسارة الإنتروبيا المتقاطعة (Cross-Entropy Loss - $L_{CE}$): خسارة توقع الرمز القياسية، لضمان توقع الرمز الصحيح في ظل وجود الكمن $z$.
2. تنظيم تباعد KL (KL Divergence Regularization - $L_{KL}$): يشجع توزيع المُشفّر على البقاء قريباً من التوزيع المسبق الموحد لمنع "انهيار الكمن" (حيث تُسند جميع الرموز إلى خيار واحد). ويُستخدم عامل قياس تكيفي للحفاظ على قيمة KL مستهدفة (0.2).
3. خسارة السياسة (Policy Loss - $L_{policy}$): يتم تدريب شبكة سياسة خفيفة الوزن $\pi_\phi$ عبر الضبط الدقيق الخاضع للإشراف (SFT) لمحاكاة المُشفّر. وهي تتنبأ بالكمن $z$ مباشرة من الحالة المخفية $h_t$ (دون الوصول إلى الرمز الحقيقي).

الاستدلال (Inference)

أثناء الاستدلال، يتم استبدال المُشفّر بـ السياسة (Policy). تختار السياسة الكمن $z$ من الحالة المخفية، ويقوم المُفكك بتوجيه عملية التوليد بناءً على ذلك. وهذا يقلل فضاء العمليات للضبط الدقيق اللاحق من كامل المفردات ($V$) إلى مجموعة الكمن الصغيرة ($K$).

3. المساهمات الرئيسية

• نمذجة الخيارات الصريحة: يقوم OLLM بنمذجة التنوع صراحة عبر تعلم فضاء كامن مضغوط يفهرس بدائل متعددة ومعقولة للرمز التالي، بدلاً من الاعتماد على ضجيج أخذ العينات.
• كفاءة "التركيب والتشغيل" (Plug-and-Play): تتطلب المعمارية طبقتين إضافيتين فقط (المُشفّر/المُفكك). وفي التجارب، كانت 1.56% فقط من إجمالي المعلمات (على نموذج أساسي بسعة 1.7 مليار بارامتر) قابلة للتدريب، مما يجعله عالي الكفاءة من حيث عدد المعلمات.
• الاستنتاج المنفصل (Disentangled Reasoning): من خلال فصل الاستمراريات المتنافسة إلى خيارات كامنة مختلفة، يتجنب النموذج مشكلة "تنافس الـ softmax"، مما يسمح له بالحفاظ على مسارات استنتاج متعددة وصحيحة في آن واحد.
• أساس فعال للتعلم المعزز (RL): يعمل الفضاء الكامن منخفض الأبعاد كفضاء عمليات مقيد لعمليات التعلم المعزز المستقبلية، مما يمنع السياسة من استكشاف سلوكيات غير صالحة أو متدهورة خارج التوزيع الذي تم تعلمه أثناء الـ SFT.
• لا يتطلب تسميات خارجية: على عكس طرق التحكم في التوليد السابقة، لا يتطلب OLLM تسميات خارجية (مثل تحليل المشاعر أو الموضوع)؛ حيث يتم تعلم الخيارات من بنية البيانات فقط.

4. النتائج التجريبية

• مجموعة البيانات: تم التدريب على OpenMathReasoning والتقييم على OmniMath (وهو اختبار مرجعي عالمي لمستوى الأولمبياد).
• النموذج المرجعي (Baseline): حققت نماذج LoRA المتطورة ذروة صحة في الإجابة النهائية بلغت 51%.
• أداء OLLM:
  • الاختيار الأمثل: تحت الاختيار الأمثل للكمن (oracle)، حقق OLLM صحة في الإجابة النهائية بلغت ~70% ودقة في الرمز الواحد بلغت ~83%.
  • أداء السياسة: حتى مع استخدام سياسة بسيطة مدربة عبر SFT تعمل في الفضاء الكامن، تفوق OLLM بشكل كبير على النماذج المرجعية، مما أثبت أن الفضاء الكامن نجح في التقاط التباينات الضرورية.
• التحليل النوعي:
  • في الحالات الحتمية (مثل الرموز الرياضية)، انهار النموذج إلى خيار واحد متسق.
    يد في الحالات الغامضة (مثل بدء خطوة استنتاج)، تعلم النموذج بنجاح خيارات متميزة تقابل فروعاً منطقية مختلفة.

5. الأهمية والعمل المستقبلي

• تحسين القدرة على التحكم: يوضح OLLM أن تقييد التوليد بفضاء خيارات متعلم يعزز المتانة ويقلل من حالات عدم المواءمة الشائعة (مثل تبديل اللغة) دون الحاجة إلى عقوبات KL معقدة أو خسائر مواءمة مصممة يدوياً.
• القابلية للتفسير: يمكن أن تقابل الخيارات الكامنة المختلفة مسارات استنتاج متميزة، مما يوفر مستوى جديداً من التفسير لعملية اتخاذ القرار في النماذج اللغوية الكبيرة.
• الاتجاهات المستقبلية: يقترح المؤلفون استخدام هذا الفضاء الكامن لـ التعلم المعزز (RL). ونظرًا لأن فضاء العمليات صغير ومستند إلى بيانات SFT، فمن المتوقع أن يكون تحسين التعلم المعزز أكثر كفاءة في العينات واستقراراً من الـ RLHF التقليدي عبر المفردات الكاملة. وسيمتد العمل المستقبلي ليشمل توليد الكود، والأسئلة العلمية، والتخطيط متعدد الخطوات.

الخلاصة:
يمثل OLLM تحولاً في النموذج الفكري من "تنوع أخذ العينات" إلى "نمذجة التنوع". ومن خلال تعلم فضاء كامن منفصل للخيارات صراحة، فإنه يتيح استنتاجاً أكثر كفاءة وتحكماً ومتانة في النماذج اللغوية الكبيرة، لا سيالما في المجالات المعقدة مثل الرياضيات.