ملخص تقني: التعلم المعزز المدفوع بالطاقة الحرة مع تشكيل الميزة التكيفي (FREIA)

بيان المشكلة

برز التعلم المعزز (RL) غير الخاضع للإشراف كنموذج حاسم لتمكين التحسين الذاتي للنماذج اللغوية الكبيرة (LLMs) دون الاعتماد على الإشراف المكلف القائم على الحقيقة الأرضية (ground-truth). ومع ذلك، تعاني طرق التعلم المعزز غير الخاضعة للإشراف الحالية من عدم توافق جوهري مع ديناميكيات التعلم المتطورة للنموذج.

تندرج النهج الحالية عموماً تحت فئتين، كلتاهما تفشل في التكيف مع قدرات النموذج المتغيرة أثناء التدريب:

1. الطرق المتأصلة في المسارات (Trajectory-Intrinsic Methods): تستمد هذه الطرق المكافآت من مقاييس متأصلة مثل عدم يقين النموذج أو المعلومات الذاتية. وهي تخاطر بتعزيز الإجابات عالية الثقة ولكن الخاطئة، لا سيالما عندما تكون قدرة النموذج على الاستنتاج محدودة، مما يؤدي إلى عدم تطابق بين الثقة والصحة.
2. الطرق القائمة على الجماعة (Population-Based Methods): تعتمد هذه الطرق على الإجماع الجماعي (مثل التصويت بالأغلبية) لتحديد الصحة. وبينما تستغل الاتفاق الجماعي، إلا أنها غالباً ما تتجاهل مسارات الاستنتاج الأقلية ذات القيمة. وهذا يخلق انحيازاً حيث تتلقى الأغلبية الخاطئة أقصى المكافآت، وتُعاقب الأقلية الصحيحة، خاصة في مراحل التدريب المبكرة أو مراحل "الإجماع الضعيف".

علاوة على ذلك، تطبق الطرق الحالية تشكيل ميزة ثابت (static advantage shaping) بغض النظر عن تطور توزيع المكافأة. ومع تقدم التدريب من مرحلة "الإجماع الضعيف" (مكافآت عالية نادرة) إلى مرحلة "الإجماع القوي" (أغلبية مهيمنة)، فإن التطبيع الثابت إما يعاقب الإجابات الصحيحة النادرة بشكل مفرط أو يكافئ القيم الشاذة العشوائية بشكل مبالغ فيه، مما يؤدي إلى التقارب المبكر أو الإفراط في التكيف مع الإشارات المضللة.

المنهجية: FREIA

لمعالجة هذه القيود، اقترح المؤلفون FREIA (التعلم المعزز المدفوع بالطاقة الحرة مع تشكيل الميزة التكيفي)، وهو خوارزمية مبتكرة تدمج ابتكارين رئيسيين لمواءمة تحسين السياسة مع ديناميكيات التعلم الداخلية للنموذج.

1. المكافأة المدفوعة بالطاقة الحرة (FER)

استناداً إلى مبدأ الطاقة الحرة (FEP)، يعيد FER صياغة التحسين الذاتي كعملية لتقليل الطاقة الحرة. وهو يفكك هدف المكافأة إلى مكونين متكيفين:

• محاذاة الإجماع (Consensus Alignment): يشجع النموذج على المحاذاة مع الحل الأكثر احتمالاً (نمط التوزيع المأخوذ).
• الاستكشاف (Exploration): يحفز اكتشاف مسارات استنتاج متنوعة عندما يظهر النموذج عدم يقين عالٍ.

تعمل الآلية عبر ثلاث خطوات:

1. شحذ الاعتقاد (Belief Sharpening): تُعامل الإجابات الفريدة كفرضيات. تقوم آلية شحذ غير خطية (يتحكم فيها المعامل $\alpha$) بتحويل ترددات الإجابات إلى أوزان اعتقاد، مما يميز بين الإجماع القوي والضجيج العشوائي.
2. ثقة المجموعة ($C_G$): مقياس مشتق من إنتروبيا شانون لتوزيع الاعتقاد، يحدد درجة الإجماع الجماعي. حيث $C_G \to 1$ يشير إلى يقين عالٍ، بينما $C_G \to 0$ يشير إلى عدم يقين عالٍ.
3. صياغة المكافأة التكيفية: المكافأة النهائية $R_i$ لمسار الاستنتاج هي مقايضة ديناميكية:
   $$R_i = C_G \cdot r_{cons}(y_i) + (1 - C_G) \cdot r_{explore}(y_i)$$
   في حالات الثقة العالية، يعطي النموذج الأولوية للإجماع. وفي حالات عدم الثقة، يتم تحفيز النموذج على استكشاف مسارات متنوعة، مما يخفف بفعالية من التقارب المبكر نحو الحلول دون المثلى.

2. تشكيل الميزة التكيفي (AAS)

إدراكاً بأن توزيعات المكافأة تتغير باستمرار أثناء التدريب، يقوم AAS بتعديل إشارات الميزة المستخدمة لتحديث السياسة ديناميكياً بناءً على التواء (skewness) توزيع المكافأة.

• الالتواء الإيجابي (المكافآت العالية النادرة): يحدث عندما تكون الإجابات ذات المكافأة العالية نادرة. التطبيع القياسي سيعطي ميزات ضخمة لهذه القيم الشاذة. يقوم AAS بتخفيف هذه الميزات الإيجابية لمنع النموذج من الإفراط في التكيف مع الإشارات العشوائية التي قد تكون مضللة.
• الالتواء السلبي (المكافآت العالية المنتشرة): يحدث عندما تكون غالبية الإجابات ذات مكافأة عالية. التطبيع القياسي سيعطي عقوبات كبيرة للانحرافات العرضية ذات المكافأة المنخفضة. يقوم AAS بتخفيف هذه الميزات السلبية لمنع النموذج من التصحيح المفرط بناءً على اختلافات نادرة وربما غير ضارة.

يتم تعديل الميزة النهائية $\hat{A}_i$ بواسطة أوزان تكيفية مشتقة من الالتواء $S$، مما يضمن تحديثات مستقرة للسياسة عبر مراحل التدريب المختلفة.

المساهمات الرئيسية

1. تحديد عدم المواءمة: تحدد الورقة أن طرق التعلم المعزز غير الخاضعة للإشراف الحالية تفشل في التكيف مع قدرات الاستنتاج المتطورة وتتجاهل توزيعات المكافأة المتغيرة، مما يؤدي إلى تحسين غير أمثل للسياسة.
2. خوارزمية FREIA: تقديم إطار عمل موحد يتميز بـ:
   • FER: آلية مكافأة توازن بين الإجماع والاستكشاف بناءً على مبدأ الطاقة الحرة، مع تعديل الأوزان ديناميكياً عبر ثقة المجموعة.
   • AAS: تقنية تشكيل ميزة تعدل إشارات التعلم بناءً على الالتواء الإحصائي لتوزيع المكافأة.
3. التحقق التجريبي: تقييم شامل يثبت تفوق FREIA على النماذج المرجعية الأخرى غير الخاضعة للإشراف عبر مهام استنتاج متعددة.

النتائج التجريبية

قام المؤلفون بتقييم FREIA على تسعة مجموعات بيانات تغطي ثلاث مهام استنتاج: الاستنتاج الرياضي، توليد SQL، والاستنتاج متعدد الوسائط.

• الاستنتاج الرياضي: باستخدام نموذج DeepSeek-R1-Distill-Qwen-1.5B، تفوقت FREIA على الطرق الأخرى غير الخاضعة للإشرا في متوسط يتراوح بين 0.5 إلى 3.5 نقطة في مقياس Pass@1 على اختبارات مثل MATH500 و AIME24 و AIME25. والجدير بالذكر أن FREIA حققت أداءً يضاهي أو يتجاوز GRPO الخاضع للإشراف (التعلم المعزز بالمكافآت القابلة للتحقق) في عدة مقاييس، رغم افتقارها إلى تسميات الحقيقة الأرضية.
• التعميم: أظهرت FREIA قدرة قوية على الانتقال إلى توليد SQL (Spider, BIRD) والاستنتاج متعدد الوسائط (Geometry3K)، متفوقة على نماذج مرجعية مثل TTRL و Entropy و Intuitor.
• ديناميكيات التدريب: أظهر تحليل منحنيات التدريب أن FREIA توازن بفعالية بين الاستكشاف والإجماع. وقد ارتفع مقياس ثقة المجموعة ($C_G$) بمرور الوقت، مما يشير إلى انخفاض عدم اليقين، بينما ظل مكون الاستكشاف نشطاً بما يكفي لمنع انهيار النمط (mode collapse).
• دراسات الاستئصال (Ablation Studies): أدى حذف أي من مكوني الإجماع أو الاستكشاف في FER، أو وحدة AAS، إلى تدهور كبير في الأداء، مما يؤكد ضرورة كل من صياغة المكافأة التكيفية وتشكيل الميزة الديناميكي.

الأهمية والادعاءات

تدعي الورقة أن FREIA توفر نموذجاً جديداً للمواءمة في السيناريوهات التي لا تتوفر فيها بيانات مصنفة. ومن خلال دمج مبدأ الطاقة الحرة مع التحليل الإحصائي التكيفي، تمكن FREIA النماذج اللغوية الكبيرة من تحقيق تحسين ذاتي فعال دون إشراف خارجي.

يؤكد المؤلفون أن نهجهم:

• يخفف من "انحياز الأغلبية": على عكس طرق التصويت الثابتة، يمكن لـ FREIA تحديد ومكافأة مسارات الأقلية الصحيحة عندما يكون الإجماع ضعيفاً أو خاطئاً.
• يضمن الاستقرار: يمنع AAS عدم الاستقرار الناتج عن المكافآت الشاذة في بداية التدريب والعقوبات المفرطة في أواخر التدريب.
• القابلية للتوسع: بينما تقتصر تجاربهم الحالية على نماذج تصل إلى 3 مليارات معلمة بسبب قيود الموارد، يرى المؤلفون أن المبادئ الأساسية لـ FREIA مصممة للتوسع لتشمل النماذج التأسيسية الأكبر.

تخلص الورقة إلى أن تقليل الطاقة الحرة من خلال تعزيز الإجماع والاستكشاف التكيفي يؤدي إلى قدرات استنتاج أكثر قوة من الإشراف القائم على النتيجة وحدها، مما يقدم حلاً مبدئياً للاستنتاج غير الخاضع للإشراف في النماذج اللغوية الكبيرة.