We Think, Therefore We Align LLMs to Helpful, Harmless and Honest Before They Go Wrong

ملخص تقني: التوجيه التكيفي متعدد الفروع (AMBS) لمحاذاة النماذج اللغوية الكبيرة متعددة الأهداف

بيان المشكلة
تتطلب النماذج اللغوية الكبيرة (LLMs) المحاذاة مع النماذج البشرية، والتي يتم تشغيلها عادةً من خلال ثلاثة أهداف متنافسة: الفائدة (Helpfulness)، وعدم الضرر (Harmlessness)، والصدق (Honesty) - وتُعرف اختصاراً بـ HHH. وبينما حققت الأعمال السابقة محاذاة عبر الضبط الدقيق الخاضع للإشراف (SFT) أو التعلم المعزز من التغذية الراجعة البشرية (RLHF)، إلا أن هذه الأساليب غالباً ما تواجه صعوبة في تلبية أهداف HHH مجتمعة أثناء الاستدلال، لا سيما في الإعدادات المعقدة.

تعامل أساليب المحاذاة الحالية عند الاستدلال، مثل نواقل التوجيه (steering vectors)، الأهداف بشكل منعزل. فعندما يتم توجيه تمثيل مشترك واحد نحو هدف معين، يمكن أن يؤدي ذلك إلى طمس أو التداخل مع الأهداف الأخرى. وتحاول الامتدادات الحديثة لإعداد "1-إلى-N" في نماذج Transformer (التي تكرر تمثيلاً مشتركاً في مسارات متعددة) التخفيف من ذلك عبر تطبيق تحويلات مستقلة. ومع ذلك، تفتقر هذه التحديثات المستقلة إلى القيود على العلاقات بين المسارات، مما يؤدي إلى استجابات غير متسقة وتباعد عبر الأهداف. علاوة على ذلك، فإن طرق المقايضة القائمة على التدريب (مثل Safe RLHF أو Mixture-of-Experts) لا تضع قيوداً على التحويلات الخاصة بكل هدف ضمن تمثيل مشترك أثناء الاستدلال، مما يؤدي إلى "انهيار المحور" (axis collapse) أو تمثيلات منفصلة حيث لا يمكن تلبية الأهداف المتضاربة في آن واحد.

المنهجية: التوجيه التكيفي متعدد الفروع (AMBS)
يقترح المؤلفون إطار عمل AMBS، وهو إطار مكون من مرحلتين مصمم لإعداد Transformer بنمط 1-إلى-N، يقوم بترميز التحويلات الخاصة بكل هدف بالنسبة لتمثيل مشترك. الابتكار الجوهري هو تعريف التحديثات كاختلافات عن مرجع مشترك بدلاً من تعديلات مستقلة.

1. المرحلة الأولى: حساب التمثيل المشترك
يقوم نموذج Transformer بحساب تمثيل مخفي مشترك $h^{(0)}_\ell$ عند الطبقة $\ell$ (عادةً الطبقة النهائية $L$) لمدخل معين. يعمل هذا التمثيل كقاعدة مشتركة ويتم إعادة استخدامه عبر جميع الأهداف.

2. المرحلة الثانية: التحويلات الموجهة بالمرجع
يتم تكرار التمثيل المشترك إلى $N$ من المسارات ($h^{(i)}_\ell = h^{(0)}_\ell$). لكل هدف $i$، يتم تطبيق تحويل $\Delta h^{(i)}_\ell$ بالنسبة للمرجع المشترك $h^{ref}_\ell = h^{(0)}_\ell$.

• التحديث القائم على الانحراف: بدلاً من التحديثات المستقلة، يتم تعريف التحويل كدالة للانحراف عن المرجع: $\Delta h^{(i)}_\ell = f_i(\tilde{h}^{(i)}_\ell - h^{ref}_\ell; \phi_i)$.
• الترميز منخفض الرتبة (Low-Rank Parameterization): يتم تنفيذ السياسة $f_i$ كإسقاط منخفض الرتبة مع انحياز إضافي: $\Delta h^{(i)}_\ell = ((\tilde{h}^{(i,0)}_\ell - h^{ref}_\ell)A_i)B_i + b_i$. ومن الأهمية بمكان أن يضمن الانحياز $b_i$ وجود انحراف غير صفري أولي، مما ينشط تحديث الرتبة المنخفضة فوراً ضمن تمريرة أمامية واحدة دون الحاجة لحسابات النقطة الثابتة التكرارية.
• توليد المخرجات: ينتج كل مسار توزيع مخرجات خاص بالهدف $p^{(i)}_\theta$. ويتم دمج هذه التوزيعات عند فك الترميز (decoding) في توزيع مشترك واحد $p^{joint}_\theta$ باستخدام المتوسط الهندسي الموزون.

3. هدف التحسين
يقلل إطار العمل دالة الخسارة المركبة:
$$\min \sum_{i=1}^N L^{(i)}_{obj} + \lambda L_{cons}$$

• $L^{(i)}_{obj}$: الخسارة الخاصة بالهدف (مثل الإنتروبيا المتقاطعة) للمسار $i$.
• $L_{cons}$: حد الاتساق الذي يقيس المسافة الإقليدية المربعة بين التمثيلات المحولة عبر المسارات. يفرض هذا الحد تباعداً مفرطاً بينما يسمح بالاختلافات الضرورية الخاصة بكل هدف، مما يمنع "الانهيار" الذي تظهره الطرق المشتركة الأخرى.

المساهمات الرئيسية

• تصميم إطار العمل: تقديم AMBS، الذي يوسع إعداد Transformer بنمط 1-إلى-N عبر ترميز التحويلات كاختلافات عن مرجع مشترك، مما يتحكم في التداخل مع الحفاظ على تميز المسارات.
• الصياغة النظرية: صياغة رياضية تعتمد فيها فروق المسارات فقط على حدود الانحراف ($\Delta h^{(i)}_\ell - \Delta h^{(j)}_\ell$) بدلاً من التحويلات المستقلة للحالة الأساسية، مدعومة ببديهيات تثبت التهيئة غير المتدهورة والتنشيط الفوري لمعلمات الرتبة المنخفضة.
• الأداء التجريبي: إثبات أن AMBS يحسن أداء HHH المشترك عبر أربعة نماذج أساسية مختلفة (LLaMA-2-7B, Mistral-7B, Gemma-7B, DeepSeek-7B) مع الحفاظ على الكفاءة الحسابية.

النتائج
أُجريت التجارب على معايير قياسية: Alpaca (للفائدة)، وBeaverTails (لعدم الضرر)، وTruthfulQA (للصدق).

• مكاسب الأداء: حقق AMBS أعلى متوسط درجات (Avg) عبر النماذج الأساسية. بالنسبة لنموذج LLaMA-2-7B، وصل AMBS إلى متوسط 56.5%، متفوقاً على الحالة السابقة للأفضل (TrinityX) التي بلغت 55.1%، وعلى AlignX التي بلغت 51.3%.
• تحسينات خاصة بكل هدف:
  • الفائدة (Helpfulness): زاد معدل الفوز (Win Rate) إلى 53.0% (مقابل 48.7% لـ RAHF).
  • عدم الضرر (Harmlessness): خفض درجة السلامة (Safety Score, SS، حيث الأقل أفضل) إلى 5.3% (مقابل 7.2% لـ Aligner).
  • الصدق (Honesty): حسن نسبة الصدق-المعلوماتية (Truthfulness-Informativeness, TI) إلى 37.9% (مقابل 31.7% لـ DExperts).
• تحليل التداخل: على عكس أساليب الهدف الواحد التي تظهر انخفاضات كبيرة في الأداء عند تغير الأهداف، أو الطرق المشتركة التي تظهر "انهياراً" (درجات متطابقة عبر الأهداف)، حافظ AMBS على أداء عالٍ ولكن غير موحد عبر الأهداف (مثلاً: 37.0% / 25.8% / 14.3%)، مما يشير إلى تقليل التداخل دون حدوث انهيار.
• الكفاءة: يحافظ الأسلوب على إنتاجية عالية (مثلاً: 189 رمزاً في الثانية) وتكلفة تدريب منخفضة (9 ساعات GPU) من خلال تجميد النموذج الأساسي وتحسين معلمات الرتبة المنخفضة فقط.

الأهمية والادعاءات
يزعم البحث أن AMBS يعالج فجوة حرجة في المحاذاة متعددة الأهداف عند وقت الاستدلال. ومن خلال تقييد التحويلات الخاصة بكل هدف ضمن تمثيل مشترك، ينجح إطار العمل في موازنة المقايضة بين تلبية الأهداف المتميزة (الفائدة، عدم الضرر، والصدق) والحفاظ على الاتساق بينها. ويؤكد المؤلفون أن هذا النهج يمنع "انهيار المحور" وعدم الاستقرار الملاحظ في طرق المحاذاة المشتركة السابقة، مما يوفر حلاً قولاً لنشر نماذج لغوية كبيرة موثوقة دون الحاجة إلى إعادة تدريب مكلفة أو بنيات معقدة. وتشير النتائج إلى أن المحاذاة يتم التقاطها بفعالية على مستوى التمثيل، حيث يعمل فك الترميز كخطوة دمج وليس المصدر الأساسي للمكاسب.

القصور
يقر المؤلفون بوجود قصور يشمل نطاق التقييم، والاعتماد على أحكام وسيطة (نماذج لغوية كبيرة) للمقاييس بدلاً من التقييم البشري المكثف، والتركيز الحالي على النماذج التي تعتمد على فك الترميز فقط (decoder-only). ويُقترح في العمل المستقبلي إجراء دراسات بشرية أكبر، وتوسيع نطاق إعدادات السلامة، والتوسع ليشمل النماذج متعددة الوسائط.