ملخص تقني: التثبيت الهندسي لضبط التفضيلات المتين (GAPO)

1. بيان المشكلة

يعتمد محاذاة النماذج اللغوية الكبيرة (LLM) عبر تحسين التفضيلات (مثل DPO وSimPO) عادةً على تعظيم الهامش بين الاستجابات المفضلة ($y_w$) وغير المفضلة ($y_l$). ورغم فعالية هذا النهج، إلا أن خسائر الهامش القياسية تعامل جميع أزواج التفضيلات بالتساوي بناءً على حجم هامشها الحالي. يفشل هذا النهج في التمييز بين:

1. الأمثلة الصعبة المعلوماتية: الأزواج ذات الهوامش المنخفضة التي تتطلب تعلمًا حقيقيًا.
2. الأزواج الهشة: الأزواج ذات الهوامش المنخفضة الناتجة عن تسميات مشوشة، أو انحيازات الطول، أو ارتباطات زائفة.

تنتج الطرق الحالية تحديثات كبيرة لكلا النوعين، مما قد يؤدي إلى الإفراط في التكيف مع الإشراف الفاسد أو التسبب في "انحراف المكافأة" (reward drift). تكمن المشكلة الجوهرية في غياب تشخيص محلي لاختبار ما إذا كانت إشارة التفضيل مستقرة بما يكفي لتُعتمد مع تحديث قوي قبل تطبيقه.

2. المنهجية: التثبيت الهندسي لضبط التفضيلات (GAPO)

يقدم GAPO هدفًا مدركًا للهندسة يقوم بإجراء اختبار جهد محلي مشروط بالدفعة (batch-conditioned local stress test) لكل زوج تفضيل. بدلاً من الحكم على الأزواج بناءً على هامشها الحالي فحسب، يقيم GAPO استقرارها تحت تأثير اضطراب متشائم مشترك.

2.1 المثبت الهندسي (The Geometric Anchor)

لكل دفعة مصغرة $B$، يقوم GAPO بإنشاء "مثبت متشائم" $\tilde{\theta}$ عن طريق اضطراب السياسة الحالية $\theta$ في الاتجاه الذي يقلل بسرعة أكبر من متوسط هامش التفضيل للدفعة.

• ليكن $M_i(\theta)$ هو هامش التفضيل للمثال $i$.
• متوسط هامش الدفعة هو $\bar{M}_B(\theta) = \frac{1}{|B|} \sum_{j \in B} M_j(\theta)$.
• اتجاه الاضطراب هو التدرج السالب المعياري لمتوسط هامش الدفعة:
  $$\epsilon^*_B = -\rho \frac{\nabla_\theta \bar{M}_B(\theta)}{\|\nabla_\theta \bar{M}_B(\theta)\|_2}$$
• يُعرَّف المثبت كـ $\tilde{\theta} = \theta + \epsilon^*_B$، حيث $\rho$ هو نصف قطر اضطراب صغير. ومن الأهمية بمكان معاملة $\tilde{\theta}$ كمرجع ثابت (إيقاف التدرج - stop-gradient) لحساب الخسارة اللاحقة.

2.2 فجوة المثبت (The Anchor Gap)

يُعرِّف GAPO فجوة المثبت ($\Gamma_i$) بأنها تدهور هامش زوج معين تحت هذا الاضطراب العدائي المشترك:
$$\Gamma_i(\theta) = M_i(\theta) - \text{sg}(M_i(\tilde{\theta}))$$
حيث يمثل $\text{sg}(\cdot)$ عامل إيقاف التدرج.

• $\Gamma_i$ كبيرة: تشير إلى انهيار هامش الزوج تحت اختبار الجهد المشروط بالدفعة، مما يشير إلى هشاشة محلية (ضوضاء أو ارتباط زائف على الأرجح).
• $\Gamma_i$ صغيرة: تشير إلى بقاء الزوج مستقرًا، مما يوحي بإشارة تفضيل متينة.

2.3 دالة الهدف وإعادة الوزن

دالة هدف GAPO هي خسارة لوجستية على فجوة المثبت:
$$\mathcal{L}_{\text{GAPO}}(\theta) = -\frac{1}{N} \sum_{i=1}^N \log \sigma(\beta \Gamma_i(\theta) - \gamma)$$
حيث $\gamma$ هو الهامش المستهدف.

التفسير الأمثل:
يكشف اشتقاق هذه الخسلة أن GAPO يحافظ على اتجاه تدرج التفضيل القياسي ($\nabla_\theta M_i(\theta)$) ولكنه يدرجه بمعامل وزن لكل حالة $w_i(\theta)$:
$$\nabla_\theta \mathcal{L}_{\text{GAPO}} = -\mathbb{E} [ w_i(\theta) \cdot \nabla_\theta M_i(\theta) ]$$
حيث $w_i(\theta) = \beta \sigma(\gamma - \beta \Gamma_i(\theta))$.

• الأزواج ذات فجوات المثبت الكبيرة (الهشة) تتلقى أوزانًا أصغر.
• الأزواج ذات فجوات المثبت الصغيرة (المستقرة) تحتفظ بأوزان أكبر.

لا يقوم GAPO بتصفية البيانات أو نمذجة الضوضاء صراحةً؛ بل يعمل كآلية إعادة وزن واعية بالمخاطر تعمل على تخفيف التدرجات الهشة مع الحفاظ على اتجاهات التدرجات المتينة.

3. التحليل النظري

تقدم الورقة توصيفًا نظريًا محليًا لفجوة المثبت تحت افتراضات النعومة. تنقسم فجوة المثبت إلى ثلاثة مكونات:

1. مقدار التدرج: معيار تدرج المثال.
2. محاذاة اتجاه الدفعة: المحاذاة بين تدرج المثال واتجاه التدرج المتوسط للدفعة المشتركة ($\alpha_{i,B}$).
3. الانحناء الاتجاهي: الانحناء من الدرجة الثانية لهامش المثال على طول اتجاه الدفعة.

يثبت هذا التفكيك أن GAPO لا يمكن اختزاله إلى مجرد إعادة وزن لمعيار التدرج. يضمن مصطلح محاذاة اتجاه الدفعة أن الطريقة تستهدف تحديدًا الأزواج غير المستقرة بالنسبة لمسار التحسين الخاص بالدفعة الحالية.

4. النتائج التجريبية

تم تقييم GAPO عبر أربع عائلات من النماذج مفتوحة الأوزان (Mistral-7B, Llama-3-8B, Gemma-2-9B) في مهام اتباع التعليمات والاستدلال.

4.1 الأداء في المحاذاة والاستدلال

• اتباع التعليمات: يضاهي GAPO باستمرار أو يتفوق على النماذج المرجعية القوية (DPO, SimPO, ORPO, $\alpha$-DPO) في اختبارات AlpacaEval 2.0 وArena-Hard. على سبيل المثال، في نموذج Mistral-7B، حقق GAPO معدل فوز بنسبة 38.7% في Arena-Hard، متفوقًا على SimPO (34.8%) وDPO (24.9%).
• الحفاظ على الاستدلال: على عكس بعض طرق تحسين التفضيلات التي تعاني من "ضريبة المحاذاة" (تدهور الاستدلال)، يحافظ GAPO على درجات الاستدلال أو يحسنها في GSM8k وARC-C مع تحسين المحاذاة.

4.2 المتانة تجاه الإشراف المشوش

تم اختبار GAPO تحت ظروف قلب التسميات العشوائي والضوضاء المهيكلة المعتمدة على الطول (حيث تُفضل الاستجابات الأقصر بشكل خاطئ).

• الأداء: تفوق GAPO على النماذج المخصصة للمتانة ضد الضوضاء (مثل Dr. DPO وr-DPO) عبر مستويات ضوضاء مختلفة دون الحاجة لنمذجة توزيع الضوضاء صراحةً.
• الآلية: في البيئات المشوشة المحكومة، طورت الأزواج ذات التسميات المقلوبة فجوات مثبت أكبر بكثير وتم تقليل أوزانها بقوة أكبر. بحلول نهاية الحقبة الأولى، تلقت الأزواج المقلوبة أوزانًا أصغر بنسبة ~16.9% مقارلة بالأزواج النظيفة. احتوت الـ 20% الأدنى من الأوزان (الأكثر تخفيفًا) على معدل قلب بنسبة 30.1%، مقارنة بـ 16.9% في الـ 20% الأعلى.

4.3 دراسات الاستبعاد (Ablation Studies)

• معيار التدرج مقابل فجوة المثبت: أظهر خط أساس يستخدم فقط إعادة وزن معيار التدرج (GradNorm-Reweight) تحسنًا عن SimPO ولكنه فشل في مضاهاة GAPO، مما يؤكد أن محاذاة اتجاه الدفعة والانحناء ضروريان.
• المقارنة مع SAM: أظهرت مقارنة GAPO مع SimPO باستخدام تقنية تقليل الحدة (SAM) أن إعادة الوزن لكل حالة في GAPO توفر مقايضة أفضل بين المحاذاة والاستدلال مقارنة بالبحث عن المسطحات على مستوى المُحسِّن بشكل موحد.
• التكلفة الحسابية: يتسبب GAPO في زيادة قدرها حوالي ضعفي وقت التنفيذ لكل خطوة بسبب حساب تدرج المثبت. ومع ذلك، أظهرت مقارنة متكافئة زمن التنفيذ أن حقبة واحدة من GAPO تفوقت على حقبتين من SimPO، مما يشير إلى أن المكاسب ليست مجرد نتيجة لطول وقت التدريب.

5. الأهمية والادعاءات

تدعي الورقة أن التدهور الهندسي المحلي يعمل كإشارة مفيدة لتحسين التفضيلات المستقرة، مما يقدم حلاً وسطًا بين التثبيت بالمرجع الثابت ونمذجة الضوضاء الصريحة.

تشمل المساهمات الرئيسية ما يلي:

1. إطار عمل GAPO: طريقة مبتكرة تبني مثبتًا متشائمًا مشروطًا بالدفعة لقياس تدهور الهامش المحلي.
2. التوصيف النظري: برهان على أن فجوة المثبت تعمل كمسبار لعدم الاستقرار باتجاه الدفعة، وتتفكك إلى مقدار التدرج، والمحاذاة، والانحناء.
3. المتانة التجريبية: أدلة على أن GAPO يحسن المتانة تجاه ضوضاء التفضيل العشوائية والمهيكلة عن طريق تخفيف الإشارات الهشة، دون الحاجة لتحديد أو تصفية البيانات الفاسدة صراحةً.

يؤكد المؤلفون أن GAPO هو آلية إعادة وزن، وليس مرشحًا للبيانات. فهو يعدل قوة التحديث باستمرار بناءً على الاستقرار المحلي، مما يسمح للنموذج بالتعلم من الأمثلة الصعبة ولكن المستقرة، مع كبح التحديثات المدفوعة بالارتباطات الزائفة أو المشوشة.