ملخص تقني: ما وراء الأزواج: نموذجك اللغوي يقوم سراً بتحسين رسم بياني للتفضيلات

1. بيان المشكلة

تعتمد طرق المحاذاة الحالية للنماذج اللغوية الكبيرة (LLMs)، ولا سيما تحسين التفضيل المباشر (DPO)، بشكل أساسي على مقارنات التفضيل الزوجية. وبين أن يوفر DPO بديلاً مستقراً لتعلم التعزيز من التغذية الراجعة البشرية (RLHF) عبر إلغاء نمذجة المكافأة الصريحة، فإنه يواجه عائقاً جوهرياً عند تطبيقه على أنظمة جمع البيانات العملية.

في العديد من السيناريوهات الواقعية (مثل الاستنتاج، وتوليد البرمجيات)، تتكون بيانات التدريب من مخرجات متعددة (rollouts) لكل مطالبة (prompt) يتم تصنيفها عبر الحكم البشري، أو التحقق القائم على التنفيذ، أو الاستدلالات (heuristics). يتعامل DPO القياسي مع هذا الأمر عبر تفكيك هذه التصنيفات متعددة العينات إلى مقارنات زوجية مستقلة ($O(K^2)$ من الحالات). ويؤدي هذا النهج الاختزالي إلى ثلاثة قيود حرجة:

1. فقدان التعدي (Transitivity): حيث يتجاهل الترتب المتعدي العالمي المتأصل في القوائم المصنفة (على سبيل المثال، إذا كان $A \succ B$ و $B \succ C$، فإن DPO القياسي لا يفرض صراحةً أن $A \succ C$).
2. الإشراف المكرر/المتناقض: حيث يعامل الأزواج المنعزلة كقيود منفصلة، مما قد يؤدي إلى إدخال الضجيج عندما تكون العينات متساوية أو عندما يكون التصنيف جزئياً.
3. عدم التوافق مع الترتيب الجزئي: العديد من إشارات التقييم (مثل الصحة في الرياضيات أو البرمجة) تنتج فئات تكافؤ أو ترتيبات جزئية لا يمكن تمثيلها بأمان كقوائم ترتيب كلي صارمة كما تتطلب طرق الترتيب القائمة على القوائم (مثل PRO و LiPO).

2. المنهجية: تحسين التفضيل القائم على الرسم البياني (GraphDPO)

يقترح المؤلفون GraphDPO، وهو تعميم مبدئي لـ DPO ينقل نمذجة التفضيل من الأزواج المنعزلة أو القوص الصارمة إلى رسوم بيانية موجهة غير حلقية (Directed Acyclic Preference Graphs - DAGs).

2.1 تمثيل الرسم البياني للتفضيل

لكل مطالبة $x$ ومجموعة من الاستجابات المرشحة $\{y_1, \dots, y_K\}$، يقوم GraphDPO ببناء رسم بياني موجه غير حلقي $G_x = (V, E)$:

• العقد (Nodes): تمثل الاستجابات التي تم أخذ عينات منها.
• الحواف (Edges): تشفر علاقات الهيمنة. توجد حافة $i \to j$ إذا كانت الاستجابة $y_i$ مفضلة على $y_j$ ($y_i \succ_x y_j$).
• فئات التكافؤ: للتعامل مع الإشارات المنفصلة (مثل صحيح/خاطئ) حيث تتشارك استجابات متعددة في نفس مستوى التفضيل، تقوم الطريقة بتجميع الاستجابات في فئات تكافؤ $C_1 \succ C_2 \succ \dots \succ C_G$. تُسمح الحواف فقط بين الفئات المختلفة؛ بينما يتم حجب الحواف داخل الفئة الواحدة. هذا يمنع التدرجات الزائفة من ترتيب العينات المتساوية بشكل تعسفي.

2.2 الهدف ذو البنية الرسومية

يعمل GraphDPO على تحسين احتمالية معرفة (likelihood) محددة عبر الجوارات المهيمن عليها. لكل استجابة $y_i$، يتم تدريب النموذج على تخصيص درجة أعلى من جميع الاستجابات التي تهيمن عليها ($N^-(i)$).

• الخسارة المحلية: باستخدام صيغة مستوحاة من Plackett–Luce (PL)، تكون الخسارة للعقدة $i$ هي:
  $$\ell_i = -\tilde{s}_i + \log \sum_{k \in \{i\} \cup N^-(i)} \exp(\tilde{s}_k)$$
  حيث $\tilde{s}_i$ هو مقياس نسبة اللوغاريتم الممركز بالنسبة لسياسة مرجعية.
• التجميع العالمي: تجمع الخسارة الإجمالية هذه الحدود المحلية. تفرض هذه الصيغة التعدي العالمي: إذا كانت $y_i$ تهيمن على $y_j$، فإن الهدف يشجع على أن تكون $s_i > s_j$، وتنتشر العلاقات المتعدية طبيعياً عبر الجوارات المشتركة.
• التعقيد: رغم الاستفادة من الرسم البياني الكامل، تحافظ الطريقة على تعقيد خطي $O(K)$ لكل مطالبة تحت بناء فئات التكافؤ (الرسم البياني الطبقي)، مما يتجنب تعداد المقارنات الزوجية $O(K^2)$ أو تطبيع التبديل للقوائم المستخدم في طرق الترتب القائمة على القوائم.

2.3 تثبيت المرجعية (Ground-Truth Anchoring)

عند توفر حلول مؤكدة (استجابات أوراكل/المرجع)، يدمج GraphDPO هذه الحلول كـ عقد مهيمنة في الرسم البياني.

• خسارة التثبيت (Anchoring Loss): يعمل حد منفصل على تشجيع استجابة الأوراكل على الهيمنة على جميع الاستجابات المولدة.
• جدول التخميد (Annealed Schedule): لتثبيت التدريب المبكر مع الحفاظ على المرونة لاحقاً، يتم ضبط وزن حد التثبيت $\lambda_{gt}(t)$ ليبدأ بقيمة عالية ثم يتلاشى تدريجياً إلى 1.0. هذا يمنع السياسة من الإفراط في التكيف مع الأوراكل في وقت مبكر جداً مع ضمان انتشار التفضيل بشكل متسق.

2.4 هدف التدريب

يجمع الهدف النهائي بين خسارة الرسم البياني، وتثبيت المرجع الاختياري، وحد تنظيم KL على مستوى الرمز (token) لمنع الانحراف عن السياسة المرجعية:
$$L(x) = L_{graph}(x) + \lambda_{gt}(t) L_{anchor}(x) + \lambda_{KL}(t) L_{KL}(x)$$
يمكن استعادة DPO الزوجي القياسي كحالة خاصة عندما يكون $K=2$ مع تفضيل صارم.

3. المساهمات الرئيسية

1. تحسين التفضيل ذو البنية الرسومية: يعيد GraphDPO صياغة تعلم التفضيل لبناء رسم بيئي متعدٍ (DAG) متسق عالمياً فوق مخرجات متعددة، مما يفرض التعدي ويستعيد DPO كحالة خاصة.
2. الترتيب المجموعي مع التعامل مع التفضيلات المتساوية: يدعم بطبيعته فئات التكافؤ، حيث يجري المقارنات فقط عبر مجموعات التفضيل لتجنب التدرجات الزائفة من العينات المتطابقة تقريباً.
3. تعلم الرسم البياني الكامل في زمن خطي: يلتقط الطريقة معلومات الترتيب العالمية عبر تجميع log-sum-exp فعال فوق المجموعات المهيمن عليها، متجنبة العبء الحسابي لتعداد الأزواج أو تطبيع التبديل للقوائم.
4. تثبيت تثبيت المرجع (Ground-Truth Anchoring): يقدم آلية تثبيت مُخمّدة تعمل على استقرار التحسين المبكر باستخدام الحلول المؤكدة دون التضحية بتنوع السياسة في المراحل اللاحقة.

4. النتائج التجريبية

قيم المؤلفون GraphDPO على اختبارات الاستنتاج الرياضي (GSM8K, MATH-500) وتوليد البرمجيات (APPS) باستخدام نماذج Qwen3 الأساسية.

• الأداء: تفوق GraphDPO باستمرار على النماذج المرجعية بما في ذلك التعلم الإشرافي الدقيق (SFT)، و GRPO، و SPIN، والطرق القائمة على القوائم (PRO, LiPO).
  • GSM8K: حقق 92.42% (بدون التثبيت) و 92.75% (مع التثبيت)، متجاوزاً أفضل نموذج قائمة مرجعي (LiPO: 89.23%).
  • MATH-500: حقق 87.40% (بدون GT) و 88.87% (مع GT)، مما أظهر فجوة أكبر مع طرق القوائم مقارنة بـ GSM8K، مما يشير إلى أن الفوائد تتوسع مع تعقيد المهمة.
  • APPS: حقق 72.93% (بدون GT) و 73.76% (مع GT)، متفوقاً على الطرق القائمة على المجموعات (GRPO) وطرق القوائم.
• نتائج دراسة الاستبعاد (Ablation):
  • الرسم البياني مقابل القوائم: تؤكد الفجوة في الأداء بين GraphDPO و PRO (الذي يزيل ترميز حواف الرسم البياني) أن نمذجة الترتيب الجزئي والبنية المتعدية تتفوق على افتراضات الترتب الكلي الصارمة.
  • عدد المخرجات ($K$): أدى زيادة $K$ عموماً إلى تحسين الأداء عبر استحثاث رسوم بيانية تفضيلية أغنى، مما سمح للنموذج بالاستفيد من علاقات الهيمنة المتعدية التي لا تظهر في أخذ العينات الزوجي.
  • التثبيت (Anchoring): وفر تثبيت المرجع (GT) مكاسب ثابتة، خاصة مع ميزانيات المخرجات الصغيرة والمهام الصعبة (MATH-500)، حيث ساهم في استقرار انتشار التفضيل.

5. الأهمية والادعاءات

يزعم البحث أن نمذجة بنية التفضيل كـ رسوم بيانية يوفر بديلاً قابلاً للتوسع وقوياً لكل من أهداف المحاذاة الزوجية والقائمة على القوائم.

• القابلية للتوسع: من خلال الحفاظ على التعقيد الخطي مع التقاط البنية العالمية، يعد GraphDPO مناسباً لإعدادات المحاذاة كثيفة المخرجات الشائعة في مهام الاستنتاج والبرمجة.
• المتانة: تتعامل الطريقة مع الترتيب الجزئي، وفئات التكافؤ، وعلاقات القابلية للمقارنة المتفرقة التي تكسر افتراضات الترتب الكلي الصارمة.
• الانحياز الاستقرائي: تشير النتائج إلى أن نمذجة العلاقات المهيكلة بين المخرجات (التعدي والهيمنة) أمر بالغ الأهمية لتوسيع نطاق المحاذاة إلى مجالات معقدة حيث تفشل افتراضات الترتب البسيطة.

يخلص المؤلفون إلى أن GraphDPO يقدم انحيازاً استقرائياً بسيطاً وفعالاً لمحاذاة النماذج اللغوية الكبيرة، مما يسد الفجوة بين بساطة DPO والثراء الهيكلي للترتيبات متعددة العينات.