Overton Pluralistic Reinforcement Learning for Large Language Models

إليك ملخص تقني مفصل لورقة البحث بعنوان "التعلم التعزيزي التعددي لنوافذ أوفيرتون في النماذج اللغوية الكبيرة" (OP-GRPO).

1. بيان المشكلة

تعتمد نماذج محاذاة الذكاء الاصطناعي الحالية (مثل RLHF وSFT) عادةً على تحسين النماذج اللغوية الكبيرة (LLMs) نحو هدف إجماعي واحد. يؤدي هذا النهج دون قصد إلى تهميش وجهات النظر الأقلية، وتضخيم الرؤى المهيمنة، وإنتاج مخرجات متحيزة أو هشة أو مثيرة للجدل. كما أنه يفشل في استيعاب الطبيعة التعددية للقيم الإنسانية، والتي تختلف بشكل كبير عبر الثقافات والديموغرافيات والأفراد.

بينما تم اقتراح مفهوم تعددية أوفيرتون (Overton Pluralism - OP) لمعالجة ذلك — والذي يدعو إلى إظهار وجهات نظر متعددة ومبررة ضمن "نافذة أوفيرتون" (وجهات النظر المقبولة اجتماعياً) — إلا أن الحلول الحالية تعاني من قيود:

• التلقين الصريح (Explicit Prompting): الاعتماد على التعليمات لتوليد رؤى متنوعة غالباً ما ينتج تنوعاً محدوداً ومخرجات منخفضة الجودة.
• التعددية النمطية (Modular Pluralism): المنهجيات التي تدير نماذج متعددة خاصة بمجتمعات معينة مع نموذج تلخيص هي فعالة ولكنها تزيد من زمن الاستجابة (latency)، والتعقيد، وتتطلب تعاوناً بين نماذج متعددة.

التحدي الجوهري: كيف يمكن تمكين نموذج لغوي واحد مدمج من تعلم وتوليد استجابات تعددية عالية الجودة بشكل ضمني دون الحاجة إلى تلقين صريح أو تنسيق نمطي، مع ضمان أن تغطي وجهات النظر المولدة طيف القيم الإنسانية بدقة.

2. المنهجية: OP-GRPO

يقترح المؤلفون OP-GRPO (تحسين السياسة النسبي للمجموعات التعددي لنوافذ أوفيرتون)، وهو إطار عمل للتعلم التعزيزي مصمم لتدريب نموذج لغوي واحد لإنتاج نوافذ أوفيرتون تعددية. تتكون المنهجية من مرحلتين أساسيتين:

أ. تنقية مجموعة البيانات (OP-V2)

• المصدر: بناءً على مجموعة بيانات ValuePrism (218 ألف موقف اجتماعي).
• خط معالجة التنقية: لضمان بيانات تدريب عالية الجودة، طبق المؤلفون خط معالجة ثلاثي المراحل:
  1. التصفية الدلالية (Semantic Filtering): استخدام SBERT لتصفية وجهات النظر المكررة.
  2. حكم النموذج اللغوي (LLM Judgment): استخدام نموذج لغوي (Qwen3-14B) مع التصويت بالأغلبية للتأكد من عدم وجود تكرار.
  3. التعزيز (Augmentation): ضمان وجود خمس وجهات نظر فريدة ومتميزة دلالياً على الأقل لكل موقف.
• النتيجة: تحتوي مجموعة بيانات OP-V2 النهائية على حوالي 30 ألف صف، مع زيادة معدل عدم التكرار من 48% إلى 90.8%.

ب. تدريب مُقدّر التشابه (OP-SBERT)

لتقييم التغطية دون الاعتماد على أحكام النماذج اللغوية المكلفة أثناء تدريب التعلم التعزيزي، قام المؤلفون بضبط نموذج محول جمل (Sentence Transformer - SBERT).

• بناء الثلاثيات (Triplet Construction): إنشاء مجموعة بيانات OP-Triplet (مرساة، إيجابي/مكرر، سلبي/متميز) لتعليم النموذج تشابهاً خاصاً بالمهمة.
• هدف التدريب: الضبط باستخدام خسارة الترتيب متعددة السلبيات (Multiple-Negative Ranking Loss - MNRL).
• استراتيجية المطابقة (MBGM): لحل مشكلة المطابقة "متعدد إلى واحد" (حيث ترتبط عدة مرشحات بمرجع واحد بسبب التداخل السطحي للكلمات المفتاحية)، قدموا المطابقة الجشعة للأفضل المتبادل (Mutual-Best Greedy Matching - MBGM):
  • قناع الكلمات المفتاحية (Keyword Masking): حجب الرموز (tokens) عالية التكرار في التلقين للتركيز على الاختلافات الدلالية.
  • الأفضل المتبادل (Mutual Best): الزوج $(c_i, r_j)$ يكون صالحاً فقط إذا كان $c_i$ هو أفضل مطابقة لـ $r_j$ وَ $r_j$ هو أفضل مطابقة لـ $c_i$.
  • الإزالة الجشعة (Greedy Removal): بمجرد اختيار زوج، يتم استبعادهما من النظر المستقبلي لفرض مطابقة صارمة واحد لواحد.

ج. نظام المكافأة وتدريب GRPO

يستخدم إطار العمل تحسين السياسة النسبي للمجموعات (Group Relative Policy Optimization - GRPO) لتحسين السياسة. دالة المكافأة $R(a)$ للاستجابة المولدة هي مجموع مرجح لثلاثة مكونات:

1. تغطية المرجع ($r_{cov}$): نسبة وجهات النظر المرجعية البشرية التي تطابقت مع المرشحات المولدة باستخدام خوارزمية MBGM.
2. تفرد المجموعة ($r_{uniq}$): عقوبة على التكرار بين المرشحات المولدة، تُحسب عن طريق تجميع وجهات النظر المتشابهة.
3. جودة التنسيق ($R_{fmt}$): مكافأة الالتزام بهيكل مخرجات محدد (مثل <core perspectives> و <summary>) ومعاقبة التكرار.

المكافأة النهائية: $R(a) = \alpha_{cov} r_{cov} + \alpha_{uniq} r_{uniq} + R_{fmt}$.
وجد المؤلفون أن نسبة 5:1 (التغطية:التفرد) هي المثلى، مما يوازن بين الحاجة لتغطية القيم الإنسانية ومنع النموذج من مجرد سرد نفس الفكرة عدة مرات.

3. المساهمات الرئيسية

1. تعددية أوفيرتون الضمنية: أول إطار عمل يستخدم RLHF لتمكين نموذج صغير واحد من توليد استجابات تعددية بشكل ضمني، مما يلغي الحاجة إلى التلقين الصريح أو التنسيق النمطي متعدد النماذج.
2. خوارزمية MBGM: استراتيجية مطابقة مبتكرة تحل الغموض الدلالي والتكرار في حساب المكافأة، مما يضمن مطابقة دقيقة (واحد لواحد) بين المنظورات المولدة والمرجعية.

• نظام المكافأة المزدوج: دالة مكافأة مصممة بعناية تعمل على تحسين التغطية (المواءمة مع القيم البشرية) والتفرد (تنوع وجهات النظر المولدة) في آن واحد، مما يمنع "اختراق المكافأة" (reward hacking) عبر المخرجات الطويلة والمتكررة.

3. القابلية للتوسع: إثبات أن النماذج الصغيرة (1.5B–3B بارامتر) المدربة باستخدام OP-GRPO يمكنها التفوق على النماذج الأكبر بكثير (20B+) والأنظمة النمطية المعقدة.

4. النتائج التجريبية

قيم المؤلفون OP-GRPO على معيار OP-V2 باستخدام مقاييس الاستدلال باللغة الطبيعية (NLI) وتقييم "النموذج اللغوي كحكم" (LLM-as-Judge).

• الأداء مقابل النماذج المرجعية:
  • حقق Qwen2.5-3B-Instruct (OP-GRPO) زيادة نسبية في الدقة قدرها 37.4% مقارنة بالنموذج المرجعي GPT-OSS (20B) في اختبار NLI.
  • تفوق على نموذج التعددية النمطية (Qwen3-14B) بنسبة 19.1%.
  • تجاوز نظائره التي تعتمد على التلقين الصريح بأكثر من 100% في الدقة النسبية.
• الكفاءة: أنتجت النماذج المدربة استجابات أقصر وأكثر تركيزاً مقارنة بالنماذج المرجعية التي تميل إلى تضخيم الطول لزيادة التغطية بشكل مصطنع.
• المتانة:
  • دراسات الاستئصال (Ablation Studies): أدى حذف مكافأة التفرد إلى "اختراق المكافأة" (مخرجات أطول ومتكررة) وانخفاض في التغطية الحقيقية. كما تسبب حذف MBGM في تدهور كبير في الأداء.
  • التعميم: حافظ النموذج على أداء عالٍ عبر أنماط التلقين المختلفة، واللغات (الصينية)، وعدد وجهات النظر المطلوبة المتفاوت (من 5 إلى أكثر من 10).
• التقييم النوعي: أكدت تقييمات (GPT-4.1) أن نماذج OP-GRPO سجلت درجات أعلى في الفائدة، الوضوح، الواقعية، العمق، والتفاعل مقارنة بالنماذج الأخرى.

5. الأهمية

تضع هذه الورقة مساراً قابلاً للتوسع، فعالاً، ومبدئياً نحو تحقيق تعددية أوفيرتون في الذكاء الاصطناعي.

• تحول في النموذج: إنها تنقل عملية المحاذاة من "التوزيعية" (متوسط القيم) إلى "التعددية" (إظهار وجهات نظر متميزة ومبررة).
• النشر العملي: من خلال إثبات أن نموذجاً واحداً مدمجاً يمكنه تعلم السلوك التعددي ضمنياً، فإنها تزيل العبء الحسابي والهيكلي للأنظمة النمطية، مما يجعل المحاذاة التعددية للذكاء الاصطناعي أمراً ممكناً للنشر في العالم الحقيقي.
• الأثر الأخلاقي: يقلل هذا النهج من خطر انحياز الذكاء الاصطناعي عبر ضمان أن وجهات النظر الأقلية والمتنوعة لا يتم تهميشها، بل يتم تمثيلها صراحة في مخرجات النموذج، مما يمكّن المستخدمين من اتخاذ قرارات تتماشى مع قيمهم الخاصة.

في الختام، يمثل OP-GRPO طفرة في جعل النماذج اللغوية الكبيرة ليست فقط "آمنة" أو "مفيدة"، بل مدركة للتعددية، وقادرة على التنقل في الطيف المعقد للخلاف البشري بدقة وإنصاف.