💬 NLP

CoAct: Co-Active LLM Preference Learning with Human-AI Synergy

يُعد CoAct إطار عمل مبتكر يجمع بشكل تآزري بين التعلم ذاتي المكافأة والتعلم النشط من خلال التعاون الاستراتيجي بين الإنسان والذكاء الاصطناي لتجاوز ندرة بيانات التفضيلات عالية الجودة، محققاً تحسينات كبيرة في الأداء على معايير الاستدلال مثل GSM8K وMATH وWebInstruct.

المؤلفون الأصليون: Ruiyao Xu, Mihir Parmar, Tiankai Yang, Zhengyu Hu, Yue Zhao, Kaize Ding

نُشر 2026-04-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ruiyao Xu, Mihir Parmar, Tiankai Yang, Zhengyu Hu, Yue Zhao, Kaize Ding

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم طالب عبقري لكنه يفتقر للخبرة (وهو الذكاء الاصطناعي) كيفية حل المسائل الرياضية المعقدة. لديك كومة ضخمة من أسئلة التدريب، لكن ليس لديك الوقت أو المال لتوظيف معلم خبير ليقوم بتصحيح كل مسألة منها.

هذه هي المشكلة ذاتها التي يحلها بحث COACT. فهو يقدم طريقة جديدة لتدريب الذكاء الاصطناعي تجمع بين أفضل ما في عالمين: الذكاء الاصطناعي الذي يعلم نفسه بنفسه وتدخل الخبراء البشريين فقط عند الضرورة القصوى.

إليك التفاصيل باستخدام تشبيهات بسيطة:

المشكلة: معضلة "عمل كثير، وقت قليل"

لجعل الذكاء الاصطناعي ذكياً، فإنه يحتاج للتعلم من "بيانات التفضيل". وهذا يعني إظهار إجابتين لسؤال واحد وإخباره: "الإجابة (أ) جيدة، والإجابة (ب) سيئة".

الطريقة القديمة 1 (المكافأة الذاتية): الذكاء الاصطناعي يصحح واجبه المنزلي بنفسه.
- المخاطرة: الأمر يشبه طالباً يصحح اختباره بنفسه؛ قد يعتقد أنه أجاب بشكل صحيح بينما هو مخطئ، مما يعزز أخطاءه. هي طريقة سريعة ورخيصة، لكنها غير موثوقة.
الطريقة القديمة 2 (التعلم النشط): توظيف خبير بشري لتصحيح الواجب.
- المخاطرة: البشر مكلفون وبطيئون. يمكنك تصحيح عدد قليل جداً من الأسئلة، مما يترك آلاف مسائل التدريب الأخرى دون استخدام.

الحل: COACT (الـ "مجموعة الدراسة الذكية")

COACT يشبه مجموعة دراسية يعمل فيها الطالب (الذكاء الاصطناعي) والمعلم (البشر/الخبير) معاً في حلقة استراتيجية. وإليك كيف يعمل في ثلاث خطوات:

1. فحص "الاتساق الذاتي" (اختبار الحدس للذكاء الاصطناعي)

بدلاً من مجرد اختيار إجابة واحدة، يقوم الذكاء الاصطناعي بإنشاء ثماني طرق مختلفة لحل نفس المسألة الرياضية.

التشبيه: تخيل أنك تطلب من الطالب حل مسألة واحدة ثماني مرات. إذا حصل سبع مرات على النتيجة "42" ومرة واحدة على "100"، فإن الذكاء الاصطناعي يدرك: "مهلاً، أنا واثق تماماً من أن الإجابة هي 42".
السر السحري: إذا كان الذكاء الاصطناعي متسقاً، فإنه يثق في إجابته ويستخدمها كبيانات "ذاتية التصنيف". أما إذا كان مرتبكاً (والإجابات متضاربة)، فهو يعلم أنه بحاجة للمساعدة.

2. "المعلم الاستراتيجي" (الخبير)

الذكاء الاصطناعي لا يطلب المساعدة من المعلم البشري في كل شيء. بل يطلب المساعدة في نوعين محددين من المسائل فقط:

النوع (أ): المرتبكون. المسائل التي قدم فيها الذكاء الاصطناعي ثماني إجابات مختلفة. هنا يحتاج المعلم لتوضيح الأساسيات.
النوع (ب): فخاخ "الثقة المفرطة". هذا هو الجزء الذكي؛ فأحياناً يقدم الذكتا الاصطناعي نفس الإجابة الخاطئة ثماني مرات لأنه "واثق من خطئه" (مثل طالب حفظ معادلة خاطئة عن ظهر قلب). يستخدم COACT "راداراً" خاصاً (يسمى k-NN distance) لرصد هذه الإجابات الواثقة ولكن الخاطئة وإرسالها للمعلم لتصحيحها.

3. "مولد الواجبات المنزلية" (التعزيز الموجه من الخبير)

بمجرد أن يصحح المعلم بعض المسائل الصعبة، لا يتوقف الذكاء الاصطناعي عند هذا الحد. بل ينظر إلى الأمثلة الصحيحة التي تحقق منها المعلم ويقول: "حسناً، لقد فهمت هذا المستوى الآن. دعني أنشئ مسائل تدريب جديدة تناسب مستوى مهاراتي الحالي تماماً".

التشبيه: يشبه الأمر مدرساً يقول لطالبه: "لقد أتقنت هذا المفهوم، الآن حاول كتابة أسئلة تدريبية خاصة بك بناءً على ما تعلمته للتو". هذا يخلق مورداً لا ينتهي من مواد التدريب عالية الجودة التي يستطيع الذكاء الاصطناعي حلها فعلياً.

النتيجة: حلقة تعلم فائقة القوة

من خلال دمج التصحيح الذاتي للذكاء الاصطناعي (للأشياء السهلة) مع تصحيح الخبراء البشر (للأشياء الصعبة والمخادعة)، يخلق COACT مجموعة بيانات ضخمة وعالية الجودة دون الحاجة لملايين الساعات البشرية.

الدليل:
عندما اختبروا هذا النظام على معايير الرياضيات والاستدلال (مثل GSM8K و MATH)، تحسن أداء الذكاء الاصطناعي بشكل مذهل:

تحسن بنسبة 13% في رياضيات المرحلة الابتدائية.
تحسن بنسبة 8% في الرياضيات المتقدمة للمسابقات.
حتى أنه أصبح أفضل في الفيزياء والمعلومات العامة، مما يثبت أنه تعلم كيف يتعلم، وليس مجرد حفظ الإجابات.

الخلا الخلاصة

COACT يشبه سيارة ذاتية القيادة لتدريب الذكاء الاصطناعي.

تقود نفسها على الطرق السريعة المفتوحة (المكافأة الذاتية) عندما يكون الطريق واضحاً.
وتستدعي مدرباً بشرياً فقط عندما تصل إلى تقاطع ضبابي أو منعطف مربك (التعلم النشط).
وبمجرد تعلم مسار جديد، تقوم برسم طرق جديدة لاستكشافها (تعزيز التعليمات).

هذا النهج يوفر المال، ويوفر الوقت، ويخلق ذكاءً اصطناعياً أكثر ذكاءً مما يمكن لأي من الطريقتين تحقيقه بمفرده.

إليك ملخص تقني مفصل لورقة البحث بعنوان "COACT: التعلم التفضيلي للنماذج اللغوية الكبيرة عبر التفاعل المشترك بين الذكاء الاصطناعي والبشر (Co-Active LLM Preference Learning with Human-AI Synergy)."

1. بيان المشكلة

تتطلب النماذج اللغوية الكبيرة (LLMs) مواءمة التفضيلات (على سبيل المثال، عبر RLHF أو DPO) لتعمل بشكل جيد عبر المهام المتنوعة. ومع ذلك، تواجه هذه العملية مقايضة جوهرية:

ندرة البيانات مقابل الجودة: بيانات التفضيل ذات الجودة العالية والموسومة بشرياً مكلفة ونادرة، مما يحد من القدرة على التوسع.
محدودية المكافأة الذاتية (Self-Rewarding): الأساليب التي تعتمد فقط على الملصقات المولدة بواسطة الذكاء الاصطناائي (المكافأة الذاتية) قابلة للتوسع ولكنها عرضة لـ "التحيز الذاتي"، حيث تعزز النماذج أخطاءها وهلوساتها الخاصة.
محدودية التعلم النشط (Active Learning): تختار أساليب التعلم النشط العينات الأكثر إفادة للتدوين البشي لضمان الجودة. ومع ذلك، فإن ميزانيات التدوين الصارمة تمنع الاستفادة من كميات هائلة من البيانات غير الموسومة المتبقية، مما يؤدي إلى كفاءة دون المستوى الأمثل في البيانات.

التحدي الأساسي هو كيفية تحقيق مواءمة فعالة للبيانات من خلال الاستفادة المتآزرة من قابلية التوسع للبيانات المولدة بالذكاء الاصطناعي وموثوقية التدوين البشري (أو الخبير/Oracle).

2. المنهجية: إطار عمل COACT

COACT (التفاعل المشترك) هو إطار عمل تكراري يربط بين المكافأة الذاتية والتعلم النشط من خلال تعاون استراتيجي بين البشر والذكاء الاصطناعي. يعمل الإطار عبر جولات، حيث يتم تحديث النموذج باستخدام مزيج من البيانات الموسومة ذاتياً والبيانات الموسومة من قبل الخبير (Oracle).

أ. بناء تفضيلات الاتساق الذاتي (Self-Consistency)

بدلاً من توليد استجابة واحدة، يقوم COACT بتوليد $k$ من الاستجابات المتنوعة لكل تعليمات غير موسومة باستخدام أخذ العينات القائم على درجة الحرارة (temperature-based sampling).

مقياس الاتساق: يحسب درجة الاتساق $C(y)$ بناءً على تكرار الإجابة النهائية عبر العينات الـ $k$ .
بناء الأزواج: تُعامل الاستجابة الأكثر اتساقاً على أنها "المختارة" ( $y^+$ )، والأقل اتساقاً على أنها "المرفوضة" ( $y^-$ ).
التقسيم: بناءً على درجة اتساق الاستجابة المختارة، يتم تقسيم العينات إلى:
- مجموعة الاتساق العالي ( $D_{high}$ ): من المرجح أن تكون صحيحة، ولكنها قد تحتوي على "أخطاء متسقة ذاتياً" (حيث يخطئ النموذج بثقة في نفس الإجابة الخاطئة).
- مجموعة الاتساق المنخفض ( $D_{low}$ ): حالات غير مؤكدة تتطلب تحققاً خارجياً.

ب. الاختيار الاستراتيجي لتدوين الخبير (Oracle Annotation Selection)

بالنظر إلى ميزانية تدوين ثابتة قدرها $M$ لكل دورة، يقوم COACT بتوزيعها استراتيجياً بين المجموعتين لتعظيم الاستفادة من المعلومات:

اختيار الاتساق المنخفض: يختار أفضل $M_{low}$ عينة من العينات ذات درجات الاتساق الأدنى (الأعلى عدم يقيناً) للتدوين من قبل الخبير.
اختيار الاتساق العالي (كشف k-NN): للإمساك بالأخطاء المتسقة ذاتياً في مجموعة الثقة العالية، يستخدم COACT مقياس مسافة الجيران الأقرب (k-Nearest Neighbors - k-NN). يقارن تمثيلات الميزات لعينات الاتساق العالي مقابل مجموعة من العينات الصحيحة التي تم التحقق منها سابقاً (داخل التوزيع - In-Distribution). العينات ذات مسافات k-NN الكبيرة يتم وسمها كأخطاء خارج التوزيع (OOD) وتُحول للتدوين من قبل الخبير.

ج. تعزيز التعليمات الموجه بالخبير (Oracle-Guided Instruction Augmentation)

يخدم رد فعل الخبير غرضاً مزدوجاً:

التحقق: تصحيح ملصقات التفضيل.
التوليد: استخدام الأمثلة المتحقق منها وعالية الجودة كأمثلة سياقية (ICL) لتحفيز النموذج اللغوي على توليد تعليمات جديدة ومتنوعة تظل ضمن القدرة القابلة للحل الحالية للنموذج. ثم تتم معالجة هذه التعليمات الجديدة عبر حلقة الاتساق الذاتي لتوسيع مجموعة بيانات التدريب.

د. تحديث النموذج

تجمع مجموعة بيانات التدريب النهائية بين:

البيانات الموسومة من الخبير ( $D_{oracle}$ ): التي تم التحقق منها بواسطة بشر/خبير.
البيانات الموسومة بالذكاء الاصطناعي ( $D_{AI}$ ): أزواج التفضيل عالية الثقة ذاتياً + الأزواج المولدة من التعليمات المعززة.

يتم تحديث النموذج باستخدام هدف DPO معدل يتضمن حداً لتنظيم السلب للوغاريتم الأقصى (NLL) لمنع النسيان الكارثي واستقرار التدريب.

3. المساهمات الرئيسية

إطار عمل مبتكر: يقدم COACT، وهو أول إطار عمل يجمع بشكل تآزري بين المكافأة الذاتية والتعلم النشط، معالجاً مقايضة القابلية للتوسع والجودة.
الاتساق الذاتي كوسيط: يثبت أن الاتساق الذاتي هو وسيط قوي لدقة الإجابة ويستخدمه لتقسيم البيانات من أجل التدوين الاستراتيجي.
آلية كشف الأخطاء: يقترح استخدام مسافة k-NN على عينات الاتساق العالي للكشف عن "الأخطاء المتسقة ذاتياً"، وهي ثغرة حرجة في أساليب المكافأة الذاتية البحتة.
تعزيز التعليمات: يستفيد من تغذية الخبير الراجعة ليس فقط للوسم، بل لتوجيه توليد تعليمات تدريب جديدة وقابلة للحل، مما يوسع توزيع البيانات بفعالية.
ضمان نظري: يقدم تحليلاً نظرياً يوضح أن الإشراف المختلط (خبير نظيف + ذكاء اصطناعي ضوضائي) يحسن بشكل مثبت من دون مثالية السياسة مقارنة بالتدريب المعتمد على الخبير فقط، بشرما كان معدل ضوضاء الذكاء الاصطناعي أقل من 50%.

4. النتائج التجريبية

تم تقييم إطار العمل على ثلاثة معايير للاستدلال (GSM8K، MATH، WebInstruct) باستخدام عائلتي نماذج (Llama3-8B و Qwen3-4B).

مكاسب الأداء: بعد أربع دورات تدريبية، حقق COACT تحسينات متوسطة قدرها:
- +13.25% في GSM8K.
- +8.19% في MATH.
- +13.16% في WebInstruct.
مقارنة خطوط الأساس: تفوق COACT باستمرار على خطوط الأساس القوية (العشوائية، القائمة على الإنتروبيا، والتعلم النشط القائم على يقين التفضيل) بمقدار 4 إلى 8 نقاط مئوية في الدورة النهائية.
التعميم: أظهر النموذج تعميماً فائقاً خارج النطاق على GPQA (علوم مستوى الدراسات العليا) و MMLU-Pro، مما يشير إلى أن الاستراتيجية تنوع توزيع التدريب بفعالية.
تحليل الارتباط: لوحظ وجود ارتباطات بيرسون قوية بين درجات الاتساق الذاتي والدقة الفعلية، مما يؤكد الافتراض الأساسي للمنهجية.

5. الأهمية والتأثير

كفاءة الموارد: يقدم COACT حلاً عملياً للمؤسسات ذات ميزانيات التدوين المحدودة، حيث يعظم فائدة كل ملصق بشري من خلال دمجه مع بيانات عالية الجودة مولدة بالذكاء الاصطناعي.
تخفيف التحيز الذاتي: من خلال تحديد وتصحيح الأخطاء المتسقة ذاتياً عبر k-NN وتغذية الخبير الراجعة، يمنع COACT النموذج من الانحراف نحو "حلقة الهلوسة"، وهو نمط فشل شائع في نماذج التعلم الذاتي للذكاء الاصطناعي.
المواءمة القابلة للتوسع: يضع إطار العمل نموذجاً جديداً لمواءمة النماذج اللغوية الكبيرة يكون قابلاً للتوسع (عبر المكافأة الذاتية) وموثوقاً (عبر التفاعل النشط مع البشر)، مما يجعل تعلم التفضيلات عالي الجودة متاحاً لمهام الاستدلال المعقدة.

في الختام، يثبت COACT أن التعاون الاستراتيجي والمتكرر بين التقييم الذاتي للذكاء الاصطناعي والتحقق المستهدف من البشر (أو الخبراء) يخلق إشارة تدريب متفوقة مقارنة باستخدام أي من النهجين بشكل منفصل.