🤖 machine learning

Interactive Critique-Revision Training for Reliable Structured LLM Generation

تقترح هذه الورقة طريقة DPA-GRPO، وهي طريقة تدريب للأفعال المزدوجة المقترنة للعبة المولد والمتحقق التي تستخدم حالات ضمان السلامة ومجموعات الأفعال المضادة لتحسين مخرجات النماذج اللغوية الكبيرة المهيكلة، مما يظهر تحسناً في الدقة، وكشف الأخطاء، وسلوك المراجعة المعاير على معيار TaxCalcBench TY24.

المؤلفون الأصليون: Fei Xu Yu, Zuyuan Zhang, Mahdi Imani, Nathaniel D. Bastian, Tian Lan

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Fei Xu Yu, Zuyuan Zhang, Mahdi Imani, Nathaniel D. Bastian, Tian Lan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول ملء نموذج ضريبي معقد للغاية وعالي المخاطر. لديك مساعد ذكي (المولد - Generator) يكتب الأرقام، ومدقق صارم (المتحقق - Verifier) يراجع العمل.

في الماضي، إذا طلبت من الذكاء الاصطناعي القيام بذلك، فإنه كان يكتفي بكتابة الأرقام ويأمل في الأفضل. أحياناً كان يصيب، وأحياناً أخرى كان يرتكب خطأً سخيفاً ولا يلاحظه أحد. حاولت طرق أخرى جعل الذكاء الاصطناعي "يتجادل" مع نفسه، لكن ذلك أدى غالباً إلى إقناع الذكاء الاصطناعي لنفسه بإجابات خاطئة باستخدام حجج تبدو براقة ولكنها زائفة.

تقدم هذه الورقة البحثية طريقة تدريب جديدة تسمى DPA-GRPO. فكر في الأمر كعملية "بروفة" صارمة حيث يتعلم المساعد والمتحقق العمل معاً كفريق واحد، وليس مجرد شخصين يصرخان على بعضهما البعض.

إليك كيف يعمل النظام، مقسماً إلى مفاهيم بسيطة:

1. اللاعبان: المخطط والمفتش

المولد (المخطط - The Draftsman): ينظر هذا الذكاء الاصطناعي إلى النموذج الضريبي ويقترح إجابة (مثلاً: "خصم القرض الطلابي الخاص بك هو 3,000 دولار").
المتحقق (المفتش - The Inspector): ينظر هذا الذكاء الاصطناعي إلى إجابة المخطط. ولديه خياران:
- البقاء صامتاً: "تبدو جيدة، أنا أوافق عليها."
- رفع علم (SAC): "انتظر لحظة! لقد وجدت خطأً." ومن الأهمية بمكان أنه عندما يرفع علماً، لا يمكنه الاكتفاء بالقول "أنت مخطئ"، بل يجب عليه تقديم حالة ضمان سلامة (SAC). وهذا يشبه مذكرة رسمية تتضمن:
  - الادعاء: "الرقم مرتفع جداً."
  - الحجة: "القانون ينص على أن الحد الأقصى هو 2,500 دولار."
  - الدليل: "إليك الإيصال الذي يظهر أنك دفعت 3,000 دولار."

2. حلقة "الفرصة الثانية"

إذا رفع المفتش علماً، يحصل المخطط على فرصة ثانية. يمكنه حينها:

الإبقاء: "أنا متمسك بإجابتي الأصلية؛ علمك كان خطأً."
المراجعة: "أنت محق، لقد ارتكبت خطأً حسابياً. إليك الرقم المصحح."

3. لعبة التدريب (المدرب)

إن سحر هذه الورقة البحثية يكمن في كيفية تعليم الذكاء الاصطناعي. هم لا يكتفون بقول "عمل جيد" أو "عمل سيء"، بل يلعبون لعبة حيث يتعلم الذكاء الاصطناعي من ما كان يمكن أن يحدث (السيناريوهات المقابلة للواقع).

تخيل مدرباً يشاهد مباراة تدريبية:

السيناريو أ: المخطط أصاب الإجابة، والمفتش بقي صامتاً. (مثالي!) يكافئ المدرب كلاهما.
السيناريو ب: المخطط أخطأ، والمفتش تجاهل الخطأ. (سيء!) يخبر المدرب المفتش: "كان يجب عليك رفع العلم!"
السيناريو ج: المخطط أصاب الإجابة، لكن المفتش رفع علماً بشكل خاطئ. (سيء!) يخبر المدرب المفتش: "توقف عن كونك مهووساً؛ تلك الإجابة كانت صحيحة."
السيناريو د: المفتش رفع علماً، والمخطط قام بتصحيح الخطأ. (جيد!) يحصل كلاهما على مكافأة لعملهما الجماعي.
السيناريو هـ: المفتش رفع علماً، لكن "تصحيح" المخطط جعل الأمر أسوأ. (سيء!) يخبر المدرب المخطط: "لا تغير الأشياء لمجرد أن أحدهم صرخ عليك؛ تحقق مما إذا كان التغيير أفضل بالفعل."

يستخدم النظام صيغة رياضية (GRPO) لتعديل "دماغ" الذكاء الاصطناعي بحيث يتعلم:

الحصول على الإجابة الصحيحة من المرة الأولى.
رفع الأعلام فقط عندما تكون هناك حاجة فعلية لذلك.
تغيير الإجابة فقط إذا كان التغيير تحسناً حقيقياً.

4. النتائج: فريق أفضل

اختبر الباحثون هذه الطريقة على معيار يسمى TaxCalcBench، والذي يحاكي ملء النماذج الضريبية الأمريكية. وقارنوا طريقتهم بـ:

Zero-shot: الذكاء الاصطناعي يخمن فقط دون تدريب.
الطرق القديمة: تدريب المخطط فقط ليصبح أفضل، دون وجود مفتش مخصص.

كانت النتائج واضحة:

حقق "الفريق" الجديد (DPA-GRPO) إجابات صحيحة أكثر بكثير من المخطط المنفرد أو الذكاء الاصطناعي غير المدرب.
تعلم المفتش التوقف عن "التبليغ الكاذب" (رفع إنذارات خاطئة) وبدأ في رصد الأخطاء الحقيقية التي كان يفوتها سابقاً.
تعلم المخطط أن يكون أكثر ذكاءً بشأن متى يغير إجابته، بدلاً من الطاعة العمياء لكل تصحيح.

الخلاصة

تقترح هذه الورقة البحثية طريقة لتدريب الذكاء الاصطناعي ليكون أكثر موثوقية في المهام المنظمة (مثل ملء النماذج) من خلال تحويل العملية إلى لعبة تعاونية بين مبتكر وناقد. بدلاً من مجرد الأمل في أن يصيب الذكاء الاصطنا est، فهم يعلمونه كيف يجادل، ويفحص الأدلة، ويراجع عمله بطريقة منظمة ومنضبطة، مما يؤدي إلى أخطاء أقل ومخرجات أكثر موثوقية.

ملخص تقني: التدريب التفاعلي للنقد والمراجعة لإنتاج نماذج لغوية كبيرة مهيكلة وموثوقة

بيان المشكلة

تُظهر النماذج اللغوية الكبيرة (LLMs) قدرات قوية في التوليد مفتوح النهايات، لكنها تظل هشة في سير عمل اتخاذ القرار المعقد والمهيكل، مثل ملء النماذج، وفحص الامتثال، وتقارير الصيانة. في هذه المجالات، يجب أن تكون المخرجات صحيحة محلياً، ومتسقة عالمياً، وقابلة للتدقيق مقابل قواعد محددة. تعتمد طرق التحسين الحالية غالباً على المناظرات القائمة على الاستدلال، أو اللعب الذاتي، أو الإشراف المولد بواسطة النماذج اللغوية الكبيرة، مما يؤدي إلى "مشكلة ضمان من الدرجة الثانية": حيث يتطلب المُحقِّق نفسه تقييماً. فالمُحقِّق الذي يُكافأ على إيجاد الأخطاء قد يولد اعتراضات مقنعة ولكن ضعيفة الاستناد، بينما قد يقوم المُوَلِّد إما بالتصحيح المفرط للمخرجات الدقيقة أو تجاهل التغذية الراجعة المفيدة. علاوة على ذلك، غالباً ما تعامل نهج الوكلاء المتعددين الحالية المناظرة كآلية توجيه (prompting) بدلاً من كونها نموذجاً تدريبياً مخصصاً للأدوار، مما يفتقر إلى إطار عمل منهجي لتدريب الوكلاء مع أدلة ضمان مهيكلة.

المنهجية: DPA-GRPO

يقترح المؤلفون DPA-GRPO (تحسين السياسة المجموعي النسبي مزدوج الفعل المزدوج)، وهو إطار عمل نظري للألعاب (game-theoretic) لتدريب لعبة ماركوف ثنائية اللاعب بين مُوَلِّد (Generator) ومُحقِّق (Verifier).

لعبة المُوَلِّد والمُحقِّق

يتم نمذجة التفاعل كإلعبة ذات أفق زمني محدود، حيث يقترح المُوَلِّد مخرجات لوحدات قرار مهيكلة (مثل سطور نموذج ضريبي). يراقب المُحقِّق الاقتراح ويختار بين إجراءين:

NS (No-SAC): البقاء صامتاً، وقبول الاقتراح.
SAC (Safety Assurance Case): رفع حالة ضمان سلامة مهيكلة تحتوي على ادعاء (Claim)، وحجة (Argument)، ودليل (Evidence) (باتباع منهجية حالة السلامة) لتحدي الاقتراح.

إذا تم رفع حالة SAC، يجب على المُوَلِّد الاختيار بين:

KEEP: تقديم الاقتراح الأصلي.
REVISE: تقديم مرشح مراجعة جديد.

آلية التدريب

يبني DPA-GRPO مجموعات أفعال مضادة واقعية مزدوجة عند كل وحدة قرار لتدريب كلا الوكيلين في وقت واحد باستخدام مكافآت خاصة بالأدوار وتحسين السياسة المجموعي النسبي المنظم بـ KL (Group-Relative Policy Optimization):

أزواج المُحقِّق: {SAC, NS}. يُكافأ المُحقِّق على رفع حالات SAC عند الاقتراحات غير الصحيحة والبقاء صامتاً عند الاقتراحات الصحيحة.
أزواج المُوَلِّد: {KEEP, REVISE} (بشرط رفع حالة SAC). يُكافأ المُوَلِّد على اختيار الإجراء (الاحتفاظ بالأصل أو المراجعة) الذي يؤدي إلى المخرج النهائي الصحيح.

يستخدم التدريب "أوراكل مكافأة" (reward oracle) لتحديد الصحة ( $S_x$ للاقتراح الأولي، $S_z$ للمراجعة). يتم تنظيم الأهداف باستخدام تباعد KL ضد السياسات المرجعية المجمدة لمنع الانجراف غير المستقر للسياسة. دالة الخسوة لكل دور هي دالة تباينية تشبه التفضيل، مشتقة من المزايا المجموعية المجمعة للأفعال المزدوجة.

التحليل النظري

يحلل البحث ديناميكيات اللعبة لإرساء شروط توازن ناش المحلي (Local Nash Equilibria).

اللعبة غير المنظمة: يوضح المؤلفون أنه إذا خصص وكيل احتمالاً موجباً لأفعال ذات مكافأة أقل صراحة (مثل مُحقِّق يغفل عن خطأ أو مُوَلِّد يقوم بمراجعة ضارة)، فإنه يمكن إيجاد انحراف أحادي الجانب مربح.
اللعبة المنظمة بـ KL: تحت افتراضات التقريب العشوائي القياسية، تتبع تحديثات DPA-GRPO التفاضلية العادية (ODE) للعبة. وتتوافق نقاط النهاية المستقرة تقاربياً المعزولة لهذه الـ ODE مع النقاط الثابتة حيث يكون الوكلاء مثاليين محلياً لمكافآت أدوارهم، مما يؤدي فعلياً إلى كبح الأفعال دون المستوى من خلال احتمالات الأفعال المعتمدة على فجوة المكافأة.

المساهمات الرئيسية

الصياغة: صاغ المؤلفون عملية التحقق من النماذج اللغوية الكبيرة المهيكلة كإلعبة ماركوف ثنائية اللاعب حيث يتم التعبير عن تدخلات المُحقِّق من خلال حالات ضمان سلامة (SAC) مهيكلة تحتوي على ادعاءات وحجج وأدلة.
الخوارزمية: اقترحوا DPA-GRPO، وهي طريقة تدريب مزدوجة للأفعال المزدوجة تبني مقارنات مضادة واقعية لـ SAC/No-SAC و Keep/Revise. يسمح هذا بالتدريب المتوازي لسياسة تدخل المُحقِّق وسياسة مراجعة المُوَلِّد باستخدام سياسات مشروطة بالأدوار.
الإطار النظري: طور البحث تصنيفاً حالات قابلاً للتفسير (8 حالات) يربط إشارات التدريب بشروط ناش المحلية وديناميكيات التقريب العشوائي، مما يوفر طريقة منهجية لتشخيص سلوكيات التفاعل.
التقييم التجريبي: تم تقييم الطريقة باستخدام TaxCalcBench TY24، وهو معيار لإكمال النماذج الضريبية المهيكلة.

النتائج التجريبية

أُجريت التجارب باستخدام نماذج Qwen3-4B و Qwen3-8B، مع مقارنة DPA-GRPO بالتوليد من دون توجيه (zero-shot) وبنماذج RL أحادية الوكيل (المولّد فقط) مثل (GRPO, DAPO, GSPO).

الدقة: حقق DPA-GRPO أعلى دقة في مجموعة الاختبار عبر أحجام النماذج المختلفة (0.53 لـ Qwen3-4B و 0.57 لـ Qwen3-8B)، متفوقاً على نماذج zero-shot ونماذج RL المعتمدة على المُوَلِّد فقط.
ديناميكيات تصنيف الحالات: كشف تحليل انتقالات وحدات القرار عن تحسينات سلوكية محددة:
- زيادة الحالة 1 (صحيح/صامت): زاد تكرار قبول الاقتراحات الصحيحة دون تدخل بشكل كبير (على سبيل المثال، من 27.4% إلى 42.4% لـ Qwen3-4B)، مما يشير إلى أن المُوَلِّد يتعلم إنتاج مخرجات أولية عالية الجودة.
- تقليل الحالة 4 (الأخطاء المفقودة): انخفض معدل الاقتراحات غير الصحيحة التي فشل المُحقِّق في رصدها بشكل كبير (على سبيل المثال، من 55.3% إلى 37.2%)، مما يدل على تحسن حساسية المُحقِّق.
- تحسين الحالة 6a (الرفض المعاير): تعلم المُوَلِّد رفض المراجعات السيئة عند رفع حالة SAC (بالزيادة من 9.3% إلى 16.6%)، مما يظهر أنه لا يتبع تحديات المُحقِّق بشكل أعمى بل يعاير قراراته بين KEEP و REVISE.

الأهمية والادعاءات

يزعم البحث أن DPA-GRPO يوفر حلاً مبدئياً لضمان السلامة القائم على حالات السلامة في سير عمل النماذج اللغوية الكبيرة المهيكلة. تكمن أهميته في:

تجاوز المناظرة الاستدلالية: إنه يؤسس لنموذج تدريبي حيث يتكيف الوكلاء معاً من خلال تفاعلات مهيكلة وقابلة للتحقق بدلاً من مجرد التوجيه أو زيادة حجم الاختبار عند وقت التشغيل.
القابلية للتفسير: باستخدام حالات SAC (ادعاء-حجة-دليل)، يوفر النظام سجلات قابلة للتدقيق حول سبب تحدي مخرج ما أو قبوله، مما يجعل الاعتراضات قابلة للتفسير.
التحسين المزدوج: يحسن الإطار قدرة المُوَلِّد على إنتاج اقتراحات أولية صحيحة وقدرة المُحقِّق على اكتشاف الأخطاء وتوجيه المراجعات، بدلاً من الاعتماد فقط على التعزيز من جانب المُوَلِّد.
التأسيس النظري: يربط إشارات التدريب العملية بمفاهيم توازن نظرية الألعاب، مما يوفر أساساً نظرياً لسبب تقارب التفاعل نحو السلوكيات الجماعية المرغوبة.

يشير المؤلفون إلى القيود، معترفين بأن الطريقة تتضمن تكاليف حسابية أعلى بسبب تدريب وكيلين وتعتمد على تسميات الحقيقة الأرضية (ground-truth) الحتمية في المعيار الحالي. كما يؤكدون أنه بينما تحسن حالات SAC من قابلية التدقيق، فإنها لا تشكل ضمانات رسمية للصحة أو السلامة في البيئات عالية المخاطر دون مراجعة الخبراء.