PROOF-Gen: From Optimized Data to Better Distillation
تقدم الورقة البحثية PROOF-Gen، وهي طريقة تستخدم تحسين المطالبات لكل سيناريو لاستعادة المسارات الناجحة من إخفاقات النموذج المعلم، مما يحسن بشكل كبير أداء وكلاء استدعاء الأدوات المقطرين في الاختبارات القياسية وفي خطوط الإنتاج المنشورة.
المؤلفون الأصليون:Anh Ta, Junjie Zhu, Shahin Shayandeh
في عالم الذكاء الاصطناعي، هناك طريقة شائعة لتعليم برنامج كمبيوتر أصغر وأسرع كيفية أداء مهام معقدة، وهي جعل برنامج أكبر وأذكى يستعرض كيفية القيام بها. هذه العملية، المعروفة باسم "التقطير" (distillation)، تعمل مثل حرفي ماهر يوضح لتلميذٍ تقنية مثالية؛ حيث يراقب التلميذ محاولات المعلم الناجحة ويتعلم محاكاتها. ومع ذلك، فإن هذه الطريقة تعاني من نقطة عمياء؛ فإذا ارتكب المعلم خطأً، يتجاهل التلميذ ببساطة تلك المحاولة وينتظر العرض الناجح التالي. وفي المجال المحدد لـ "استدعاء الأدوات" (tool-calling) — حيث يجب على الذكاء الاصطناعي أن يقرر أي الأدوات الرقمية يستخدم لحل مشكلة ما، مثل التحقق من قاعدة بيانات أو إرسال رسالة — يخلق هذا فجوة كبيرة. فالأطروحات الأكثر صعوبة هي غالباً تلك التي يكاد المعلم ينجح فيها لكنه يفشل في الخطوة الأخيرة تماماً. ولأن طريقة التعليم القياسية تستبعد حالات الإخفاق الوشيك هذه، فإن التلميذ لا يتعلم أبداً كيفية تجاوز نقطة القرار المحددة التي تسببت في الفشل، مما يترك الذكاء الاصطناعي عاجزاً عن حل السيناريوهات الأكثر تعقيداً.
لقد طور باحثون في شركة أبل طريقة جديدة تسمى "PROOF-Gen" لإصلاح هذه الفجوة. فبدلاً من التخلص من المحاولات الفاشلة، يعاملونها كفرص تعلم قيمة. فعندما يفشل برنامج "المعلم" في مهمة ما، يقوم برنامج ثانٍ أكثر تقدماً بدور "مدرب تأملي". يقوم هذا المدرب بتحليل المكان الذي أخطأ فيه المعلم بالضبط، من خلال النظر في تسلسل الإجراءات والخطأ النهائي. ثم يكتب مجموعة محددة من التعليمات، أو "دليلاً"، مصمماً لتوجيه المعلم عبر تلك المشكلة ذاتها مرة أخرى. يحاول برنامج المعلم المهمة مرة ث أخرى، متبعاً هذه المرة نصيحة المدرب الجديدة. وإذا نجح، يتم حفظ ذلك المسار الناجح كدرس جديد. ومن الأهمية بمكان أنه قبل أن يرى "التلميذ" هذا الدرس الجديد، يتم إزالة الدليل. يتعلم التلميذ فقط تسلسل الإجراءات الناجح والنظيف، وليس من التعليمات الإضافية التي ساعدت في إنشاء ذلك المسار. وهذا يضمن أن يتعلم التلميذ المهارة نفسها، وليس مجرد حفظ مجموعة من التلميحات.
إن نتائج هذا النهج مذهلة. ففي اختبارات باستخدام معيار مصمم لمحاكاة تفاعلات خدمة العملاء، أدت الطريقة القياسية المتمثلة في التخلص من الإخفاقات إلى نجاح برنامج المعلم في حوالي 7 بالمائة فقط من الحالات. أما الطريقة الجديدة فقد استردت الحلول الناجحة لـ 93 بالمائة من المهام التي فشل المعلم في إنجازها أصلاً. وعندما تم تدريب نماذج ذكاء اصطناعي أصغر على هذه المجموعة الموسعة من الدروس، تحسنت قدرتها على إكمال المهام بشكل كبير؛ حيث قفز أحد النماذج من حل 13 بالمائة من المهام إلى حل 53 بالمائة، وشهد نموذج آخر قفزة مماثلة في الأداء. وقد أكد الباحثون أن هذا التحسن جاء من تعلم المسار الصحيح عبر نقاط القرار الصعبة، وليس فقط من خلال التحسن في الأجزاء السهلة من المهمة. وفي الواقع، فإن التدريب فقط على النجاحات السهلة المختارة مسبقاً حسّن قدرة النماذج على إجراء استدعاءات فردية للأدوات، لكنه لم يساعدها على إنهاء المهمة الإجمالية. فقط من خلال تضمين الأمثلة الصعبة المستردة، تمكنت النماذج من إكمال المهمة الكاملة.
توفر هذه الطة أيضاً ميزة عملية للشركات التي ترغب في ترقية أنظمة الذكاء الاصطناعي الخاصة بها دون تغيير كيفية نطق أو سلوك الذكاء الاصطناعي. ولأن الدروس النهائية تُجرد من تعليمات التدريب، فإن الذكاء الاصطناعي يتعلم القدرة على حل المشكلات من المدرب القوي مع الاحتفاظ بالصوت والأسلوب الطبيعي لبرنامج المعلم الأصلي. وقد اختبر الباحثون ذلك في نظام إنتاج حقيقي يُستخدم لخدمة العملاء، حيث أدت هذه الطريقة إلى تحسين معدل نجاح الذكاء الاصطناعي بمقدار 6.3 نقطة مئوية. وقد ثبتت هذه المكاسب عبر عشرات اللغات والمناطق المختلفة، مما يظهر أن القدرة على التعافي من الفشل هي مهارة عالمية لا تعتمد على لغة أو سياق ثقافي محدد. ومن خلال تحويل الإخفاقات إلى عملية تعلم منظمة، أظهر الباحثون أن الطريق نحو ذكاء اصطناعي أكثر ذكاءً لا يكمن فقط في إيجاد المزيد من الأمثلة المثالية، بل في فهم وتصحيح الأمثلة غير المثالية.
ملخص تقني: PROOF-Gen
بيان المشكلة
تعتمد خطوط المعالجة القياسية لتقطير قدرات استدعاء الأدوات (tool-calling) في النماذج القابلة للنشر على الضبط الدقيق الخاضع للإشراف (SFT) باستخدام مسارات (trajectories) تم إنشاؤها بواسطة نموذج "معلم" (teacher) متطور. وتستخدم هذه العملية عادةً آلية "الإنشاء والفلترة" (generate-and-filter): حيث يحاول المعلم تنفيذ مهمة، ويقوم مُحقِّق (verifier) بتقييم المسار، ولا يتم الاحتفاظ إلا بالمسارات الناجحة للتدريب.
تحدد الورقة فجوة تغطية حرجة في هذا النهج:
الفلترة الثنائية تستبعد "الحالات الوشيكة": في التحقق القائم على التنفيذ، يتم استبعاد المسار بالكامل إذا أتم 90% من استدعاءات الأدوات المطلوبة بشكل صحيح ولكنه فشل في إجراء واحد حاسم (مثل نقطة قرار تعتمد على الحالة)، مما يعني ضياع مسار كان قريباً جداً من النجاح.
نقص الإشارة من حالات الفشل: في اختبار τ2-bench، فشلت 57% من تجارب المعلم، وكان ثلثا هذه الحالات عبارة عن "حالات وشيكة" (near-misses) حيث كانت دقة استدعاء الأدوات عالية، لكن حالة البيئة أو قاعدة البيانات النهائية كانت غير صحيحة.
عدم فعالية الائتمان الجزئي: التدريب على البيانات المفلترة أو استخدام مكافآت على مستوى الخطوة (turn-level) يحسن دقة الإجراءات الوسيطة، ولكنه يفشل في تحسين إتمام المهمة من البداية إلى النهاية. فالنموذج الطالب (student model) لا يرى أبداً مساراً كاملاً وناجحاً يتنقل عبر نقطة القرار المحددة التي فشل فيها المعلم.
محدودية أخذ العينات العشوائية: مجرد أخذ عينات أكثر أو زيادة درجة الحرارة (temperature) يستعيد الأخطاء العشوائية، لكنه لا يعالج الإخفاقات الاستراتيجية، التي تظل مستمرة عبر إعادة أخذ العينات من نفس المعلم.
المنهجية: PROOF-Gen
يقدم المؤلفون PROOF-Gen (التحسين التأملي لكل سيناريو للتغلب على الفشل في الإنشاء)، وهي طريقة تستعيد المسارات "الذهبية" من إخفاقات المعلم بدلاً من استبعادها. تعكس هذه العملية هدف تحسين المطالبة (prompt optimization) القياسي: فبدلاً من البحث عن مطالبة واحدة تعمم عبر المهام، تقوم بتحسين مطالبة لسيناريو واحد فقط لإجبار المسار على النجاح، ثم يتم التخلص من هذه المطالبة.
تتكون العملية من ثلاث مراحل رئيسية:
حلقة الاستعادة لكل سيناريو:
لكل مهمة يفشل فيها المعلم (مثل GPT-4o)، يقوم نموذج عاكس (reflector model) (نموذج متطور أقوى، مثل GPT-5.1) بتحليل أثر التنفيذ الفاشل وتغذية الـ verifier الراجعة.
يقوم النموذج العاكس بإنشاء "ورقة غش" (cheatsheet): وهي كتلة من التوجيهات باللغة الطبيعية (تشخيصات، خطوات إجرائية، ترتيب الأدوات) تُلحق بالمطالبة النظامية (system prompt) الخاصة بالمعلم لتلك المهمة المحددة.
يعيد المعلم تنفيذ المهمة من البداية باستخدام ورقة الغش هذه.
إذا ظل المعلم فاشلاً، يقوم النموذج العاكس بتعديل ورقة الغش بناءً على الأثر الجديد والتغذية الراجعة. تتكرر هذه الحلقة حتى K=10 مرات حتى ينجح المعلم في اجتياز جميع المقيمين.
تستخدم العملية مُحسِّناً تكرارياً للمطالبات (GEPA) لتنقيح ورقة الغش.
إزالة السقالات (Scaffold Removal):
قبل التدريب، يتم تجريد المسار من ورقة الغش.
يتم ضبط النموذج الطالب بدقة على المسار المستعاد وحده. يضمن هذا أن يتعلم النموذج الطالب القدرة التي أظهرها المسار (التسلسل الصحيح لاستدعاء الأدوات وإدارة الحالة) دون وراثة السقالات (التعليمات أو التوجيهات المحددة المستخدمة لإنشائه).
تكوين بيانات التدريب:
تتكون مجموعة التدريب النهائية من اتحاد المسارات المفلترة (التي نجحت أصلاً) والمسارات المستعادة (التي فشلت أصلاً، وتم إصلاحها الآن).
يسم هذا النهج الفصل بين القدرة (التي يوفرها حل المشكلات في النموذج العاكس) والأسلوب/الصوت (الذي يوفره أسلوب تفاعل المنفذ)، مما يسمح للفرق بترقية تغطية المهام دون تعطيل نبرة المنتج المعتادة أو ملف زمن الاستجابة (latency profile).
المساهمات الرئيسية
استعادة السيناريوهات الصعبة: يحول PROOF-Gen خط معالجة "الإنشاء والفلترة" إلى خط "الإنشاء-الاستعادة-ثم-الفلترة"، مما يستعيد المسارات التي كانت تُستبعد سابقاً.
تحسين المطالبة لكل سيناريو: يقدم استخدام تحسين المطالبة التلقائي كـ محرك لتوليد البيانات لسيناريو واحد، بدلاً من كونه أداة تحسين عامة وقت الاستدلال.
التقطير الحافظ للصوت (Voice-Preserving Distillation): من خلال إبقاء المنفذ (المعلم) دون تغيير وتعديل مطالبته فقط عبر نموذج عاكس، تسمح الطريقة للنموذج الطالب بوراثة قدرات متقدمة في حل المشكلات دون تبني أسلوب التفاعل المتميز أو الإسهاب الخاص بالنموذج العاكس.
أهداف قابلة للضبط: يمكن توجيه النموذج العاكس لتحسين أي مزيج من الأبعاد (مثل الواقعية/groundedness، الإيجاز، التنسيق) بالإضافة إلى إتمام المهمة.
النتالئج
فعالية الاستعادة (RQ1)
معدلات استعادة عالية: في مجال الاتصالات في τ2-bench، استعاد تحسين كل سيناريو على حدة 93% من إخفاقات المعلم التي تم أخذ عيناتها (279 من أصل 300).
قدرة النموذج العاكس: تُقاد معدلات الاستعادة بقدرة النموذج العاكس على الاستنتاج. حقق GPT-5.1 معدل استعادة بنسبة 97.6% في مجموعة اختبار عابرة للمجالات، مقارنة بـ 24.4% لخاصية التأمل الذاتي في GPT-4o.
التقارب: تم حل معظم السيناريوهات القابلة للحل (58.7%) في التكرار الأول، و84.1% بحلول التكرار الثالث.
التأثير اللاحق (RQ2)
مكاسب من البداية إلى النهاية: أظهرت النماذج المدربة على المجموعة المدمجة (المفلترة + المستعادة) تحسينات متسقة في إتمام المهام من البقدية إلى النهاية، بينما لم تحقق النماذج المدربة على البيانات المفلترة فقط (خط الأساس للائتمان الجزئي) ذلك.
Qwen3-4B-Instruct-2507: تحسن من Pass@1 = 0.132 إلى 0.529 في τ2-bench telecom.
Gemma 4 E4B-it: حقق زيادة قدرها +7.2 نقطة مئوية في BFCL v4 متعدد الخطوات.
المقاييس الجزئية مقابل الكاملة: حسن التدريب على البيانات المفلترة فقط دقة الإجراءات (+25pp) ولكنه فشل في تحسين دقة البيئة أو حالة قاعدة البيانات. أما التدريب المدمج فقد حسن الثلاثة معاً، مغلقاً الفجوة في نقاط القرار الحاسمة.
القوة العشوائية: استمرت المكاسب تحت أخذ العينات العشوائي (درجة حرارة 1.0)، حيث حققت النماذج المدمجة حوالي 54% نجاح في "مهام القلب/التبديل" (flip tasks) مقابل نسبة تقترب من الصفر للنماذج المرجعية.
التوسع في الإنتاج (RQ3)
النشر: تم نشر الطريقة في نظام وكيل (agent) لنداء الأدوات في بيئة إنتاجية.
المقاييس: حسنت جودة المسار بمقدار +6.3pp في إتمام الهدف و +2.5 إلى +8.0pp عبر خمسة مقاييس لجودة الاستجابة.
الانتقال: انتقلت هذه المكاسب إلى نموذج مُنشر على الأجهزة (+1.5pp في إتمام الهدف) مع ملاحظة انتقال إيجابي في كل موضع لغوي تم تقييمه (متوسط +1.48pp للغات غير الإنجليزية)، مما يشير إلى أن المعرفة التصحيحية مستقلة إلى حد كبير عن اللغة.
الأهمية والادعاءات
تدعي الورقة أن سقف جودة التقطير يتم تحديده مسبقاً عند وقت توليد البيانات. فإذا كانت السيناريوهات الأكثر صعوبة غائبة بشكل منهجي عن توزيع التدريب (لأنها تُستبعد بالفلترة)، فلن تتمكن أي خوارزمية تدريب لاحقة (مثل RL أو غيرها من التباينات) من التعويض عن ذلك.
يعالج PROOF-Gen هذا الأمر من خلال التعامل مع إخفاقات المعلم كحالات قابلة للاستعادة بدلاً من كونها نهائية. ومن خلال استخدام نموذج عاكس أقوى لتوجيه منفذ أضعف نحو حالة ناجحة، تولد الطريقة نماذج نظيفة لحل المشكلات المعقدة التي لم يكن بإمكان المعلم إنتاجها بمفرده. ويؤكد المؤلفون أن هذا النهج يسمح بـ الفصل بين القدرة والأسلوب، مما يتيح دمج الاستدلال المتقدم من النماذج المتطورة في وكلاء أصغر حجماً ومنتشرين دون تغيير أسلوب التفاعل المستقر أو ملف زمن الاستجابة الخاص بهم.