🤖 machine learning

R2V Agent: Teaching SLMs When to Ask for Help

تقدم الورقة البحثية R2V-Agent، وهو إطار عمل مُعاير للمخاطر يدرب نموذج لغة صغيرًا (SLM) باستخدام تحسين موجه بالتحقق وموجه على مستوى الخطوة لتصعيد القرارات عالية المخاطر فقط إلى نموذج لغة كبير (LLM) مكلف، مما يحسن معدلات نجاح المهام بشكل كبير مع تقليل استخدام نماذج LLM المكلفة عبر مختلف المعايحات.

المؤلفون الأصليون: Raghu Vamshi Hemadri, Humaira Firdowse Mohammed, Rishabh Maheshwary, Srivatsava Daruru, Sagar Davasam, Vikas Yadav, Srinivas Sunkara, Sai Rajeswar

نُشر 2026-05-19

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Raghu Vamshi Hemadri, Humaira Firdowse Mohammed, Rishabh Maheshwary, Srivatsava Daruru, Sagar Davasam, Vikas Yadav, Srinivas Sunkara, Sai Rajeswar

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث R2V-Agent، مترجم إلى لغة يومية بسيطة مع استخدام تشبيهات إبداعية.

المشكلة الكبيرة: معضلة "الكل أو لا شيء"

تخيل أنك تدير مطبخاً عالي المخاطر. لديك طاهيان:

الطاهي المبتدئ (SLM): سريع، رخيص، وممتاز في تقطيع الخضروات أو تحميص الخبز. لكن إذا جاءت وصفة معقدة، أو تعطل الفرن، فقد يصاب بالذعر ويحرق الوجبة.
الطاهي الماهر (LLM): بارع في كل شيء، يمكنه إصلاح الأفران المعطلة، ولا يحرق الطعام أبداً. لكن توظيفه مكلف جداً وبطيء في الوصول.

الطريقة القديمة في العمل:

الخيار (أ): توظيف الطاهي الماهر لكل طلب، حتى لو كان مجرد قطعة توست. هذا يضمن وجبة مثالية ولكنه يكلف ثروة طائلة.
الخيار (ب): ترك الطاهي المبتدئ يتولى كل شيء. هذا رخيص، ولكن إذا واجه الطاهي المبتدئ وصفة صعبة أو تعطل الفرن، فستفسد الوجبة بأكملها.

رؤية الورقة البحثية:
تحاول معظم الأنظمة الحالية اتخاذ القرار قبل بدء الطبخ: "هل هذا الطلب صعب؟ إذا كان نعم، استدعِ الطاهي الماهر". لكن الطبخ عملية فوضوية. فالطلب البسيط قد يتحول إلى كارثة إذا أسقط الطاهي المبتدئ بيضة، أو حدث خلل في الفرن، أو وُجد خطأ مطبعي في الوصفة في منتصف الطريق. إن تحديد الصعوبة قبل البدء يشبه محاولة التنبؤ بحادث سيارة قبل أن تبدأ القيادة حتى.

الحل: R2V-Agent (المشرف الذكي)

يقترح المؤلفون R2V-Agent، وهو نظام يعمل مثل مشرف أرضية ذكي يراقب الطاهي المبتدئ خطوة بخطوة.

بدلاً من تقرير مصير الوجبة بأكملها في البداية، يقوم المشرف بالتحقق بعد كل إجراء واحد:

"هل قطع الطاهي المبتدئ البصل بشكل صحيح للتو؟" -> استمر.
"هل حاول الطاهي المبتدئ للتو فتح برطمان باستخدام مطرقة؟" -> توقف! استدعِ الطاهي الماهر فوراً.

هذا النظام مصمم ليكون "معايًّا للمخاطر" (risk-calibrated). فهو لا يكتفي بالتخمين؛ بل يحسب المخاطر المحددة لفشل الخطوة التالية.

كيف يعمل (المكونات الأربعة)

تصف الورقة البحثية مسار عمل يتكون من أربعة أجزاء رئيسية، والتي يمكننا اعتبارها بمثابة معسكر تدريبي للطاهي المبتدئ وكتاب قواعد جديد للمشرف.

1. تدريب الطاهي المبتدئ (النموذج اللغوي الصغير المستخلص - Distilled SLM)

قبل توظيف المشرف، يتم تدريب الطاهي المبتدئ ليكون في أفضل حالاته بمفرده.

المنهج: يشاهد الطاهي المبتدئ الطاهي الماهر وهو يطبخ (التعلم بالتقليد السلوكي - Behavioral Cloning). ثم يتدرب على الطبخ في "محاكي للفوضى" حيث يتعطل الفرن، أو تنقص المكونات، أو توجد أخطاء مطبعية في الوصفة (الاضطرابات - Perturbations).
التحسين: إذا ارتكب الطاهي المبتدئ خطأً في المحاكي، يقوم المُحقِّق (مختبر تذوق صارم) بالإشارة إلى ذلك. ويتعلم الطاهي المبتدئ كيفية إصلاح هذه الأخطاء المحددة باستخدام تقنية تسمى DPO (تحسين التفضيل المباشر).
النتيجة: طاهٍ مبتدئ جيد جداً في المهام الروتينية ويعرف كيفية التعافي من الأخطاء الصغيرة.

2. المُحقِّق (مختبر التذوق)

هذه أداة خفيفة الوزن تتحقق من عمل الطاهي المبتدئ فوراً.

في مهام البرمجة، تقوم بتشغيل اختبار سريع لمعرفة ما إذا كان الكود يعمل.
في ألعاب النصوص، تتحقق مما إذا كانت الحركة منطقية.
تعطي درجة: "هذه الخطوة تبدو جيدة" أو "هذه الخطوة تبدو مخاطرة".

3. المشرف (الموجه - Router)

هذا هو الاختراع الرئيسي للورقة البحثية. ينظر المشرف إلى ثلاثة أشياء قبل أن يقرر استدعاء الطاهي الماهر:

الثقة: هل يخمن الطاهي المبتدئ بشكل عشوائي؟
درجة المُحقِّق: هل أعطى مختبر التذوق درجة منخفضة؟
السياق: هل نحن في منتصف جزء معقد من الوصفة؟

يستخدم المشرف خدعة رياضية خاصة (تسمى CVaR) ليكون حذراً للغاية. فهو لا يهتم فقط بـ المتوسط؛ بل يهتم بـ أسوأ السيناريوهات. يسأل نفسه: "إذا تركت الطاهي المبتدئ يحاول هذه المرة الواحدة، هل هناك احتمال ضئيل أن يفسد الطبخة بأكملها؟" إذا كانت الإجابة نعم، فإنه يستدعي الطاهي الماهر.

4. الميزانية (المحفظة)

يعرف النظام أنه لا يمكنه استدعاء الطاهي الماهر للأبد. لديه ميزانية. مهمة المشرف هي صرف هذه الميزانية فقط في الخطوات التي يُحتمل فيها فشل الطاهي المبتدئ بشكل كبير.

النتائج: توفير المال دون حرق الطعام

اختبر الباحثون هذا النظام في ثلاثة "مطابخ" مختلفة:

البرمجة (HumanEval+): كتابة أكواد برمجية.
ألعاب النصوص (TextWorld): التنقل في منزل افتراضي للعثور على الأشياء.
مهام الطرفية (TerminalBench): إصلاح أنظمة وبرمجيات الكمبيوتر.

النتائج:

في المهام السهلة (البرمجة): كان الطاهي المبتدئ جيداً جداً لدرجة أن المشرف لم يستدعِ الطاهي الماهر إلا نادراً جداً (0.6% من الوقت)، ومع ذلك ظل معدل النجاح مرتفعاً للغاية (94.3%).
في المهام الصعبة (ألعاب النصوص): عانى الطاهي المبتدئ بمفرده (نسبة نجاح 64.6%). ولكن مع وجود المشرف، وصلوا إلى نسبة نجاح 98.2%، رغم أنه استدعى الطاهي الماهر 41.7% من الوقت فقط.
في المهام المعقدة (TerminalBench): وفر المشرف حوالي نصف التكلفة مقارنة بالطرق القديمة التي كانت تستدعي الطاهي الماهر بشكل متكرر جداً.

تشبيه "الأوراكل" (العراف)

تذكر الورقة البحثية وجود "أوراكل" (مشرف سحري يعرف المستقبل). الأوراكل يعرف بالضبط متى سيفشل الطاهي المبتدئ قبل حدوث ذلك.

مشرف R2V ليس سحرياً، لكنه يقترب جداً من ذلك.
في ألعاب النصوص، احتاج الأوراكل لاستدعاء الطاهي الماهر 35.4% من الوقت للحصول على درجة مثالية. بينما احتاج مشرف R2V إلى 41.7%. هذه فجوة صغيرة جداً لنظام لا يملك بلورة سحرية.

الملخص

R2V-Agent هو نظام يعلم ذكاءً اصطناعياً رخيصاً وسريعاً القيام بمعظم العمل، ولكنه يمنحه "شبكة أمان" ذكية. شبكة الأمان هذه تراقب كل خطوة، وتتحقق من علامات المشاكل، ولا تستدعي الذكاء الاصطناوي القوي والمكلف إلا عند الضرورة القصوى. الأمر يشبه امتلاك سيارة رخيصة تقود نفسها، ولكن مع مساعد سائق يأخذ المقود فقط عندما يصبح الطريق جليدياً أو يبدأ المحرك بإصدار ضجيج غريب.

ملخص تقني: R2V-Agent – تعليم النماذج اللغوية الصغيرة متى تطلب المساعدة

بيان المشكلة

تواجه الأنظمة الوكيلية (Agentic Systems) الفعالة التي تعمل في بيئات تفاعلية (مثل هندسة البرمجيات، تصفح الويب، وإدارة الأنظمة) مقايضة جوهرية بين الموثوقية والتكلفة. تعتمد الموثوقية غالبًا على النماذج اللغوية الكبيرة (LLMs) المتطورة والمكلفة، لا سيما عندما تتضمن المهام تخطيطًا طويل الأمد، أو التعافي من فشل استدعاء الأدوات، أو الاستنتاج تحت ظروف الملاحظات غير المكتملة. في المقابل، تعد النماذج اللغوية الصغيرة (SLMs) فعالة من حيث التكلفة ولكنها هشة أمام الاضطرابات خارج نطاق التوزيع (Out-of-distribution).

تقوم أنظمة التدرج (Cascades) والموجهات (Routers) الحالية بتخصيص الموارد على مستوى الاستعلام (Query-level allocation)، حيث تقرر النموذج الذي سيتم استخدامه قبل بدء التنفيذ أو بعد توليد الاستجابة الكاملة. هذا النهج غير مناسب لعمليات ماركوف لاتخاذ القرار في حالات الملاحظة الجزئية (POMDPs) الوكيلية، حيث تعتمد صعوبة المهمة على المسار (Trajectory-dependent). فقد تبدأ المهمة ضمن النطاق المعتاد ثم تصبح محفوفة بالمخاطر في منتصف المسار بسبب استدعاءات أدوات غير مستقرة، أو ملاحظات مبتورة، أو أخطاء محلية تراكمية. إن توجيه المهمة بأكملها إلى نموذج لغوي صغير هو أمر هش، بينما توجيه المهمة بأكملها إلى نموذج لغوي كبير هو أمر مكلف بلا داعٍ. التحدي الجوهل هو تحديد متى ينبغي للنموذج اللغوي الصغير (SLM) المنشور أن يتراجع ويطلب مساعدة من "معلم" (Teacher LLM) أقوى أثناء تنفيذ مسار وكيل متعدد الخطوات.

المنهجية

يقترح المؤلفون R2V-Agent، وهو إطار عمل معاير للمخاطر من أجل التوجيه على مستوى الخطوة (Step-level routing) بين SLM وLLM. يقوم النظام بتجزئة التنفيذ إلى أربعة مكونات:

سياسة SLM المقطرة ( $\pi_\theta$ ): نموذج محلي مدرب للتعامل مع الخطوات الروتينية.
المعلم LLM ( $\pi_T$ ): نموذج أقوى يتم استدعاؤه عند الضرورة فقط.
متحقق العملية ( $V_\phi$ ): وحدة خفيفة الوزن تقوم بتقييم الإجراءات المرشحة في كل خطوة.
الموجه المعاير ( $r_\psi$ ): المساهمة المركزية، والتي تقدر خطر الفشل المتبقي (Residual failure risk) في كل خطوة.

خط أنابيب التدريب

يتم تدريب النظام كخط أنابيب مرتب بدلاً من هدف متعدد الخسائر مشترك لضمان تعلم الموجه لأنماط الفشل لسياسة ثابتة:

التقطير غير المتصل (تدريب SLM):
- التعلم بالتقليد السلوكي (BC): يتم بدء تشغيل الـ SLM باستخدام مسارات المعلم التي تم تعزيزها عبر مشغلات الاضطراب (محاكاة فشل الأدوات، الملاحظات المفقودة، حقن الأوامر، إلخ).
- التحسين المباشل للتفضيلات الموجه بالتحقق (Verifier-Guided DPO): تقوم سياسة BC بتوليد إجراءات مرشحة، يتم تقييمها بواسطة المتحقق. يتم إنشاء أزواج تفضيل بين الإجراءات المعتمدة من المتحقق/المستردة بواسطة المعلم وبين عينات BC ذات الجودة الأقل. يتم صقل الـ SLM باستخدام التحسين المباشر للتفضيلات (DPO) مع تثبيت سياسة BC كمرجع.
- تنظيم الاتساق: يعمل حد تباعد جينسن-شانون (JSD) على تشجيع الـ SLM على إنتاج توزيعات إجراءات مستقرة عبر مختلف تجليات الاضطراب لنفس الحالة الكامنة، مما يحسن المتانة.
تدريب الموجه:
- بمجرد تثبيت سياسة SLM، يتم تدريب الموجه على الإخفاقات المتبقية لهذه السياسة.
- الميزات: يستقبل الموجه متجهًا مكونًا من 15 بُعدًا يتضمن الإنتروبيا على مستوى الرمز (Token-level entropy)، وإحصائيات درجات المتحقق (المتوسط، الانتشار، الأفضل/الأسوأ)، واتساق المرشح، وميزات حالة المسار.
- العلامات (Labels): علامة التوجيه $y_t$ هي ثنائية، تشير إلى ما إذا كان المسار الذي يحتوي على السياق الحالي والمنفذ بواسطة SLM فقط قد انتهى بالفشل في الحلقة (Episode).
- الهدف: يقلل الموجه من خسارة معايرة "براير" (Brier-calibrated loss) لتقدير الاحتمال الشرطي لفشل الحلقة. والأهم من ذلك، أنه يستخدم هدفًا مقيدًا بـ "القيمة المعرضة للخطر المشروطة" (CVaR)، والذي يعاقب الموجهات التي تكون رخيصة في المتوسط ولكنها هشة تحت أسوأ حالات الاضطراب، مما يضمن المتانة ضد مخاطر الذيل (Tail risks).

الاستدلال

في وقت الاختبار، ينفذ الـ SLM المقطر بشكل افتراضي. يقدر الموجه الخطر المتبقي $p_t = r_\psi(f_t)$ . إذا تجاوز $p_t$ عتبة معايرة $\tau^*_{route}$ وظلت ميزانية الـ LLM متاحة، يقوم النظام بالتصعيد إلى معلم الـ LLM؛ وإلا، يستمر في إجراء الـ SLM.

المساهمات الرئيسية

صياغة توجيه حالة الخطوة (Stateful Step-Level Routing): يصيغ البحث توجيه الوكيل (SLM-LLM) كمسألة تخصيص حالة في بيئات POMDP مضطربة، متجاوزًا القرارات الثابتة على مستوى الاستعلام.
هدف توجيه الخطر المتبقي: قدم المؤلفون هدف توجيه يجمع بين تقدير الاحتمال المعاير بـ "براير" والتحكم في مخاطر الذيل المقيدة بـ CVaR. يضمن هذا تصعيد الموجه فقط عندما يبرر الخر المقدر التكلفة، متجنبًا السياسات الهشة.
التحقق التجريبي: تم تقييم إطار العمل عبر ثلاثة اختبارات مرجعية (HumanEval+، TextWorld، TerminalBench) وأربعة هياكل خلفية لـ SLM (Gemma-9B، LLaMA-3.1-8B، Qwen2.5-7B/14B)، مما أظهر أن التوجيه المعاير على مستوى الخطوة يقلل بشكل كبير من استدعاءات النماذج الرائدة مع الحفاظ على نجاح عالٍ للمهام.

النتائج

يحسن R2V-Agent جبهة الموثوقية مقابل التكلفة عبر جميع الاختبارات المرجعية المختبرة:

HumanEval+ (توليد الكود): في نظام منخفض الفشل، يحقق R2V نجاحًا بنسبة 94.3% مع 0.6% فقط من تصعيد LLM، وهو تحسن كبير عن خط الأساس (SLM-only) الذي حقق 91.9% مع تكلفة ضئيلة.
TextWorld (التحكم المجسم): يستعيد R2V الأداء من 64.6% (SLM-only) إلى 98.2% نجاح مع 41.7% تصعيد. وهذا قريب من معدل "أوراكل الاستباقي" (Hindsight Oracle) البالغ 35.4%، وهو أكثر كفاءة بكثير من الموجهات الاستدلالية التي تتطلب تصعيدًا بنسبة 100% تقريبًا لتحقيق نجاح مماثل.
TerminalBench (هندسة الشل/Shell Engineering): يحسن R2V النجاح من 81.1% إلى 93.3% باستخدام 33.9% من استدعاءات LLM. وهذا يمثل تقريبًا نصف تكلفة الموجه الاستدلالي (66.0% تصعيد) عند مستويات موثوقية مماثلة.

تؤكد دراسات الاستئصال (Ablation studies) أن كلاً من تنظيم الاتساق (تحسين استقرار SLM) ومجموعة الميزات الكاملة (الجمع بين إشارات المتحقق والإنتروبيا) ضرورية للغاية. كما يظهر النظام تدهورًا تدريجيًا في الإعدادات مغلقة المصدر حيث لا تتوفر احتمالات الـ log-probabilities للرموز، وذلك باستخدام "الإنتروبيا الزائفة" المستمدة من درجات المتحقق.

الأهمية

يجادل البحث بأن الوكلاء الفعالين ليسوا بحاجة للاختيار بين تنفيذ SLM رخيص ولكنه هش، وبين تنفيذ LLM كامل ومكلف. من خلال معاملة التوجيه كقرار حالة، على مستوى الخطوة قائم على تقدير الخطر المتبقي، يوفر R2V-Agent حلاً وسطًا عمليًا. يبرز العمل أن:

صعوبة المهمة في الوكلاء ديناميكية وتعتمد على المسار، مما يجعل التوجيه الثابت على مستوى الاستعلام غير كافٍ.
التوجيد الاحتمالي المعاير، المقيد بأهداف مخاطر الذيل (CVaR)، يتفوق على العتبات الاستدلالية أو القائمة على الإنتروبيا لإدارة تخصيص الحوسبة في البيئات التفاعلية.
فصل تدريب سياسة محلية مستقرة عن تدريب الموجه يسمح بعزل دقيق لاستراتيجيات تخصيص الحوسبة عن تقنيات تحسين السياسة.

يشير المؤلفون إلى أن أداء النظام يظل معتمدًا على جودة المتحقق وميزات الخطر، وأن بعض الإخفاقات (خاصة في مهام الشل المعقدة) لا تزال صعبة الكشف عبر الإنترنت، مما يترك مجالًا للعمل المستقبلي في تحسين المتحقق والتكيف الديناميكي للميزانية.