PROTEA: Offline Evaluation and Iterative Refinement for Multi-Agent LLM Workflows
تُعد PROTEA واجهة موحدة للتحسين القائم على الاختبار غير المتصل بالإنترنت لسير عمل النماذج اللغوية الكبيرة متعددة الوكلاء، والتي تعمل على تحديد مواضع الاختناق محلياً من خلال التقييم القائم على الرسوم البيانية والتقييم العكسي، مما يمكّن المطورين من تحرير والتحقق من مراجعات الأوامر البرمجية بشكل تكراري لتحسين أداء النظام بشكل كبير.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك مخرج مسرحية تتكون طاقم تمثيلها بالكامل من روبوتات الذكاء الاصطناعي. لكل روبوت وظيفة محددة: أحدهم يقرأ النص، وآخر يدقق الحقائق، وثالث يكتب الحوار، ورابع يقدم الأداء النهائي. هذا ما يسميه المطورون "سير عمل النماذج اللغوية الكبيرة متعددة الوكلاء" (multi-agent LLM workflow).
عادةً، تعمل فرق الروبوتات هذه بشكل أفضل من روبوت واحد يحاول القيام بكل شيء في آن واحد. لكن تكمن المشكلة هنا: إذا كان الأداء النهائي سيئاً، فمن الكابوس معرفة أي روبوت أخطأ. هل أخطأ مدقق الحقائق في المعلومات؟ أم أن الكاتب أساء فهم النبرة؟ أم أن الممثل الأخير تعثر فقط؟
حالياً، يضطر المطورون لمشاهدة ساعات من الفيديو (الأثر/trace) للمسرحية بأكملة، وهم يخمنون أين بدأ الخطأ. الأمر يشبه محاولة العثور على خطأ مطبعي واحد في كتاب مكون من 500 صفحة عبر إعادة قراءة كل كلمة مرة أخرى.
إليك PROTEA.
فكر في PROTEA كـ "غرفة بروفات" تفاعلية ذكية مع "بقعة ضوء" سحرية. فهي تساعد المطورين على تصحيح وتحسين فرق الروبوتات هذه دون الحاجة لمشاهدة الفيلم بأكمله مراراً وتكرارًا.
إليك كيف يعمل، باستخدام تشبيهات بسيطة:
1. بقعة الضوء السحرية (التشخيص على مستوى العقدة)
بدلاً من النظر إلى المسرحية بأكملها، يضع PROTEA إشارة مرور على محطة كل روبوت على حدة.
- 🟢 أخضر: قام هذا الروبوت بعمله بشكل مثالي.
- 🟡 أصفر: كان هذا الروبوت جيداً، لكنه ربما كان مهملًا قليلاً.
- 🔴 أحمر: أخطأ هذا الروبوت.
عندما تكون الإجابة النهائية خاطئة، لا يكتفي PROTEA بالقول "المسرحية فشلت"، بل يسلط الضوء فوراً على الروبوت الأحمر ويقول: "مهلاً، انظر هنا! هذا الروبوت أعطى المعلومات الخاطئة للروبوت التالي". وهذا يوفر على المطور عناء البحث في كامل النص.
2. "الهندسة العكسية" (الاستدلال الخلفي)
أحياناً، يعرف المطورون فقط ما يجب أن تكون عليه الإجابة النهائية (مثلاً: "يجب أن تنتهي المسرحية بضحكة سعيدة")، لكن ليس لديهم نص محدد لما يجب أن يقوله الروبوتات في الخطوات الوسطى.
يستخدم PROTEA حيلة تسمى "الاستدلال الخلفي" (Backward Inference). تخيل أنك تعرف وجهة الرحلة بالسيارة ولكنك لا تعرف المنعطفات في الطريق. يعمل PROTEA من الخلف إلى الأمام، بدءاً من "الضحكة السعيدة" ليسأل: "لكي يضحك الروبوت الأخير، ماذا كان يجب على روبوت الكاتب أن يقول؟ ولكي يقول الكاتب ذلك، ماذا كان يجب على روبوت مدقق الحقائق أن يقدم؟"
يقوم النظام بإنشاء "نص شبحي" للخطوات الوسطى بناءً على الهدف النهائي. ثم يقارن ما قاله الروبوتات بالفعل مقابل هذا "النص الشبحي" للعثور على نقاط الضعف.
3. "زر التعديل" (تحسين الأوامر/البرومبت)
بمجرد أن يجد PROTEA الروبوت "الأحمر"، فإنه لا يكتفي بالإشارة إليه فحسب؛ بل يقترح حلاً مقترحاً.
- يعرض تعليمات الروبوت الحالية (الـ "Prompt").
- يقترح نسخة جديدة ومحسنة من تلك التعليمات.
- يعرض مقارنة "قبل وبعد"، مثل أداة تحرير الصور التي تعرض الأصل والتعديل جنباً إلى جنب.
يمكن للمطور قبول الاقتراح، أو تعديله، أو تجاهله.
4. "الإعادة الفورية" (إعادة التشغيل التلقائي)
الجزء الأفضل؟ بمجرد أن يضغط المطور على "حفظ"، يقوم PROTEA بإعادة تشغيل المسرحية فوراً بالتعليمات الجديدة. ثم يعرض رسماً بيانياً للنتائج: "انظر؟ قبل التعديل، كانت الدرجة 64%. بعد تعديلك، أصبحت الآن 84%!"
هذا يخلق حلقة سريعة: حدد المشكلة ← اقترح حلاً ← اختبره ← شاهد النتيجة. لا مزيد من الانتظار لأيام لمعرفة ما إذا كان التغيير قد نجح أم لا.
ما الذي حققوه بالفعل؟
اختبرت الورقة البحثية هذا النظام في سيناريوهين من الواقع (رغم أنهم أبقوا أسماء الشركات محددة سرية):
- فحص المستندات: نظام يتحقق من المستندات بحثاً عن قواعد صارمة. ساعد PROTEA في تحسين دقة هذا النظام من 64.3% إلى 83.9%.
- نظام التوصيات: روبوت دردشة يقترح عناصر (مثل الأفلام أو المنتجات). ساعد PROTEA في جعل التوصية الصحيحة تظهر في قائمة "أفضل 5" بشكل أكثر تكراراً، حيث رفع النتيجة من 0.30 إلى 0.38.
كما اختبروه على مجموعة من ستة مطورين خبراء في مجال الذكاء الاصطناعي. وقد أحب المطورون هذا النظام لأنه أوقفهم عن التحديق في سجلات البيانات (logs) اللامتناهية وسمح لهم بالتركيز على إصلاح الروبوت المحدد الذي كان يتسبب في المشكلة.
الخلاصة
PROTEA هو أداة تحول مهمة تصحيح أخطاء فريق من روبوتات الذكاء الاصطناعي المعقدة والمربكة إلى عملية بصرية واضحة. إنه يعمل كـ مدرب يمتلك لقطات لأبرز الأحداث، يوضح لك بالضبط من من اللاعبين أضاع الكرة، ويعطيك خطة اللعب لإصلاح الأمر، كل ذلك في مكان واحد.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.