Insights Generator: Systematic Corpus-Level Trace Diagnostics for LLM Agents
تقدم هذه الورقة نظام "مولد الرؤى" (Insights Generator - IG)، وهو نظام متعدد الوكلاء يعمل على أتمتة تشخيص إخفاقات وكلاء النماذج اللغوية الكبيرة (LLM) من خلال التحليل المنهجي لمجموعات ضخمة من سجلات التنفيذ لإنتاج رؤى لغوية مدعومة بالأدلة، والتي أثبتت قدرتها على تحسين أداء الوكلاء بشكل كبير وتفوق على طرق التشخيص اليدوية في العمق والتغطية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك مدير لفريق من المساعدين الآليين (الروبوتات) الأذكياء للغاية، ولكنهم مشوشون أحياناً. تحاول هذه الروبوتات حل ألغاز معقدة، مثل تنظيم جداول البيانات أو الإجابة على أسئلة علمية صعبة. في بعض الأحيان تصل إلى الإجابة الصحيحة، وفي أحيان أخرى تفشل.
المشكلة: "إبرة في كومة قش" في استكشاف الأخطاء وإصلاحها
في الوقت الحالي، عندما يفشل الروبوت، يحاول المديرون البشر معرفة السبب من خلال النظر إلى أمثلة محددة قليلة من عمل الروبوت. الأمر يشبه محاولة فهم سبب إصدار محرك سيارة لصوت غريب عبر الاستماع إلى سيارة واحدة فقط وهي تمر بجانبك. قد تسمع "تعتعة"، لكنك ستفقد النمط الذي يجعل كل السيارات تُصدر هذا الصوت عند الانعطاف يساراً في يوم ممطر.
لأن الروبوتات تنتج كميات هائلة من البيانات (آلاف الصفحات من "الأفكار" والإجراءات لكل مهمة)، لا يستطيع البشر قراءتها جميعاً. ينتهي بهم الأمر بالتخمين بناءً على عينة صغيرة جداً. وهذا يعني أنهم يفتقدون "الإخفاقات الصامتة" — وهي الأخطاء حيث ينهي الروبوت المهمة دون أن يتوقف عن العمل (crash)، ولكنه يقوم بها بطريقة خاطئة.
الحل: "مولد الرؤى" (Insights Generator - IG)
قام المؤلفون ببناء نظام جديد يسمى مولد الرؤى (IG). فكر في (IG) ليس كشرطي واحد، بل كـ وكالة تحقيقات متخصصة تمتلك سير عمل محدد لحل مشكلة "الإبرة في كومة القش".
إليك كيف تعمل هذه الوكالة، باستخدام تشبيه بسيط:
- المنسق (مدير الوكالة): هذا هو المدير. هو لا يقوم بعملية التنقيب بنفسه، بل ينظر إلى الصورة الكبيرة ويقرر نوع التحقيق المطلوب.
- المستكشفون (الاستطلاعيون): يتم إرسال هؤلاء الوكلاء للاطلاع على عينة عشوائية صغيرة من عمل الروبوت. مهمتهم هي أن يكونوا واسعي الاطلاع وفضوليين؛ يبحثون عن أنماط غريبة ويضعون نظريات.
- مثال لنظرية: "مهلاً، لاحظت أنه في 80% من المرات التي يفشل فيها الروبوت في الرياضيات، فإنه يكتب الصيغة بشكل خاطئ دون أن يتوقف عن العمل. إنه 'إخفاق صامت'".
- المحققون (المراجعون الجنائيون): بمجرد أن تضع "المستكشفات" نظرية ما، يتولى المحققون المهمة. هم لا ينظرون فقط إلى أمثلة قليلة، بل يمرون عبر كامل قاعدة البيانات الضخمة لعمل الروبوت (المتن/الـ corpus). يستخدمون أدوات قوية للعد، والمقارنة، وإثبات ما إذا كانت النظرية صحيحة للمجموعة بأكملها، وليس فقط للأمثلة القليلة التي رأوها.
- النتيجة: بدلاً من مجرد تخمين، يقدمون تقريراً يقول: "لقد فحصنا 1,000 محاولة فاشلة. 84% منها احتوت على هذا الخطأ الرياضي المحدد. إليكم الصفحات الدقيقة التي حدث فيها ذلك".
لماذا يختلف هذا؟
معظم الأنظمة الأخرى تحاول إصلاح روبوت واحد في كل مرة أو تصنيف الأخطاء في قائمة معدة مسبقاً (مثل "خطأ في الأداة" أو "خطأ منطقي"). أما (IG) فهو مختلف لأنه يكتشف أنماطاً جديدة لم يكن أحد يعرف بوجودها. إنه يفصل بين "التخمين" (المستكشفين) و"الإثبات" (المحققين) حتى لا يغرق تحت وطأة حجم البيانات الهائل.
ماذا حدث عندما اختبروه؟
اختبر الباحثون هذا النظام بطريقتين:
اختبار "القاضي": جعلوا ذكاءً اصطناعياً فائق الذكاء يعمل كقاضٍ لمقارنة التقارير التي أعدها (IG) بالتقارير التي أعدتها الأنظمة الأخرى. حصلت تقارير (IG) على تقييم أعلى لأنها كانت تمتلك أدلة أفضل وشروحات أعمق. كان الأمر يشبه مقارنة تقرير يقول "السيارة معطلة" (الأنظمة الأخرى) مقابل تقرير يقول "السيارة تتعطل تحديداً عند الانعطاف يساراً في المطر بسبب سلك مرتخٍ، وإليك دليل الفيديو" (IG).
اختبار "المصلح البشري": وهذا هو الجزء الأهم. قدموا لمهندسين بشريين حقيقيين (خبراء يبنون هذه الروبوتات) التقارير المستمدة من (IG) ومن الأنظمة الأخرى. ثم حاول هؤلاء المهندسون إصلاح الروبوتات.
- النتيجة: المهندسون الذين استخدموا تقارير (IG) أصلحوا الروبوتات بشكل أفضل بنسبة 30% من المهندسين الذين استخدموا أفضل نظام تالٍ له. لقد أعطتهم تقارير (IG) "أين" و"لماذا" بدقة، مما مكنهم من إجراء التغييرات الصحيحة، بدلاً من مجرد إعطائهم تلميحاً غامضاً.
الخلاصة
تدعي الورقة البحثية أنه من خلال استخدام نهج فريق "المستكشف والمحقق"، يمكننا أخيراً رؤية الأنماط الخفية في كيفية فشل الوكلاء الاصطناعيين. يتيح هذا للخبراء البشريين إصلاح المشكلات الأساسية بفعالية أكبر بكثير، محولين كومة فوضوية من سجلات الأخطاء إلى خارطة طريق واضحة ومدعومة بالأدلة للتحسين.
ما لا تدعيه الورقة البحثية:
- هي لا تقول إن هذا النظام يصلح الروبوتات تلقائياً دون مساعدة بشرية (رغم أنهم اختبروا حلقة "مُصلح آلي"، إلا أن النجاح الرئيسي كان مع الخبراء البشر).
- هي لا تدعي أن هذا يعمل لكل أنواع مشاكل الذكاء الاصطناعي في العالم، بل فقط لتحليل "الآثار" (السجلات/الـ traces) الخاصة بالوكلاء الاصطناعيين.
- هي لا تعد بالقضاء على جميع الأخطاء، بل تجعل عملية العث menemukan وإصلاحها أكثر كفاءة ودقة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.