DOCSCHISEL: Adaptive Tool Documentation Optimization Framework for LLM Agents
تقدم الورقة البحثية DocsChisel، وهو إطار عمل تكيفي يعمل على تحسين توثيق الأدوات بشكل تكراري من خلال تحليل آثار فشل الوكيل (agent failure traces) لتنقيح حقول المعلومات ديناميكيًا، مما يؤدي إلى تحسينات كبيرة في معدلات نجاح مهام وكلاء النماذج اللغوية الكبيرة (LLM agents) مقارنة بالنماذج المرجعية الحالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً يحاول فيه مساعدك الروبوتي المفضل، فائق الذكاء، بناء منزل، أو طهي وجبة فاخرة، أو حل لغز ما. للقيال بهذه الأشياء، لا يمكن للروبوت أن يكتفي بالتفكير فحسب؛ بل يحتاج إلى الإمساك بالأدوات. قد يحتاج إلى مطرقة رقمية، أو مفتاح ربط افتراضي، أو فرن عالي التقنية. ولكن هنا تكمن العقبة: الروبوت لا يعرف كيفية استخدام هذه الأدوات ما لم يعطه شخص ما دليلاً إرشاديًا. في عالم الذكاء الاصطناائي، تُسمى هذه "الروبوتات" وكلاء النماذج اللغوية الكبيرة (LLM agents)، وتُسمى هذه "الأدلة الإرشادية" توثيق الأدوات. لفترة طويلة، اعتقد العلماء أن أفضل طريقة لجعل هؤلاء الوكلاء أكثر ذكاءً هي مجرد منحهم أدمغة أفضل أو تعليمهم كيفية العثور على الأدوات بشكل أسرع. لقد تعاملوا مع الأدلة الإرشادية ككتب قواعد ثابتة وغير قابلة للتغيير. ولكن ماذا لو لم تكن المشكلة في دماغ الروبوت، بل في حقيقة أن الدليل مكتوب بلغة لا يفهمها الروبوت تمامًا، أو أنه يفتقد الخطوة الحاسمة الوحيدة التي يحتاجها للنجاح؟
هذا هو اللغز الذي قرر فريق من الباحثين من جامعة فودان (Fudan University) حله. لقد طرحوا سؤالاً بسيطاً ولكنه عميق: هل الطريقة التي نكتب بها هذه الأدلة الإرشادية تهم حقاً، وهل يصلح دليل "مقاس واحد يناسب الجميع" لكل روبوت؟ لمعرفة ذلك، لم يكتفوا بالتخمين؛ بل أجروا تجربة ضخمة. لقد نظروا في آلاف الأدوات وجربوا نسخاً مختلفة من أدلتها الإرشادية على أنواع مختلفة من وكلاء الذكاء الاصطناعي. وما اكتشفوه كان مفاجئاً: لا يوجد دليل مثالي واحد. فالدليل الذي يساعد روبوتاً واحداً على النجاح قد يربك روبوتاً آخر. والتفصيل الذي قد يكون مفيداً في مهمة "طهي" قد يكون مشتتاً في مهمة "برمجة". وبسبب هذا، بنوا نظاماً جديداً يسمى DOCSCHISEL. فكر فيه كأنه محرر فائق الذكاء يراقب الروبوت وهو يحاول ويفشل، ثم ينحت الأجزاء المربكة من الدليل ويضيف القطع المفقودة، ليصمم التعليمات خصيصاً لذلك الروبوت ولتلك الوظيفة المحددة. وتظهر نتائجهم أنه من خلال القيام بذلك، أصبح الروبوتات أفضل بكثير في إتمام مهامهم.
المشكلة: دليل "مقاس واحد يناسب الجميع" لا يناسب أحداً
تخيل أنك تعلم صديقاً جديداً كيفية استخدام وحدة تحكم معقدة في لعبة فيديو. قد تكتب دليلاً يقول: "اضغط على زر A للقفز". ولكن إذا كان صديقك يلعب لعبة سباق، فقد يحتاج إلى معرفة أن "الضغط على زر A يعني التسارع". إذا أعطيته نفس الدليل العام لكلتا اللعبتين، فسوف يصطدم بالسيارة أو يسقط من المنحدر.
لفترة طويلة، افترض الباحثون الذين يبنون وكلاء الذكاء الاصطناعي أن توثيق الأدوات يشبه القاموس الثابت. فكروا قائلين: "إذا جعلنا القاموس أقصر أو أكثر ترتيباً، فسيفهمه الذكاء الاصطناعي بشكل أفضل". حاولت بعض المحاولات السابقة ضغط هذه الأدلة في ملخصات صغيرة ومرتبة، بينما حاول البعض الآخر إعادة كتابتها لتكون أكثر معيارية. لكن الباحثين وراء هذه الورقة أدركوا أن شيئاً ما كان مفقوداً: لقد كانوا يعاملون الأدلة الإرشادية كما لو كانت مثالية، وتحتاج فقط إلى القليل من الصقل. وقد اشتبهوا في أن محتوى الأدلة الإرشادية — مثل الحقول المعلوماتية المحددة مثل "كيفية الاستخدام"، أو "ماذا يحدث إذا أخطأت"، أو "ما هي المخرجات" — هو في الواقع المفتاح الحقيقي، وأن وكلاء الذكاء الاصطناعي المختلفين يحتاجون إلى مفاتيح مختلفة.
العمل الاستقصائي: ما الذي يوجد في الأدلة الإرشادية؟
لاختبار نظريتهم، عمل الفريق كالمحققين الرقميين. لقد جمعوا مجموعة ضخمة تضم 24,955 أداة من 14 مجموعة بيانات مختلفة. غطت هذه الأدوات كل شيء من إدارة رسائل البريد الإلكتروني والتقويمات إلى تحليل البيانات وحتى إصلاح أخطاء البرمجيات. أرادوا معرفة نوع المعلومات الموجودة فعلياً في هذه الأدلة.
لقد وجدوا فوضى عارمة من عدم الاتساق. بعض الأدلة تحتوي على قسم يسمى "إرشادات الاستخدام"، بينما لا يحتوي البعض الآخر عليه. بعضها يسرد "اسم معلمة الإدخال" (ما تكتبه)، بينما يتجاهل البعض الآخر ذلك تماماً. لقد حددوا 17 نوعاً مختلفاً من حقول المعلومات التي يمكن أن تكون في الدليل. وكان الحقلان الوحيدان اللذان ظهرا في كل مجموعة بيانات هما "اسم الأداة" و"وصف الوظائف" (ما تفعله الأداة). أما كل شيء آخر فكان متفاوتاً وغير منتظم.
لكن المفاجأة الحقيقية جاءت عندما اختبروا كيف تؤثر هذه الحقول المختلفة على أداء الذكاء الاصطناعي. لقد أخذوا مجموعة قياسية من الأدوات وبدأوا في عملية "الإضافة أو الحذف" لحقول المعلومات. كانوا يأخذون دليلاً، ويحذفون "إرشادات الاستخدام"، ويرون ما إذا كان الذكاء الاصطناعي سيفشل. ثم يعيدون إضافةها ليروا ما إذا كان سينجح.
كانت النتائج مذهلة. فالمعلومة نفسها يمكن أن تكون بطلاً في موقف ما وشريرًا في موقف آخر.
- لنموذج ذكاء اصطناعي واحد، قد يؤدي حذف حقل معين إلى فشله بنسبة 10% أكثر.
- لنموذج ذكاء اصطناعي آخر، قد يساعد حذف نفس هذا الحقل في نجاحه لأن النص الإضافي كان يربكه.
- في مهمة "تحليل البيانات"، قد يكون حقل معين أمراً حاسماً.
- في مهمة "إدارة البريد الإلكتروني"، قد يكون ذلك الحقل نفسه مجرد ضجيج لا فائدة منه.
وجد الباحثون أنه، في المتوسط، تغيير حقل معلومات واحد فقط (بالإضافة أو الحذف) يغير معدل نجاح الذكاء الاصطناعي بمقدار 6.34 نقطة مئوية. وقد أثبت هذا أن الدليل الثابت وغير القابل للتغيير هو فكرة سيئة. فما يعمل لوكيل "ReAct" (الروبوت الذي يفكر خطوة بخطوة) قد لا يعمل لنظام "متعدد الوكلاء" (فريق من الروبوتات تعمل معاً).
الحل: DOCSCHISEL، المحرر التكيفي
بما أن الدليل الثابت لا يعمل، فقد بنى الفريق DOCSCHISEL (إطار عمل تحسين توثيق الأدوات التكيفي). يمكنك التفكير في DOCSCHISEL كمحرر دؤوب وشديد الملاحظة يجلس بجانب وكيل الذكاء الاصطناعي أثناء عمله.
إليك كيف يعمل، خطوة بخطوة:
- العين الساهرة: أولاً، يسمح DOCSCHISEL لوكيل الذكاء الاصطناعي بمحاولة القيام بعمله باستخدام الأدلة الأصلية غير المعدلة. إنه يراقب بعناية ويسجل كل مرة يفشل فيها الوكيل.
- التشخيص: عندما يفشل الوكيل، ينظر DOCSCHISEL إلى "الأثر الفاشل" (failed trace) — وهو الأثر الرقمي لما حدث بشكل خاطئ. يسأل نموذج ذكاء اصطناعي (نموذج "تشخيص") لمعرفة سبب الفشل. هل كان بسبب أن الدليل لم يذكر أن الأداة تتطلب مدخلاً معيناً؟ هل كان بسبب أن المثال كان مربكاً؟
- الذاكرة: هذا هو السر الحقيقي. يحتفظ DOCSCHISEL بـ "ذاكرة" لما حدث في الماضي. إذا رأى أن "نقص إرشادات الاستخدام" تسبب في فشل في مجال "البريد الإلكتروني"، فإنه يتذكر ذلك للأداة التالية في نفس المجال. إنه يتعلم من أخطائه.
- النحت: بناءً على التشخيص والذاكرة، يقرر DOCSCHISEL إضافة أو حذف أو تحسين أجزاء معينة من الدليل.
- إضافة: "الروبوت لم يكن يعرف أنه يحتاج إلى كلمة مرور، فلنضف حقل 'المدخل المطلوب'."
- حذف: "الروبوت ارتبك بسبب كود برمجي طويل، فلنحذف هذا الجزء."
- تحسين: "التعليمات كانت غامضة، فلنجعلها أكثر وضوحاً."
- الاختبار: بعد ذلك، يختبر الدليل الجديد المعدل. إذا نجح الوكيل في مهامه بشكل أكبر، فهذا رائع! وإذا تسبب الدليل الجديد في فشل الوكيل في مهام كان ينجح فيها سابقاً، فإن DOCSCHISEL يعرف أنه يجب أن يتراجع. إنه يحتفظ بأفضل نسخة من الدليل وينتقل إلى الأداة التالية.
النتائج: قفزة هائلة للأمام
اختبر الفريق DOCSCHISEL مقابل طريقتين أخريين رفيعتي المستوى (EASYTOOL و DRAFT) ومع الأدلة الأصلية غير المعدلة. وكانت النتائج مذهلة.
- مقارنة بالأدلة الأصلية: حسن DOCSCHsISEL معدل نجاح مهام الذكاء الاصطناعي بنسبة 95.89%. وهذا يعني أن الروبوتات ضاعفت قدرتها تقريباً على إنجاز العمل.
- مقارنة بالطرق الذكية الأخرى: في المتوسط، كان DOCSCHISEL أفضل بنسبة 75.15% من أفضل نهج تالٍ له.
- الاستمرارية: لم يقتصر نجاحه على نوع واحد من الروبوتات أو نوع واحد من المهام. لقد نجح عبر نماذج ذكاء اصطناعي مختلفة (مثل GPT-4o و GLM-5 و Claude Haiku 4.5) وأنماط وكلاء مختلفة (روبوت واحد مقابل فريق من الروبوتات).
نظر الباحثون أيضاً في التكلفة. إن تحسين الأدلة يستغرق وقتاً — حوالي 12.65 دقيقة لكل أداة. ومع ذلك، جادلوا بأن هذا ثمن زهيد مقابل هذا التحسن الهائل. لم تكن الأدلة الجديدة أطول بكثير من القديمة، لذا لم ترهق الذكاء الاصطناعي بالكثير من النصوص.
لماذا يهم هذا الأمر؟
تغير هذه الورقة طريقة تفكيرنا في تعليم الذكاء الاصطناعي. فهي تظهر أننا لا يمكننا مجرد إلقاء دليل إرشادي عام على الروبوت والأمل في تحقيق أفضل النتائج. "الدليل" يجب أن يكون شيئاً حياً ومتجدداً يتكيف مع دماغ الروبوت والوظيفة المحددة التي يقوم بها.
الباحثون لم يقترحوا ذلك فحسب، بل أثبتوا ذلك بالبيانات. لقد أظهروا أنه من خلال نحت الأجزاء السيئة بعناية وإضافة الأجزاء الصحيحة من التوثيق، يمكننا جعل وكلاء الذكاء الاصطناعي أكثر موثوقية بشكل كبير. الأمر يشبه إدراك أنك لكي تعلم طالباً عزف البيانو، لا تكتفي بإعطائه كتاباً للموسيقى؛ بل يجب عليك تخصيص الدرس ليتناسب مع قوة أصابعه، وذوقه الموسيقي، والأغنية المحددة التي يحاول تعلمها. DOCSCHISEL هو الأداة التي تفعل ذلك بالضبط لوكلاء الذكاء الاصطناعي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.