TraceCompiler: Skill-Guided Mining and Compilation of LLM Agent Traces into Mostly Deterministic Workflows
تقدم هذه الورقة البحثية TraceCompiler، وهو نظام موجه بالمهارات يقوم باستخراج مسارات وكلاء النماذج اللغوية الكبيرة (LLM) الصاخبة لتجميعها في تدفقات عمل قابلة للتنفيذ وحتمية إلى حد كبير، وذلك من خلال الاستدلال الصارم للارتباطات بين الأدوات عبر أدلة قابلة للتدقيق، مما يقلل بشكل كبير من استدعاءات واجهة برمجة التطبيقات (API) أثناء وقت التشغيل مع الحفاظ على دقة عالية في استرداد الارتباطات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتًا يعمل كخادم، وهو ذكي جدًا ولكن مشتت الذهن قليلًا، كيفية صنع شطيرتك المفضلة. أريته العملية مرة واحدة: فيقوم بإحضار الخبز، ثم الجبن، ثم السكين، ثم السكين مرة أخرى لأنه نسي، ثم الجبن مرة أخرى ليتفحص الملصق، وأخيرًا الخبز. لقد حصل على الشطيرة، لكن المسار الذي اتخذه كان عبارة عن زجزاج فوضوي من المحاولات المتكررة، والتدقيقات المزدوجة، والتجول العشوائي في المطبخ. الآن، تخيل أنك طلبت من الروبوت صنع تلك الشطيرة نفسها مئة مرة. إذا تركته "يتعلم" بمجرد القيام بذلك في كل مرة، فسيستمر في دفع ثمن ذلك الزجزاج الفوضوي في كل مرة، مما يهدر الطاقة والوقت في إعادة اكتشاف خطوات يعرفها بالفعل. هذا هو بالضبط ما يحدث مع وكلاء الذكاء الاصطناعي الحديثين الذين يستخدمون الأدوات (مثل التحقق من التقويم أو إرسال رسالة). إنهم بارعون في إيجاد الحلول أثناء العمل، لكنهم غالبًا ما يعيدون اختراع العجلة، ويعيدون قراءة التعليمات، ويكررون المحاولات الفاشلة لكل طلب جديد. السؤال الكبير في هذا الركن من علوم الحاسوب هو: هل يمكننا أخذ تلك "المذكرات" الفوضوية والمتكررة لما فعله الذكاء الاصطناعي، وتنظيفها، وتحويلها إلى وصفة صارمة وفعالة يمكن للذكاء الاصطناعي اتباعها دون الحاجة إلى التفكير بجهد كبير في كل مرة؟ هذا هو الفرق بين روبوت يتعين عليه اكتشاف كيفية المشي كل صباح، وروبوت لديه "ذاكرة عضلية" مبرمجة مسبقًا للمشي.
إليك TraceCompiler، وهو نظام جديد صُمم ليكون "الطاهي" الذي يحول مذكرات الروبوت الفوضوية إلى وصفات نظيفة وقابلة للتنفيذ. أدرك الباحثون وراء هذا العمل أنه بينما يجيد وكلاء الذكاء الاصطناعي الاستكشاف، فإنهم سيئون جدًا في تذكر مساراتهم الفعالة الخاصة. يعمل TraceCompiler مثل المحقق والمحرر في آن واحد؛ فهو ينظر إلى مئات المحاولات الصاخبة للقيام بنفس المهمة (مثل طلب المال عبر Venmo أو إضافة أغنية إلى قائمة تشغيل) ويحاول معرفة أي الخطوات كانت ضرورية حقًا وأي منها كان مجرد تعثر للذكاء الاصطناعي.
يكمن السحر الجوهري لـ TraceCompiler في قاعدة صارمة حول "السبب والنتيجة". في سجل فوضوي، قد يحدث إجراءان متتاليان بمحض الصدفة، مثل إمساك الروبوت بالخبز ثم بالجبن. يرفض TraceCompiler افتراض أن الخبز هو الذي تسبب في إمساك الجبن. بدلاً من ذلك، هو يطالب بالدليل: "هل احتاج الجبن حقًا إلى معلومة محددة لم ينتجها إلا خطوة إمساك الخبز؟" إذا كانت الإجابة لا، يتم قطع الرابط. وإذا كانت الإجابة نعم، ولم يكن هناك خطوة أخرى يمكنها توفير هذه المعلة، يتم الإبقاء على الرابط. يسم هذا النظام بتجريد "الضجيج" — المحاولات المتكررة، والبحث العرضي، والتحققات الزائدة — وترك سير عمل انسيابي.
النتائج مثيرة للإعجاب ولكنها تأتي مع تنبيهات هامة. عند اختباره على مجموعة بيانات لمهام متعلقة بالسفر، حددت قاعدته الآلية الروابط الضرورية بين الخطوات بدقة بلغت حوالي 93% واستدعاء بنسبة 94%. هذه قفزة هائلة مقارنة بالطرق الأبسط التي تنظر فقط إلى ما يحدث تاليًا في الصف (والتي حققت حوالي 71% فقط) أو الطرق التي تعتمد فقط على عدد مرات ظهور الخطوات معًا. في اختبار محدد يتضمن مهمة طلب أموال عبر Venmo، تمكن النظام من تقليص عملية فوضوية تتطلب 34 استدعاءً لواجهة برمجة التطبيقات (API) إلى 11 استدعاءً أساسيًا فقط. هذا تقليص هائل في حجم العمل!
ومع ذلك، فإن الورقة البحثية حريصة جدًا على عدم الادعاء بأن هذا حل سحري ومثالي. فالنظام ليس مجرد "صندوق أسود" يعمل في كل مرة؛ بل هو محرر حذر. على سبيل المثال، عند محاولة تجميع سير عمل لإضافة أغاني إلى قائمة تشغيل، اصطدم النظام بحائط مسدود. فقد أدرك أن سجلات الذكاء الاصطناعي لم تظهر بوضوح ما إذا كانت الأغاني يتم إضافتها أم حذفها، وبما أن هذين الإجراءين متضادان وغير قابلين للتراجع، فقد رفض النظام تجميع الوصفة. لقد اختار التوقف والقول: "لا يمكنني التأكد، لذا لن أخمن"، مفضلاً عدم المخاطرة بحذف موسيقى المستخدم. هذا "الرفض للتجميع" هو في الواقع ميزة وليس خطأً، مما يثبت أن النظام يعطي الأولوية للسلامة على السرعة.
علاً إلى ذلك، يعترف الباحثون بأنه بينما تكون سير العمل المجمعة فعالة، إلا أنهم لم يقيسوا مقدار الوقت أو المال الذي استغرقه إنشاء سير العمل في المقام الأول. الأمر يشبه قولك: "هذه السيارة الجديدة تستهلك وقودًا قليلًا جدًا"، دون أن تخبرنا كم كلف بناء المحرك. كما وجدوا أنه بينما يعمل النظام جيدًا على البيانات الاصطناعية (الأمثلة المولدة حاسوبيًا)، فإنه يعتمد بشكل كبير على قدرة الذكاء الاصطناعي على رصد الأنماط، ولا يمكنه بعد التعامل مع كل أنواع السجلات الفوضوية بشكل مثالي.
في النهاية، يظهر TraceCompiler أنه يمكننا تحويل سلوك وكلاء الذكاء الاصطناعي الفوضوي والمتكرر إلى برامج نظيفة وحتمية، ولكن فقط إذا كنا مستعدين لنكون صارمين بشأن ما يعتبر "دليلاً". إنها خطوة نحو ذكاء اصطناعي لا يكتفي فقط بـ "اكتشاف الطريقة" في كل مرة، بل يتعلم بالفعل اتباع مسار موثوق وفعال — بشرط أن نتمكن من إثبات أن هذا المسار آمن وضروري.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.