AI Planning Framework for LLM-Based Web Agents
تقترح هذه الورقة إطار عمل للتخطيط بالذكاء الاصطناعي يقوم بربط بنيات الوكلاء القائمة على النماذج اللغوية الكبيرة (LLM) بنماذج البحث التقليدية (البحث بالعرض، والبحث بالعمق، والبحث بالأفضل أولاً) لتمكين التشخيص المنهجي للفشل، مع تقديم مقاييس تقييم جديدة ومجموعة بيانات مصنفة بشرياً لإثبات أن استراتيجيات الوكلاء المختلفة تتفوق في جوانب متميزة من تنفيذ المهام، مثل التوافق مع المسار البشري مقابل دقة العناصر التقنية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت ذكي جداً، ولكنه مرتبك قليلاً، كيف يقوم بمهامك المنزلية عبر الإنترنت. تقول له: "اذهب إلى المتجر، اشترِ الحليب، ثم تحقق من حالة الطقس".
في الماضي، كانت هذه الروبوتات تشبه الروبوتات الجامدة التي تتبع نصاً برمجياً: "انقر هنا، ثم انقر هناك". إذا تغير الموقع الإلكتر even قليلاً (مثل تغيير مكان زر "شراء")، كان الروبوت يتعطل.
الآن، لدينا وكلاء الذكاء الاصطناعي (AI Agents) المدعومون بالنماذج اللغوية الكبيرة (LLMs). هؤلاء يشبهون المتدربين الأذكياء جداً الذين يمكنهم قراءة وفهم طلبك. ولكن هناك مشكلة، فهم غالباً ما يعملون كـ صندوق أسود. أنت ترىهم ينقرون على الأشياء، لكنك لا تعرف لماذا نقروا عليها، أو لماذا نسوا فجأة أن مهمتهم هي شراء الحليب وبدأوا في مشاهدة فيديوهات القطط.
هذه الورقة البحثية تشبه دليل التشخيص لهؤلاء المتدربين من الذكاء الاصطناعي. فهي تمنحنا طريقة جديدة لفهم كيفية تفكيرهم، وكيفية رصد متى يخطئون، وكيفية قياس ما إذا كانوا يقومون بعمل جيد حقاً.
إليك تفصيل أفكارهم باستخدام تشبيهات بسيطة:
1. الطرق الثلاث للتخطيط لرحلة
يقول المؤلفون إن جميع وكلاء الذكاء الاصطناعي هؤلاء يحاولون في الأساس حل متاهة. لقد صنفواهم إلى ثلاثة "أساليب تخطيط" متميزة، مقارنين إياهم بطرق البحث الكلاسيكية:
وكيل "خطوة بخطوة" (المستكشف بنظام البحث بالعرض - Breadth-First Explorer):
- التشبيه: تخيل أنك تسير في غابة. عند كل خطوة، تتوقف، وتنظر إلى المسارات الثلاثة التي أمامك مباشرة، تختار الأفضل منها، تأخذ خطوة، ثم تتوقف مرة أخرى لتنظر إلى المسارات الثلاثة الجديدة.
- كيف يعمل: ينظر الذكاء الاصطناعي إلى صفحة الويب الحالية، ويقرر إجراءً واحداً (مثل "النقر على زر تسجيل الدخول")، ثم ينفذه، ويرى ما سيحدث، ثم يقرر الخطوة التالية.
- المزايا: إنه مرن للغاية. إذا تغير الموقع الإلكتروني، فإنه يتكيف فوراً.
- العيوب: يمكن أن "يضيع" بسهولة. قد ينسى الصورة الكبيرة (شراء الحليب) لأنه يركز بشدة على الخطوة التالية المباشرة.
وكيل "البحث في الشجرة" (المحقق المتفرع - Tree Search Agent):
- التشبيه: هذا الوكيل يشبه المحقق الذي يرسم خريطة لكل مسار ممكن قبل التحرك. يتخيل: "إذا نقرت هنا، فماذا بعد؟ إذا نقرت هناك، فماذا بعد؟". إنه يستكشف العديد من الفروع المستقبلية في وقت واحد للعثور على أفضل مسار.
- كيف يعمل: يحتفظ بشجرة ذهنية من الاحتمالات ويختار الفرع الأكثر واعداً لاتباعه.
وكيل "الخطة الكاملة مسبقاً" (المخطط بنظام البحث بالعمق - Full-Plan-in-Advance Agent):
- التشبيه: هذا هو المخطط المثالي. قبل مغادرة المنزل، يكتب جدول أعمال كاملاً: "1. افتح المتصفح. 2. اذهب إلى أمازون. 3. ابحث عن الحليب. 4. انقر على شراء. 5. اذهب إلى موقع الطقس". إنه يلتزم بهذه القائمة الكاملة قبل اتخاذ أي خطوة.
- كيف يعمل: يقوم الذكاء الاصطناعي بإنشاء قائمة كاملة من الخطوات أولاً، ثم يحاول تنفيذها واحدة تلو الأخرى.
- المزايا: لديه هدف واضح وهو أقل عرضة للتشتت.
- العيوب: إذا كان الموقع مختلفاً قليلاً عما هو متوقع (على سبيل المثال، زر "شراء" في مكان مختلف)، فإن الخطة بأكملها تنهار، وقد يعلق الوكيل أو يستسلم.
2. مشكلة "النجاح أو الفشل"
حالياً، نحن نحكم على هؤلاء الوكلاء مثل معلم يصحح اختباراً بخيارين فقط: نجاح أو فشل.
- العيب: إذا كان من المفترض أن يجد الوكيل 5 مراجعات ووجد 4 فقط، فإنه يحصل على "فشل". لكن هذا غير عادل! لقد أنجز 80% من العمل.
- الطريقة القديمة: كنا ننظر فقط إلى النتيجة النهائية.
- الطريقة الجديدة: يقول المؤلفون إننا بحاجة إلى تقييم العملية، وليس النتيجة فقط. هل سلك الوكيل مساراً غريباً؟ هل كرر نفس الخطأ 10 مرات؟ هل استعاد مساره عندما ارتكب خطأً؟
3. الشهادة المدرسية الجديدة (5 مقاييس جديدة)
لإصلاح مشكلة "النجاح/الفشل"، أنشأوا شهادة مدرسية جديدة تحتوي على خمس درجات محددة:
- معدل الاستعادة (Recovery Rate): إذا اتخذ الوكيل مساراً خاطئاً، فما مدى سرعة إدراكه لخطئه والعودة إلى المسار الصحيح؟ (مثل نظام GPS يعيد حساب مسارك).
- معدل التكرار (Repetitiveness Rate): هل يستمر الوكيل في النقر على نفس الزر مراراً وتكراراً لأنه مرتبك؟ (مثل كلب يطارد ذيله).
- معدل نجاح الخطوة (Step Success Rate): كم عدد الخطوات التي اتخذها الوكيل والتي طابقت بالفعل ما كان سيفعله البشر؟
- معدل النجاح الجزئي (Partial Success Rate): إذا كانت المهمة هي "عرض 3 أفلام"، فهل عرض 1، أم 2، أم الثلاثة جميعاً؟
- دقة العناصر (Element Accuracy): هل قال الوكيل إنه سينقر على "إرسال"، لكنه نقر فعلياً على "إلغاء"؟ هذا يقيس ما إذا كان قصد الوكيل يطابق فعله.
4. التجربة: الإنسان مقابل الروبوت
قام المؤلفون ببناء مجموعة بيانات جديدة مكونة من 794 مهمة حيث قام البشر فعلياً بحلها خطوة بخطوة. أصبح هذا هو "المعيار الذهبي" (الإجابة النموذجية المثالية).
ثم اختبروا وكيلين:
- الوكيل "خطوة بخطوة" (وكيل WebArena): التقليدي والمرن.
- الوكيل "الخطة الكاملة مسبقاً" (ابتكارهم الجديد): المخطط الجامد.
النتائج:
- الوكيل "خطوة بخطوة" كان أفضل في اتباع المسار البشري. كان أكثر مرونة، واستعاد مساره بشكل أفضل من الأخطاء، وأنهى مهاماً أكثر بشكل عام (38% نجاح مقابل 36%).
- الوكيل "الخطة الكاملة مسبقاً" كان في الواقع أكثر دقة عندما ينقر على الأشياء. نادراً ما كان ينقر على الزر الخطأ (دقة 90%)، لكنه كان جامداً للغاية. إذا لم تطابق الخطة الواقع تماماً، فإنه يعلق أو يستسلم.
الخلاصة الكبرى
لا يوجد "مقاس واحد يناسب الجميع" لوكلاء الذكاء الاصطناعي.
- إذا كنت تتنقل في موقع إلكتروني فوضوي ومتغير (مثل موجز وسائل التواصل الاجتماعي أو لوحة تحكم مباشرة)، فأنت تريد وكيل "خطوة بخطوة". إنه يشبه المتنزه الذي ينظر إلى التضاريس أثناء سيره.
- إذا كنت تتنقل في نظام صارم ويمكن التنبؤ به (مثل بوابة بنكية أو عملية دفع تجاري)، فقد يكون وكيل "الخطة الكاملة مسبقاً" أفضل. إنه يشبه القطار على قضبان؛ فهو سريع وفعال، لكنه لا يستطيع التعامل مع جسر مكسور.
باختصار: تمنحنا هذه الورقة البحثية المفردات اللاكتفاء بالتوقف عن معاملة وكلاء الذكاء الاصطناعي كصناديق سوداء سحرية. فهي تساعدنا على فهم كيف يفكرون، ولماذا يفشلون، وأي "أسلوب تفكير" هو الأنسب للمهمة المحددة التي نحتاجهم للقيام بها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.