Why Do LLM-based Web Agents Fail? A Hierarchical Planning Perspective
تقدم هذه الورقة إطار عمل تخطيط هرمي لتشخيص إخفاقات وكلاء الويب القائمين على النماذج اللغوية الكبيرة عبر طبقات التخطيط عالي المستوى، والتنفيذ منخفض المستوى، وإعادة التخطيط، كاشفةً أنه في حين تعمل خطط (PDDL) المهيكلة على تحسين صياغة الاستراتيجية، إلا أن التنفيذ منخفض المستوى والترسيخ الإدراكي يظلان هما العقبات الرئيسية أمام تحقيق الموثوقية بمستوى القدرات البشرية.
المؤلفون الأصليون:Mohamed Aghzal, Gregory J. Stein, Ziyu Yao
تخيل أنك وظفت مساعداً آلياً ذكياً جداً، واسع الاطلاع، ولكنه أخرق قليلاً، ليقوم بالتسوق عبر الإنترنت أو البحث نيابة عنك. أعطيته تعليمات معقدة وكبيرة مثل: "جد لي أرخص معطف شتوي لكلبي بمقاسي، وتأكد أنه معروض للبيع بخصم".
هذه الورقة البحثية هي في الأساس "تقرير تشريح" لسبب فشل هؤلاء المساعدين الآليين (الذين يُطلق عليهم وكلاء الويب القائمون على النماذج اللغوية الكبيرة - LLM Web Agents) في أداء هذه المهام، رغم أنهم يزدادون ذكاءً.
يجادل المؤلفون بأننا كنا ننظر إلى الشيء الخطأ. فبدلاً من مجرد السؤال: "هل أنهى الروبوت المهمة؟ نعم أم لا؟"، قرروا النظر في كيفية تفكير الروبوت وتصرفه. لقد قاموا بتفكيك عقل الروبوت إلى ثلاث طبقات متميزة، مثل طاقم بناء يبني منزلاً.
إليك تفصيل ذلك باستخدام تشبيهات بسيطة:
1. الطبقات الثلاث لعقل الروبوت
يقول المؤلفون إن لكل وكيل ويب ثلاث وظائف، وهم يفشلون في نقاط مختلفة في كل منها:
الطبقة 1: المهندس المعماري (التخطيط رفيع المستوى)
الوظيفة: هذا هو الجزء الذي يقرأ طلبك ويضع خطة رئيسية. يقول: "أولاً، اذهب إلى المتجر. ثانياً، ابحث عن قسم الكلاب. ثالثاً، قم بعمل تصفية حسب المقاس".
المشكلة: أحياناً يرتبك المهندس المعماري. قد يكتب خطة غامضة للغاية ("ابحث عن معطف") أو محددة للغاية ("انقر على الزر الثالث من اليسار")، مما يجعله يفقد الرؤية الشاملة.
الحل: وجدت الورقة أنه إذا أجبرت المهندس المعماري على كتابة الخطة بلغة مهيكلة وصارمة (مثل لغة برمجة تسمى PDDL) بدلاً من مجرد الدردشة باللغة الإنجليزية العادية، فإن الخطط تصبح أكثر وضوحاً ومنطقية. الأمر يشبه الانتقال من ملاحظة مكتوبة بخط يد فوضوي إلى مخطط هندسي دقيق.
الطبقة 2: البنّاء (التنفيذ منخفض المستوى)
الوظيفة: هذا هو الجزء الذي يلمس الشاشة فعلياً. يجب عليه النقر على الزر الصحيح، وكتابة الكلمات الصحيحة، والتمرير إلى المكان الصحيح.
المشكلة:هذا هو المكان الذي يفشل فيه الروبوت بأكبر قدر. حتى لو رسم المهندس المعماري مخططاً مثالياً، فإن البنّاء يكون أخرقاً. قد ينقر على رابط خاطئ، أو يعلق في حلقة مفرغة من النقر على نفس الزر مراراً وتكراراً، أو يتشتت وينتقل إلى موقع إلكتروني مختلف (مثل البحث عن "معاطف الكلاب" في موقع لتتبع الرحلات الجوية).
التشبيه: تخيل مهندساً معمارياً عبقرياً يصمم جسراً مثالياً، لكن طاقم البناء يستمر في التعثر في أربطة أحذيتهم وإسقاط الطوب. وجدت الورقة أن هذا الخرق هو أكبر عقبة. الروبوت ليس جيداً بما يكفي في "رؤية" الموقع والنقر على الأشياء الصحيحة بعد.
الطبقة 3: المُصلح (إعادة التخطيط)
الوظيفة: عندما تسوء الأمور (يتعطل الموقع، أو لا يعمل الزر)، يجب على هذا الجزء أن يقول: "حسناً، الخطة (أ) فشلت. لنحاول طريقة أخرى".
النتيجة: وجدت الورقة أن منح الروبوت "فرصة ثانية" لإعادة التفكير في استراتيجيته بعد أن يعلق يساعد كثيراً. الأمر يشبه قولك لمتنزه ضل طريقه: "حسناً، هذا المسار مغلق. لننظر إلى الخريطة مرة أخرى ونجد مساراً جديداً". هذه الخطوة البسيطة المتمثلة في "إعادة التخطيط" حسنت معدلات النجاح بشكل كبير.
2. النتائج الرئيسية الكبرى
أجرى المؤلفون تجارب باستخدام ثلاثة "عقول" مختلفة (نماذج ذكاء اصطناعي) ووجدوا ثلاثة أشياء رئيسية:
الهيكلية تساعد المخطط: عندما تجبر الذكاء الاصطناعي على كتابة خطته بتنسيق مهيكل (PDDL) بدلاً من النص الحر، فإنه يضع خططاً أفضل وأكثر إيجازاً. يتوقف عن الثرثرة ويدخل في صلب الموضوع مباشرة.
"الأيدي" هي المشكلة: المشكلة الكبرى ليست في أن الذكاء الاصطناعي لا يستطيع التفكير؛ بل في أنه لا يستطيع "الفعل". إنه يكافح لترجمة فكرة جيدة إلى إجراء محدد مثل نقرة أو كتابة. الأمر يشبه امتلاك طباخ عبقري يمكنه وصف الوصفة تماماً، لكنه يحرق الخبز في كل مرة يحاول فيها استخدام المحمصة.
التعثر أمر طبيعي، لكن الإصلاح ينجح: الروبوتات ترتبك بسهولة. ولكن إذا سمحت لها بالتوقف، وإدراك أنها عالقة، وتجربة خطة جديدة، فإنها تنجح في كثير من الأحيان.
3. ماذا يجب أن نفعل بعد ذلك؟
تقترح الورقة أنه لجعل هؤلاء الروبوتات موثوقين حقاً (مثل البشر)، نحتاج إلى التوقف عن محاولة جعل نموذج ذكاء اصطناعي واحد ضخم يقوم بكل شيء بشكل مثالي. بدلاً من ذلك، يجب علينا:
فصل الوظائف: توفير وحدة متخصصة للتخطيط (المهندس المعماري) وأداة أخرى متخصصة للنقر والكتابة (البنّاء).
تعليمهم الاعتراف بالارتباك: بدلاً من التخمين والنقر على الشيء الخطأ، يجب أن يكون الروبوت قادراً على قول: "أنا لست متأكداً أين أنقر، دعني أطلب المساعدة أو أجرب نهجاً مختلفاً".
التوقف عن النظر فقط إلى النتيجة النهائية: نحن بحاجة إلى تقييمهم بناءً على كيفية أدائهم للمهمة، وليس فقط إذا أنهوها أم لا. هذا يساعدنا في معرفة ما إذا كانوا قد فشلوا لأنهم "أغبياء"، أم لمجرد أنهم "خرقاء".
باختصار: وكلاء الويب من الذكاء الاصطناعي هؤلاء يشبهون المتدربين العباقرة ولكن الخرقاء. يمكنهم فهم المهمة، لكنهم يتعثرون في أقدامهم عند محاولة القيام بالعمل الفعلي. لإصلاحهم، نحتاج إلى إعطائهم تعليمات أفضل (تخطيط مهيكل) وتدريب أفضل على استخدام الفأرة ولوحة المفاتيح (الإدراك الحسي)، بدلاً من مجرد الأمل في أن يصبحوا أكثر ذكاءً في التفكير.
إليك ملخص تقني مفصل للورقة البحثية بعنوان "لماذا تفشل وكلاء الويب القائمة على النماذج اللغوية الكبيرة؟ منظور التخطيط الهرمي."
1. بيان المشكلة
أظهرت وكلاء الويب القائمة على النماذج اللغوية الكبيرة (LLM) وعوداً في أتمتة مهام التنقل عبر الويب المعقدة ومتعددة الخطوات. ومع ذلك، فإنها لا تزال حالياً بعيدة جداً عن الموثوقية البشرية، لا سيما في المهام ذات الأفق الطويل والواقعي التي تتضمن مواقع ويب ديناميكية.
الفجوة الجوهرية: تعتمد التقييمات الحالية بشكل أساسب على مقاييس النجاح الشاملة (من البداية إلى النهاية) (أي: هل أتم الوكيل المهمة؟). وبينما تحدد هذه المقاييس الأداء العام، إلا أنها تفشل في تشخيص أين و لماذا تحدث الإخفاقات. قد تنبع الإخفاقات من:
تفسير غير صحيح للمهمة.
استراتيجية عالية المستوى معيبة.
ضعف في ربط الخطط (grounding) بالأفعال الملموسة لواجهة المستخدم (UI).
عدم القدرة على التعافي الكافي عندما يختلف الواقع عن التوقعات.
ويجادل المؤلفون بأنه بدون تحليل دقيق للعمليات الداخلية للوكيل، فإنه من المستحيل تحسين هذه الأنظمة بشكل منهجي.
2. المنهجية
يقترح المؤلفون إطار عمل للتخطيط الهرمي لتفكيك أداء وكيل الويب إلى ثلاث طبقات متميزة، مما يحاكي كلاً من التخطيط الآلي والاستدلال البشري.
أ. إطار العمل ثلاثي الطبقات
التخطيط عالي المستوى: يقوم النموذج اللغوي الكبير بتفكيك تعليمات باللغة الطبيعية إلى تسلسل من الأهداف الفرعية المجردة (مثل: "التصفية حسب السعر"، "ترتيب النتائج").
التنفيذ منخفض المستوى: يقوم النموذج بترجمة كل هدف فرعي إلى تسلسل من الأفعال الملموسة والقابلة للتنفيذ (مثل: النقر على عناصر محددة في الـ DOM، الكتابة، التمرير).
إعادة التخطيط: عندما يختلفت حالة البيئة عن التوقعات (على سبيل المثال، فشل تحميل صفحة أو عدم ظهور نتائج بحث)، يجب على الوكيل اكتشاف الفشل ومراجعة خطته (إما بتعديل محلي أو إعادة تخطيط شامل).
ب. الإعداد التجريبي
المعيار المرجعي (Benchmark): قام المؤلفون بتوسيع معيار Mind2Web-Live (104 مهام ويب حية) عن طريق إضافة خطط عالية المستوى متوافقة مع البشر. تم اشتقاق هذه الخطط من "العقد الرئيسية" (الأهداف الفرعية الوسيطة الأساسية) الموضحة من قبل الخبراء وتحويلها إلى خطوات متماسكة وعالية المستوى.
النماذج التي تم تقييمها:
gpt-5-nano (النموذج الأساسي لجميع المراحل).
claude-haiku-4.5 و gemini-flash-2.5 (تم تقييمهما من أجل قابلية التعميم).
التمثيلات المقارنة:
اللغة الطبيعية (NL): أهداف فرعية نصية حرة.
لغة PDDL (لغة وصف النطاق للتخطيط): تمثيلات رمزية مهيكلة تفرض شروطاً مسبقة وآثاراً صريحة.
آلية التقييم:
النموذج اللغوي كحكم (LLM-as-Judge): استُخدم للتحقق من الشروط اللاحقة (التحقق مما إذا كان الهدف الفرعي قد تحقق) وتقييم المهمة النهائي.
مقاييس التوافق: تم تطوير مقاييس محددة لمقارنة الخطط التي أنشأها النموذج اللغوي الكبير مع المعايير الذهبية الموضحة من قبل البشر (مثل: المطابقة التامة، معدل الجزئية، معدل الفقدان، معدل التفكك، معدل عدم المطابقة).
3. المساهمات الرئيسية
إطار تقييم هرمي: طريقة منهجية لتفكيك إخفاقات التخطيط والتنفيذ والتعافي، متجاوزة مقاييس النجاح البسيطة (ناجح/فاشل).
تحليل التخطيط المهيكل (PDDL): أول عمل يدمج تمثيلات التخطيط الرسمية (PDDL) في وكلاء الويب، مما يثبت أن القيود المهيكلة تحسن جودة التخطيط.
رؤى تشخيصية: تحديد التنفيذ منخفض المستوى (الربط الإدراكي/perceptual grounding) كعائق رئيسي، بدلاً من الاستدلال عالي المستوى.
فعالية إعادة التخطيط: دليل تجريبي على أن جولة واحدة من إعادة التخطيط تزيد بشكل كبير من نجاح المهمة، حتى لو كانت الخطة المنقحة أقل توافقاً مع التجريدات البشرية.
4. النتائج والنتائج الرئيسية
أ. التخطيط عالي المستوى
PDDL مقابل اللغة الطبيعية: الخطط المهيكلة بـ PDDL أكثر إيجازاً وتوجهاً نحو الهدف من خطط اللغة الطبيعية.
التوافق: حقق PDDL معدل مطابقة تامة بنسبة 67.7% مقابل 60.6% للغة الطبيعية.
الكفاءة: قلل PDDL من الخطوات "المفككة" (المفرطة في التفصيل) و"غير المتطابقة" (الزائدة عن الحاجة).
القابلية للتنفيذ: بينما كانت الخطط البشرية هي الأفضل، إلا أن خطط PDDL أدت أداءً يقارب أداء البشر عند تنفيذها، في حين عانت خطط اللغة الطبيعية بشكل أكبر.
نمط الفشل: تميل النماذج اللغوية الكبيرة إلى الإفراط في تخصيص الخطط (تقسيم خطوة بشرية واحدة إلى خطوات عديدة من جانب النموذج) بدلاً من حذف الخطوات.
ب. التنفيذ منخفض المستوى (العائق المهيمن)
حتى عند تزويدها بخطط بشرية دقيقة عالية المستوى، تواجه النماذج اللغوية الكبيرة صعوبة في التنفيذ:
معدلات النجاح: مع الخطط البشرية، كان معدل إكمال الخطة38.5% فقط، ومعدل نجاح المهمة النهائي 36.4%.
أنماط الفشل الرئيسية:
روابط مهلوسة: 32% من أفعال الانتقال (goto) أدت إلى روابط غير موجودة.
أفعال زائدة عن الحاجة: 34% من الأفعال لم تؤدِ إلى أي تغيير في حالة الـ DOM.
التكرارات: كرر الوكلاء الأفعال الفاشلة بشكل متكرر (10.4% من الإخفاقات) رغم التغذية الراجعة من البيئة.
التنقل خارج النطاق: 16.7% من الأفعال حدثت خارج نطاق الموقع المطلوب.
الاختلافات بين النماذج:
gpt-5-nano: أفضل أداء عام.
gemini-flash-2.5: أنتج خططاً موجزة ولكن لديه أسوأ تنفيذ (أعلى نسبة تكرار وأقل نجاح).
claude-haiku-4.5: الأقل اعتماداً على أدوات التنقل ولكن عانى من معدلات تكرار عالية.
ج. إعادة التخطيط
التأثير: أدت جولة واحدة من إعادة التخطيط إلى تحسين الأداء بشكل كبير.
إكمال الأهداف الفرعية: ارتفع من ~63% إلى 84% (للغة الطبيعية) ومن 70% إلى 93% (لـ PDDL).
نجاح المهمة: ارتفع من ~32% إلى 41% (للغة الطبيعية) ومن 36% إلى 45% (لـ PDDL).
المقايضة: غالباً ما تقلل إعادة التخطيط من التوافق مع الخطة البشرية الأصلية (حيث يتكيف الوكلاء مع الواقع)، لكن هذا التكيف أدى إلى معدلات نجاح فعلية أعلى.
5. الأهمية والتوصيات
تغير هذه الورقة البحثية التركيز الأساسي لأبحاث وكلاء الويب من "تحسين الاستدلال" إلى "تحسين الربط الإدراكي/الواقعي" (grounding).
فصل الاهتمامات: التخطيط والتنفيذ مهارتان مختلفتان. يستفيد التخطيط عالي المستوى من التمثيلات المهيكلة (PDDL)، بينما يتطلب التنفيذ منخفض المستوى ربطاً إدراكياً قوياً وتتبعاً للحالة.
تصميم مساحة الأفعال: تجبر مساحات الأفعال الحالية الوكلاء على اتخاذ قرارات ملموسة لواجهة المستخدم حتى في ظل عدم اليقين. يقترح المؤلفون تصميم مساحات أفعال تسمح للوكلاء بالإشارة صراحة إلى عدم اليقين أو طلب التوضيح بدلاً من هلوسة الأفعال.
التقييس: يدعو المؤلفون إلى استخدام التقييم القائم على العملية (تحليل التخطيط، التنفيذ، وإعادة التخطيط بشكل منفصل) كمعيار جديد لتشخيص إخفاقات الوكيل، بدلاً من الاعتماد فقط على معدلات النجاح من البداية إلى النهاية.
الخلاصة: لتحقيق موثوقية بمستوى البشر، يجب على وكلاء الويب في المستقبل إعطاء الأولوية لآليات الربط الإدراكي (perceptial grounding) والتحكم التكيفي على مجرد تحسين قدرات الاستدلال عالي المستوى. يوفر إطار العمل الهرمي المقترح الأدوات التشخيصية اللازمة لتوجيه هذا التطور.