TREK: A Travel Reasoning and Evaluation Kit for LLM Agents in Complex Trip Planning
تقدم هذه الورقة البحثية TREK، وهو معيار مرجعي صارم وقابل لإعادة الإنتاج بالكامل يتميز بمقيّم حتمي ومجموعة بيانات سفر اصطناعية واسعة النطاق لتقييم قدرة وكلاء النماذج اللغوية الكبيرة على إنشاء مسارات رحلات قابلة للتنفيذ ومتوافقة مع القيود، مما يكشف أن حتى النماذج الأكثر تطوراً تعاني بشكل كبير مع التخطيط متعدد القيود وتلبية احتياجات المستخدم غير المصرح بها.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت فائق الذكاء كيفية التخطيط لعطلة. في عالم الذكاء الاصطناعي، تُسمى هذه الروبوتات "وكلاء النماذج اللغوية الكبيرة" (LLM agents). إنهم يشبهون وكلاء السفر الرقميين الذين يمكنهم قراءة رسائلك النصية الفوضوية، وفهم ما تريده، ثم الانطلاق إلى الإنترنت لحجز الرحلات الجوية، وإيجاد الفنادق، وجدولة المعالم السياحية. لكن العائق يكمن في أن مجرد قدرة الروبوت على "التحدث" عن رحلة مثالية لا يعني أنه يستطيع "بناءها" فعلياً. فخطة العطلة الحقيقية هي لغز دقيق؛ إذ يجب أن تكون كل رحلة طيران موجودة بالفعل، والفنادق يجب أن تكون مفتوحة، والأيام يجب أن تكون طويلة بما يكفي للقيادة بين المدن، والتكلفة الإجمالية يجب أن تناسب ميزانيتك. إذا اخترع الروبوت رقم رحلة وهمي أو نسي أن المتحف يغلق في الساعة الخامسة مساءً، فإن الخطة بأكملها ستنهار. لفترة طويلة، كنا نختبر هذه الروبوتات عبر مطالبتها بكتابة قصص عن الرحلات، لكننا لم نكن نملك طريقة صارمة للتحقق مما إذا كانت خططها ستعمل حقاً في العالم الواقعي.
هنا يأتي دور دراسة جديدة تسمى TREK (مجموعة أدوات تقييم واستدلال السفر). فكر في TREK كأنها "محاكي طيران" ضخم وعالي المخاطر لروبوتات التخطيط للسفر. فبدلاً من ترك الروبوتات تخمن، قام الباحثون ببناء عالم وهمي متسق تماماً يحتوي على 212,530 سجلاً للرحلات الجوية والفنادق والمعالم السياحية عبر 375 مدينة. ثم أعطوا 15 وكيل ذكاء اصطناعي مختلف مجموعة من 800 تحدٍ للسفر. بعض التحديات كانت ممكنة، وبعضها كان مستحيلاً (مثل محاولة الطيران إلى مدينة لا يوجد بها مطار). كان على الروبوتات استخدام مجموعة خاصة من الأدوات لبناء خطة، ثم قام "حكم" حاسوبي صارم (لا يوجد حكم بشري أو ذكاء اصطناعي يتساهل معهم) بفحص كل تفصيل بدقة. كان الهدف هو معرفة ما إذا كان بإمكان الروبوتات إنتاج خطة ليست مجرد قصة لطيفة، بل مسار رحلة قابل للتنفيذ تماماً وخالٍ من الأخطاء، ويحترم الاحتياجات الخفية للمسافر، مثل كون المكان مهيأً لذوي الاحتياجات الخاصة أو صديقاً للحيوانات الأليفة.
كانت النتائج بمثابة "صحوة واقع". فحتى أقوى نموذج في هذه الدراسة المحددة لعام 2027، وهو GPT-5.6، تمكن من إنشاء خطة كاملة ومثالية وقابلة للاستخدام لـ 46.2% فقط من الرحلات الممكنة. أما متوسط أداء الروبوتات فقد كان أسوأ بكثير، حيث بلغ متوسط النجاح 6.6% فقط، وفشلت بعض الروبوتات تماماً محققة نسبة 0.0%. وجدت الدراسة أن الروبوتات كانت جيدة جداً في الأمور "المملة": فهي نادراً ما تخترع رحلات وهمية (هلوسة) ويمكنها عادةً إدراك متى تكون الرحلة مستحيلة. ومع ذلك، فقد اصطدمت بحائط مسدود عندما يتعلق الأمر بفهم "الشخص" المسافر. كانت العقبة الكبرى هي تلبية "الاحتياجات الضمنية"، وهي تلك الرغبات غير المعلنة مثل "أنا عاشق للطعام وأريد الإقامة بالقرب من مطعم حاصل على نجمة ميشلان" أو "أنا مسافر من ذوي الاحتياجات الخاصة وأحتاج إلى فندق به منحدر للكراسي المتحركة". حتى أفضل الروبوتات فشلت في تلبية هذه الاحتياجات الخفية في أكثر من نصف الحالات.
اختبر الباحثون أيضاً ما إذا كان منح الروبوتات مزيداً من الوقت "للتفكير" أو السماح لها باستخدام المزيد من القدرة الحاسوبية سيساعد في ذلك. ومن المثير للدهشة أن ذلك لم ينفع. ففي الزوج الوحيد من النماذج التي استطاعوا مقارنتها، كان النموذج الذي قضى وقتاً أطول في "الاستدلال" يؤدي بشكل أسوأ من النموذج الذي اكتفى باتباع التعليمات فقط. علاوة على ذلك، فإن إنفاق المزيد من المال على "الرموز البرمجية" (tokens) لم يضمن خطة أفضل؛ إذ كانت بعض أضعف الروبوتات هي الأكثر تكلفة، بينما كان الأفضل بينها فعالاً بشكل مفاجئ. تخلص الدراسة إلى أنه بينما يتحسن وكلاء الذكاء الاصطناعي في اتباع القواعد، إلا أنهم لا يزالون يواجهون صعوبة في أن يكونوا مخططين موثوقين حقاً للسفر لأنهم لا يستطيعون بعد الموازنة بدقة بين جميع القيود المعقدة والمشابهة للبشر في رحلة حقيقية في آن واحد. إن الفجوة بين الروبوت الذي "يتحدث" عن رحلة وبين ذاك الذي يمكنه "حجز" رحلة مثالية لا تزال واسعة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.