The Horizon Gap: Planning, Memory, Execution, Training, and Evaluation for Long-Horizon LLM Agents
تُعرّف هذه الورقة "فجوة الأفق" بأنها إخفاق النماذج اللغوية الرائدة في المهام متعددة الخطوات، وتستعرض 1,547 دراسة حديثة للتمييز بين خصائص المهمة والنموذج والنظام، وتجادل بأن تحول المجال نحو إشارات أكثر كثافة على مستوى الخطوة هو استجابة ضرورية لتضاؤل المعلوماتية الناتجة عن التغذية الراجعة القائمة على النتيجة فقط مع طول آفاق المهمة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
مشكلة المدى الطويل: عندما تضل الذكاء الاصطناعي طريقه في المنتصف
تخيل أنك تعلم روبوتًا عبقريًا فائق السرعة كيف يكتب قصة. إذا طلبت منه كتابة جملة واحدة، فقد يفعل ذلك ببراعة في جزء من الثانية. ولكن ماذا يحدث إذا طلبت منه كتابة رواية كاملة، أو إدارة مشروع معقد يستغرق ساعات؟ هذا هو عالم الوكلاء الذكيين (AI agents). بخلاف الدردشة البسيطة التي تجيب على سؤال واحد فقط، فإن الوكيل هو روبوت يمكنه التفكير، واتخاذ إجراءات (مثل النقر على الأزرار أو كتابة الكود)، ورؤية ما يحدث، ثم تقرير ما يجب فعله بعد ذلك. إنه يشبه موظفًا رقميًا.
التحدي الكبير الذي يواجه العلماء الآن هو "الأفق". بالمعنى اليومي، الأفق هو ببساطة مدى بُعد ما تحتاج للنظر إليه مسبقًا. الأفق القصير يشبه طلب بيتزا: تتصل، فيقومون بالتوصيل، ثم تأكل. أما الأفق الطويل فهو مثل بناء منزل: يجب عليك وضع الأساس، ثم بناء الجدران، ثم تركيب السقف، ثم الطلاء، كل ذلك مع تذكر ما فعلته قبل ثلاثة أيام. المشكلة هي أنه حتى أكثر نماذج الذكاء الاصطناعي ذكاءً، والتي يمكنها حل المسائل الرياضية الصعبة فورًا، غالبًا ما تضل طريقها عندما تصبح المهمة طويلة. قد ينسون قرارًا اتخذوه في البداية، أو يعلنون انتهاء المهمة بينما لم يكتمل سوى نصفها، أو ينحرفون بهدوء عن الهدف. هذه الفجوة بين ما يمكن للذكاء الاصطناعي فعله في خطوة واحدة سريعة وما يمكنه إنجازه بموثوقية على مدى فترة طويلة تسمى "فجوة الأفق" (Horizon Gap). إن فهم كيفية إصلاح هذا الأمر أمر بالغ الأهمية، لأننا إذا أردنا من الذكاء الاصطناعي مساعدتنا في وظائف العالم الحقيقي التي تستغرق ساعات أو أيامًا، فنحن بحاجة إلى معرفة سبب فشلهم وكيفية منعهم من الانهيار.
رحلة الطريق الكبرى للذكاء الاصطناعي: إصلاح فجوة الأفق
في هذه الورقة البحثية، يعمل المؤلفون كفريق ضخم من المحققين الذين فحصوا أكثر من 1500 ورقة بحثية نُشرت بين عامي 2024 و2026. مهمتهم؟ اكتشاف السبب الدقيق وراء ضلال وكلاء الذكاء الاصطناعي في الرحلات الطويلة، وما يحاول الباحثون فعله لإصلاح ذلك. هم يسمون المسافة بين ذكاء النموذج في الخطوة الواحدة وقدرته على إنهاء مهمة طويلة بـ "فجوة الأفق".
لفهم هذا الارتباك، كان على المؤلفين أولاً فك الاشتباك بين ثلاث كلمات يخلط الناس بينها كثيرًا، تمامًا مثل الخلط بين محرك السيارة وخزان الوقود:
- المدى الطويل (Long-Horizon): يتعلق هذا بـ المهمة. ويعني أن العمل يتطلب خطوات عديدة، مثل رحلة برية طويلة.
- السياق الطويل (Long-Context): يتعلق هذا بـ عقل النموذج. وهو مقدار المعلومات التي يمكن للذكاء الاصطناعي استيعابها في رأسه في لحظة واحدة.
- الذاكرة طويلة المدى (Long-Term Memory): يتعلق هذا بـ دفتر ملاحظات النظام. وهو ما إذا كان بإمكان الذكاء الاصطناعي تذكر الأشياء من الأمس لاستخدامها اليوم، حتى بعد انتهاء "المحادثة" الحالية.
تجادل الورقة بأنه يمكنك امتلاك دفتر ملاحظات طويل جدًا (ذاكرة) ولكن بعقل قصير (سياق)، أو بامتلاك عقل ضخم ولكن بدون دفتر ملاحظات على الإطلاق. هذه مشكلات مختلفة تتطلب حلولًا مختلفة.
نظم المؤلفون نتائجهم في ستة فصول رئيسية، تتبع حياة مهمة طويلة من البداية إلى النهاية:
1. التخطيط: الخريطة مقابل البوصلة
عندما يبدأ الذكاء الاصطناعي مهمة طويلة، فإنه يحتاج إلى خطة. يحاول بعض الباحثين وضع خري خريطة مثالية للرحلة بأكملها قبل تحريك خطوة واحدة. لكن الورقة تجد أن هذا غالبًا ما يفشل لأن العالم غير متوقع. إذا خططت لرحلة برية كاملة مسبقًا، فقد تتعثر في زحام مروري لم تكن تعلم عنه شيئًا. الاتجاه الحالي يتحول نحو التداخل (interleaving): اتخاذ خطوة واحدة، والنظر حولك، ثم التخطيط للخطوة التالية. إنه يشبه القيادة باستخدام بوصلة بدلاً من خريطة ثابتة؛ فأنت تعدل مسارك أثناء الحركة.
2. الذاكرة: حقيبة الظهر مقابل المكتبة
بينما يتخذ الذكاء الاصطناعي المزيد من الخطوات، فإنه يولد الكثير من المعلومات. إذا حاول الاحتفاظ بكل شيء في عقله المباشر ("السياق")، فسينفد منه المكان في النهاية أو ينسى بداية القصة. توضح الورقة أن معظم الباحثين يقومون الآن ببناء مكتبات خارجية (مثل حقيبة ظهر أو خزانة ملفات) حيث يمكن للذكاء الاصطناعي تخزين الملاحظات واستخراجها عند الحاجة. ومع ذلك، هناك عقبة: إذا أصبحت المكتبة فوضوية للغاية، فقد يسحب الذكاء الاصطناي الملاحظة الخاطية أو ينسى تحديث الملاحظات القديمة. تقترح الورقة أن "النسيان" قد يكون ميزة وليس عيبًا، للحفاظ على فائدة المكتبة.
3. التنفيذ: شبكة الأمان
هذا هو الجزء الذي يقوم فيه الذكاء الاصطناعي بالعمل الفعلي. تجد الورقة أن سر النجاح ليس مجرد امتلاك نموذج ذكاء اصطناعي أذكى؛ بل في امتلاك "حزام" (harness) أفضل (وهو الغلاف البرمجي المحيط بالنموذج). فكر في النموذج كمحرك، والحزام كنظام التعليق والمكابح في السيارة. إذا تعطل المحرك، فإن الحزام الجيد يلتقط الموقف، ويصلحه، ويبقي السيارة متحركة. تظهر الأبحاث أن الأنظمة التي تمتلك منطق "استعادة" قويًا — أي طرق لملاحظة الخطأ وإصلاحه فورًا — هي أفضل بكثير في المهام الطويلة من تلك التي تكتفي بالأمل في ألا يرتكب الذكاء الاصطناعي أي خطأ.
4. التدريب: التعلم من كل خطوة
عادةً، نقوم بتدريب الذكاء الاصطناعي عبر إعطائه درجة فقط في نهاية المهمة (مثل الحصول على درجة امتياز أو رسوب في الامتحان النهائي). ولكن بالنسبة للمهام الطويلة، فإن الانتظار حتى النهاية لقول "لقد فشلت" هو أمر متأخر جدًا. تسلط الورقة الضوء على التحول نحو مكافآت العملية (process rewards). فبدلاً من تقييم النتيجة النهائية فقط، يحاول الباحثون تقديم تغذية راجعة للذكاء الاصطناعي في كل خطوة يتخذها. إنه يشبه المدرب الذي يقدم نصائح أثناء التدريب، وليس فقط في نهاية الموسم. هذا يساعد الذكاء الاصطناعي على تعلم كيفية التحسن، وليس فقط معرفة الإجابة الصحيحة.
5. التقييم: هل نقيس الشيء الصحيح؟
هنا تصبح الورقة نقدية. يشير المؤلفون إلى أن العديد من الاختبارات التي نستخدمها لمعرفة ما إذا كان الذكاء الاصطناعي جيدًا في المهام الطويلة هي اختبارات معيبة. على سبيل المثال، قد تقول بعض الاختبارات إن الذكاء الاصطناعي "حل" مشكلة برمجية لمجرد أنه وجد رقعة (patch) اجتازت اختبارًا بسيطًا، حتى لو كان الكود خاطئًا في الواقع. تجادل الورقة بأننا بحاجة إلى التوقف عن النظر فقط إلى النتيجة النهائية (نجاح/فشل) والبدم في النظر إلى المسار (trajectory) — المسار الكامل الذي اتخذه الذكاء الاصطناعي. هل ضل طريقه؟ هل استعاد مساره؟ هل انحرف عن الهدف؟ تقترح الورقة أن العديد من درجات "النجاح" الحالية قد تكون أوهامًا ناتجة عن اختبارات ضعيفة أو حفظ الذكاء الاصطناعي للإجابات.
6. الأساس: لماذا ينهار كل شيء؟
أخيرًا، تنظر الورقة في النظرية. تشير إلى أن الأخطاء لا تتراكم فقط بشكل خطي مستقيم. في بعض الأحيان، يعمل الذكاء الاصطناعي بشكل جيد لفترة طويلة ثم ينهار فجأة في حالة "انهيار شامل" (meltdown). وفي أحيان أخرى، يغير هدفه بهدوة (الانحراف عن الهدف) دون أن يلاحظ أحد. يعترف المؤلفون بأننا لا نملك نظرية مثالية بعد للتنبؤ بالضبط متى أو لماذا تحدث هذه الإخفاقات. نحن نعرف أنها تحدث، لكن التنبؤ بـ متى لا يزال لغزًا.
الخلاصة الكبرى
أهم شيء تقترحه هذه الورقة هو أن "الحزام" (الأدوات وشبكات الأمان التي نبنيها حول الذكاء الاصطناعي) قد يكون بنفس أهمية نموذج الذكاء الاصطناعي نفسه. فالنموذج الذكي مع حزام سيئ سيفشل في المهام الطويلة، بينما النموذج المتوسط مع حزام رائع قد ينجح.
كما يحذرنا المؤلفون من فخ خفي: تحيز القياس المترابط (Correlated Measurement Bias). وهي طريقة منمقة للقول إننا إذا استخدمنا نفس نوع إشارات "الخطوة الجيدة" لتدريب الذكاء الاصطناعي واختباره، فقد نخدع أنفسنا. إنه يشبه الطالب الذي يدرس فقط الأسئلة التجريبية التي يستخدمها المعلم في الاختبار؛ قد يحصل على درجة كاملة ولكنه لا يفهم المادة حقًا.
باختصار، لا تدعي هذه الورقة أننا حللنا مشكلة المدى الطويل. بدلاً من ذلك، هي ترسم خريطة ساحة المعركة. إنها تخبرنا أن مستقبل الذكاء الاصطناعي لا يقتكم فقط في صنع عقول أكبر؛ بل في بناء حقائب ظهر أفضل، وخرائط أفضل، وشبكات أمان أفضل، وطرق أفضل لقياس ما إذا كان الذكاء الاصطناعي يقوم بعمل جيد حقًا، خطوة بخطوة. الرحلة طويلة، والذكاء الاصطناعي لا يزال يتعلم كيف يمشيها دون أن يسقط.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.