🤖 AI

When to Re-Commit: Temporal Abstraction Discovery for Long-Horizon Vision-Language Reasoning

تقدم هذه الورقة آلية عمق التزام قابلة للتعلم ومشروطة بالحالة ضمن سياسة رؤية-لغة، تحدد ديناميكياً عدد الأفعال الأولية التي يجب تنفيذها قبل إعادة التخطيط، مما يتفوق بشكل كبير على النماذج المرجعية ذات العمق الثابت ويؤدي بالنماذج مغلقة المصدر إلى مهام الاستدلال طويلة المدى من خلال تحسين المقايضة بين تكلفة إعادة التخطيط وخطأ التنفيذ.

المؤلفون الأصليون: Chen Li, Zhantao Yang, Fangyi Chen, Han Zhang, Anudeepsekhar Bolimera, Marios Savvides

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Chen Li, Zhantao Yang, Fangyi Chen, Han Zhang, Anudeepsekhar Bolimera, Marios Savvides

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "متى تلتزم بالخطة" (When to Re-Commit)، باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

المشكلة الجوهرية: معضلة "الكثير، في وقت مبكر جداً"

تخيل أنك تحاول حل لغز معقد، مثل لعبة تحريك المربعات أو لعبة "سوكوبان" (Sokoban) التي تعتمد على دفع الصناديق. لديك مساعد ذكاء اصطناعي ذكي (نموذج لغوي بصري) ينظر إلى الصورة ويخبرك بما يجب فعرا.

في الماضي، كانت هذه المساعدات الذكية تعمل بطريقة جامدة للغاية؛ حيث كان عليها اختيار عدد ثابت من الخطوات للتخطيط مسبقاً قبل النظر إلى اللوحة مرة أخرى.

إذا خططت لخطوات قليلة جداً (مثلاً خطوة واحدة): ستنظر إلى اللوحة، وتقول "تحرك يساراً"، ثم تنتظر النتيجة، ثم تنظر مجدداً، وتقول "تحرك يميناً"، وهكذا. هذا الأسلوب آمن، لكنه بطيء ومرهق لأنهم يضطرون لـ "طلب المساعدة" (إعادة التخطيط) باستمرار.
إذا خططت لخطوات كثيرة جداً (مثلاً 8 خطوات): ستقول: "حسناً، سأتحرك يساراً، ثم للأعلى، ثم يميناً، ثم للأسفل..." وتنفذ كل ذلك دون التحقق. هذا الأسلوب سريع، ولكن إذا ارتكبت خطأً بسيطاً في الخطوة الثالثة، فقد تدفع صندوقاً إلى زاوية حيث يعلق للأبد، ولن تدرك ذلك إلا بعد فوات الأوان.

تسأل الورقة البحثية: لماذا يجب على الذكاء الاصطنا-ي أن يختار رقماً واحداً فقط (مثل 4) طوال اللعبة؟ لماذا لا يمكنه أن يقرر في اللحظة نفسها ما إذا كان سيخطط لخطوة واحدة أم 8 خطوات بناءً على مدى صعوبة الموقف الحالي؟

الحل: استراتيجية "الالتزام التكيفي"

قام الباحثون ببناء نوع جديد من الذكاء الاصطناعي يتعلم الإجابة على السؤال التالي: "ما مدى العمق الذي يجب أن ألتزم به في خطتي قبل أن أتفقد اللوحة مرة أخرى؟"

فكر في الأمر كقيادة سيارة:

على طريق سريع مستقيم وخالٍ (حالة سهلة): يمكنك الالتزام بالقيادة لمدة 10 دقائق دون التحقق من مراياك أو التدقيق في الطريق كثيراً. أنت واثق من أن المسار خالٍ.
عند الاقتراب من تقاطع مزدحم بالمشاة (حالة صعبة): تلتزم فقط بالخمس ثوانٍ القادمة. أنت بحاجة للنظر، والاستجابة، وإعادة التخطيط باستمرار لأن الموقف خطير وغير متوقع.

يتعلم الذكاء الاصطناعي في هذه الورقة كيف يكون هذا "السائق الذكي". فهو لا يستخدم قاعدة ثابتة، بل ينظر إلى حالة اللغز الحالية ويقرر: "هذا الجزء سهل، سألتزم بـ 4 حركات. أوه، هذا الجزء معقد، سألتزم بحركة واحدة فقط ثم أتفقد الوضع مجدداً."

كيف علموا الذكاء الاصطناعي

لم يكتفوا بمجرد إخبار الذكاء الاصطناعي بفعل ذلك، بل قاموا بتدريبه باستخدام عملية من خطوتين:

مرحلة "الواجب المنزلي" (الضبط الدقيق الخاضع للإشراف): أولاً، عرضوا على الذكاء الاصطناٍ ألف نموذج لكيفية حل هذه الألغاز بشكل مثالي. علموه كيفية تنفيذ حركات بأطوال مختلفة (خطوة واحدة، خطوتان، 4 خطوات، إلخ) ليعرف كيف ينفذ تلك الأفعال.
مرحلة "لعبة التدريب" (التعلم التعزيزي): بعد ذلك، تركوا الذكاء الاصطناعي يلعب اللعبة. في كل مرة ينجح فيها في حل لغز، يحصل على "نجمة ذهبية" (مكافأة). وإذا علق أو أضاع حركات، يحصل على "إبهام للأسفل" (عقاب). مع مرور الوقت، أدرك الذكاء الاصطناعي: "مهلاً، عندما أكون قريباً من الهدف، يجب أن أخطط لخطوات أقل لأكون آمناً. وعندما أكون بعيداً، يمكنني التخطيط لخطوات أكثر لأتحرك بشكل أسرع."

النتائج: التغلب على العمالقة

اختبر الباحثون هذا الذكاء الاصطناعي الجديد في لغزين كلاسيكيين: اللغز المنزلق (Sliding Puzzle) وسوكوبان (Sokoban).

المنافسة: قارنوا ذكاءهم الاصطناعي مع:
- نماذج ذكاء اصطناعي قديمة تلتزم بعدد ثابت من الخطوات (مثل التخطيط دائماً لـ 4 خطوات).
- أشهر نماذج الذكاء الاصطناعي الضخمة في العالم (مثل GPT-5.5، وClaude Sonnet، وGemini) التي طُلب منها فقط لعب اللعبة دون أي تدريب خاص.
النتيجة:
- فشلت النماذج الضخعة والمشهورة تماماً (نسبة نجاح 0%) عندما طُلب منها لعب هذه الألغاز دون تدريب خاص؛ فقد كانت مرتبكة جداً من القواعد.
- كانت نماذج "الخطوات الثابتة" جيدة، لكنها لم تكن فعالة.
- الذكاء الاصطناعي التكيفي الجديد كان هو الفائز. لقد حل الألغاز بشكل متكرر أكثر (نسبة نجاء أعلى) واستخدم حركات إجمالية أقل (كفاءة أعلى) من جميع المنافسين ذوي الخطوات الثابتة.

وعلى الرغم من أن ذكاءهم الاصطناعي كان أصغر بكثير (7 مليارات معلمة) من النماذج الضخمة، إلا أنه قدم أداءً أفضل لأنه عرف متى يتوقف وينظر مجدداً.

"السبب" وراء النجاح

تثبت الورقة البحثية رياضياً أن الاستراتيجية الثابتة هي دائماً غير مثالية.

التشبيه: تخيل متنزهاً. إذا كان المسار مستوياً ومشمسًا، يمكنه السير لمسافة 10 أميال دون التحقق من الخريطة. أما إذا كان المسار ضبابياً وصخرياً، فعليه التحقق من الخريطة كل 100 قدم.
الاستنتاج: "أفضل" مسافة للسير دون التحقق من الخريطة تتغير بناءً على طبيعة الأرض. من خلال إجبار الذكاء الاصطناعي على التحقق من الخريطة في فترات ثابتة، فأنت إما تضيع الوقت (بالتحقق كثيراً في المسارات السهلة) أو تضل الطريق (بعدم التحقق بما يكفي في المسارات الصعبة). الذكاء الاصطناعي الجديد يتعلم التحقق من الخريطة بالضبط عندما يحتاج إلى ذلك.

الملخص

تقدم هذه الورقة طريقة أذكى لتمكين الذكاء الاصطناعي من التخطيط لسلاسل طويلة من الأفعال. فبدلاً من اتباع قاعدة جامدة مثل "خطط لـ 5 خطوات ثم توقف"، يتعلم الذكاء الاصطناعي ديناميكياً مدى الالتزام بخطة ما بناءً على مدى صعوبة الموقف الحالي. وهذا يجعله أسرع، وأكثر دقة، وأفضل بكثير في حل المشكلات المعقدة وطويلة الأمد مقارنة بالطرق السابقة أو حتى نماذج الذكاء الاصطناعي الضخمة غير المدربة.

ملخص تقني: متى نلتزم مجدداً: اكتشاف التجريد الزمني للاستدلال البصري اللغوي طويل الأمد

تعريف المشكلة

تتطلب مهام الاستدلال طويلة الأمد (مثل حل الألغاز المعقدة، أو التنقل في البيئات المزدحمة) من الوكلاء اتخاذ قرارات بشأن الأفعال بشكل متكرر، وتنفيذها، ومراقبة النتائج، ثم إعادة التخطيط. أحد الخيارات التصميمية الحاسمة في هذه الأنظمة هو عمق الالتزام ( $h$ ): وهو عدد الأفعال الأولية التي ينفذها الوكيل في حلقة مفتوحة (دون إعادة مراقبة البيئة) بين خطوات إعادة التخطيط.

عادةً ما تثبت الأنظمة الحالية قيمة $h$ كمعلم فائق (hyperparameter) عددي يتم ضبطه يدوياً. وهذا يخلق مقايضة جوهرية:

$h$ صغير: يؤدي تكرار إعادة التخطيط إلى تقليل أخطاء التنفيذ التراكمية، ولكنه يتسبب في تكاليف حوسبية عالية (المزيد من عمليات التمرير الأمامي) وزمن استجابة في اتخاذ القرار.
$h$ كبير: يقلل من الأعباء الإضافية لإعادة التخطيط، ولكنه يزيد من خطر الأخطاء التراكمية مع تباعد الحالة المتخيلة عن الحالة الواقعية.

تجادل الورقة بأن قيمة $h$ الثابتة هي خيار غير مثالي لأن عمق الالتزام الأمثل محلياً يتغير اعتماداً على الحالة الحالية، وديناميكيات المهمة، وميزانية القرار المتاحة. تُصاغ المشكلة الأساسية هنا كمسألة تحسين مقيدة بالميزانية: تعظيم النجاح في المهمة (حل اللغز) مع مراعاة سقف ( $K$ ) لعدد نقاط اتخاذ القرار (إعادة التخطيط) لكل حلقة، حيث يجب على السياسة اختيار عمق الالتزام $h_k$ وتسلسل الأفعال $a_k$ بشكل مشترك عند كل خطوة قرار $k$ .

المنهجية

يقترح المؤلفون سياسة نموذج لغوي بصري (VLM) موحد وأصيل للنموذج يتعلم تحديد عمق الالتزام بشكل تكيفي.

1. البنية الهيكلية

تعتمد السياسة على عمود فقري مشترك (Qwen2.5-VL-7B) مع رأسيْن متميزين:

رأس العمق ( $\pi_h$ ): رأس فئوي يتنبأ بعمق الالتزام $h_k \in \{1, 2, 4, 8\}$ بناءً على تمثيل الحالة الحالية.
رأس الفعل ( $\pi_a$ ): مفكك (decoder) ذاتي الانحدار يولد تسلسلاً من الأفعال الأولية بطول $h_k$ ، مشروطاً بالحالة والعمق المتوقع.
التنفيذ في حلقة مفتوحة: بمجرد التنبؤ بـ $h_k$ و $a_k$ ، ينفذ الوكيل التسلسل دون إعادة استعلام النموذج اللغوي البصري أو إعادة ترميز الحالات الوسيطة.

2. مسار التدريب

يتم تدريب النموذج عبر عملية مكونة من مرحلتين:

المرحلة الأولى: الضبط الدقيق الخاضع للإشراف (SFT): يتم تدريب رأس الفعل على بيانات "الأفعال الكلية الافتراضية المقابلة". لكل حالة في مسار الخبير، يتم تدريب النموذج على التنبؤ ببدايات الأفعال (prefixes) لجميع الأطوال الممكنة ( $h \in \{1, 2, 4, 8\}$ ). ومن المهم ملاحظة أن رأس العمق لا يتم تدريبه خلال هذه المرحلة؛ بل يظل غير مدرب (بافتراض مسطح) لتجنب تحيز السياسة نحو أي عمق محدد قبل التعلم التعزيزي.
المرحلة الثانية: التعلم التعزيزي (RL): يتم ضبط كلا الرأسين معاً باستخدام خوارزمية GRPO (تحسين السياسة النسبي للمجموعات). تجمع دالة المكافأة بين إشارة نجاح ثنائية (تم الحل/لم يتم الحل) ومكافأة كثيفة تعتمد على تقليل المسافة إلى الحل الأمثل (المستمدة من محلل دقيق، ويستخدم فقط للتدريب). يشجع الهدف السياسة على اختيار العمق الذي يعظم النجاح مع تقليل الأفعال المهدرة.

3. الأساس النظري

تقدم الورقة نموذجاً نظرياً يوضح أنه إذا كان عمق الالتزام الأمثل محلياً $h^*(s)$ يتغير عبر الحالات (وهو ما تم التحقق منه تجريبياً عبر توزيع "أوراكل")، فإن السياسة التكيفية المشروطة بالحالة تتفوق تماماً على أي سياسة ذات عمق ثابت من حيث النجاح المتوقع (expected log-success). ويتحقق هذا بشرط أن ينمو خطأ مستوى الالتزام بشكل دون خطي مع العمق.

المساهمات الرئيسية

صياغة المشكلة: صاغ المؤلفون "متى نلتزم مجدداً" كمسألة تحسين مقيدة بالميزانية، وأثبتوا نظرياً أن استراتيجيات العمق الثابت غير مثالية كلما تغير العمق الأمثل عبر الحالات.
سياسة تكيفية موحدة: قدموا بنية VLM موحدة مع رأس عمق قابل للتعلم ورأس فعل، يتم تدريبهما من البداية إلى النهاية دون مخططات مساعدة أو متنبئات عمق منفصلة.
البنية التحتية: أطلقوا بيئة ألغاز لغوية بصرية مع مسار توليد بيانات مستند إلى محلل (solver-grounded) للغز المنزلق (Sliding Puzzle) وسوكوبان (Sokoban)، مما يسمح بقياس الاستدلال طويل الأمد بشكل محكم.

النتائج التجريبية

تم تقييم الطريقة على اللغز المنزلق (Sliding Puzzle) وسوكوبان (Sokoban)، وهما مهمتان ذات ديناميكيات معروفة ولكن بخصائص خطأ متفاوتة (أفعال قابلة للعكس مقابل غير قابلة للعكس).

الهيمنة الباريتية (Pareto Dominance): تتفوق السياسة التكيفية بشكل صارم على كل نماذج العمق الثابت غير المنحلة ( $h \in \{1, 2, 4, 8\}$ $h \in {1, 2, 4, 8}$ ). فقد حققت معدلات حل أعلى مع عدد أقل من الأفعال الأولية لكل حلقة.
- اللغز المنزلق: معدل حل 56.3% (مقابل 43.8% لأفضل عمق ثابت) مع تقليل الأفعال بنسبة ~25%.
- سوكوبان: معدل حل 35.9% (مقابل 32.8% لأفضل عمق ثابت) مع تقليل الأفعال بنسبة ~25%.
المقارنة مع النماذج الرائدة: رغم استخدام نموذج بقاعدة 7 مليارات معلمة، إلا أن السياسة التكيفية التي تم ضبطها بدقة تفوقت على النماذج الرائدة مغلقة المصدر (GPT-5.5، Claude Sonnet، Gemini 3.1 Pro) وتفوقت بشكل كبير على جميع نماذج VLM مفتوحة الأوزان المختبرة (8B–78B)، والتي سجلت 0% في إعدادات الصفر (zero-shot).
تحليل الآلية:
- الارتباط بالحالة: تعلمت السياسة استخدام التزامات أقصر ( $h \approx 1-4$ ) في الحالات "المشوشة" أو البعيدة عن الهدف حيث يكون التقدم غير مؤكد، والتزامات أطول ( $h \approx 6-8$ ) في الحالات "النظيفة" القريبة من الهدف.
- الكفاءة: يأتي التحسن من حل نفس الحالات عبر مسارات أكثر استقامة (أفعال أقل ضياعاً أو تراجعاً)، وليس من خلال حل حالات أسهل.
- المتانة: استمرت مكاسب الأداء عبر مختلف البذور العشوائية (random seeds) وميزانيات التدريب، ولم ينهار توزيع العمق إلى قيمة ثابتة واحدة.

الأهمية والادعاءات

تدعي الورقة أن التجريد الزمني يجب أن يُعامل كمتغير تحكم ديناميكي مشروط بالحالة وليس كمعلم فائق معماري ثابت.

عدم مثالية العمق الثابت: يوضح العمل أن الضبط اليدوي لعمق التزام واحد غير كافٍ للمهام طويلة الأمد حيث تتباين حالة عدم اليقين وانتشار الخطأ بشكل كبير.
التجريد القابل للتعلم: من خلال اعتبار قرار "متى تعيد التخطيط" جزءاً من السياسة نفسها، يتعلم النموذج موازنة تكلفة إعادة التخطيط مقابل خطر الأخطاء التراكمية، محققاً كفاءة ومعدلات نجاح فائقة.
القدرة على التعميم: يقترح المؤلفون أن هذا النهج قابل للتطبيق في مجالات استدلال أوسع طويلة الأمد، مثل وكلاء الويب (تقرير عدد الخطوات التي يجب اتخاذها قبل إعادة قراءة الصفحة) أو وكلاء البرمجة (تقرير عدد التعديلات التي يجب إجراؤها قبل إعادة تقييم المحرر)، رغم أن التحقق التجريبي يقتصر حالياً على مجالات الألغاز.

تخلص الورقة إلى أن القدرة على تعلم مدة الالتزام لا تقل أهمية عن تعلم ما يجب الالتزام به، مما يفتح مساراً لوكلاء مستقلين أكثر كفاءة ومتانة في البيئات المعقدة.