🤖 AI

Test-Time Deep Thinking to Explore Implicit Rules

تقدم هذه الورقة البحثية إطار عمل TTExplore، وهو إطار يستخدم نموذج "Exp-Thinker" متخصصاً بـ 7 مليارات معلمة تم تدريبه عبر مسار تعلم تعزيزي مستقر ومبتكر لاستنتاج القواعد الضمنية الخفية وتحسين أداء الوكيل الذكي بشكل كبير في المهام التجسيدية النصية المعقدة.

المؤلفون الأصليون: Wentong Chen, Xin Cong, Zhong Zhang, Yaxi Lu, Siyuan Zhao, Yesai Wu, Qinyu Luo, Haotian Chen, Yankai Lin, Zhiyuan Liu, Maosong Sun

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Wentong Chen, Xin Cong, Zhong Zhang, Yaxi Lu, Siyuan Zhao, Yesai Wu, Qinyu Luo, Haotian Chen, Yankai Lin, Zhiyuan Liu, Maosong Sun

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

المشكلة: الروبوت "الأعمى" في منزل جديد

تخيل أنك استأجرت روبوتًا ذكيًا جدًا لتنظيف منزل لم تره من قبل. أعطيته تعليمات بسيطة: "ضع الطبق النظيف على سطح الطاولة".

يحاول الروبوت الإمساك بالطبق، لكن لا شيء يحدث. يحاول مرة أخرى. لا يزال لا شيء. يشعر بالإحباط، ويجرب زاوية مختلفة، ولا يزال يفشل. يستمر في تكرار نفس الخطأ مرارًا وتكرارًا، مثل هامستر يركض في عجلة، حتى يستسلم.

لماذا يحدث هذا؟
الروبوت يعرف كيف يتحرك وكيف يمسك الأشياء (لديه معرفة عامة). لكنه لا يعرف القواعد الخفية لهذا المنزل تحديدًا.

ربما القاعدة هي: "يجب أن تقف مباشرة أمام الشيء قبل أن تتمكن من لمسه".
ربما القاعدة هي: "يمكنك حمل شيء واحد فقط في كل مرة".
ربما القاعدة هي: "لا يمكنك وضع مزهرية تحت مصباح إلا إذا قمت بتشغيل المصباح أولاً".

هذه القواعد ليست مكتوبة على الجدران. يجب على الروبوت اكتشافها من خلال تجربة الأشياء ورؤية ما سيحدث. الوكلاء الحاليون في الذكاء الاصطناعي سيئون في هذا؛ فهم يعلقون في حلقات مفرغة من التجربة والخطأ لأنهم لا يعرفون لماذا يفشلون.

الحل: "المفكر" و"الممثل"

يقترح مؤلفو هذه الورقة نظامًا جديدًا يسمى TTExplore (الاستكشاف وقت الاختبار). لقد قسموا الذكاء الاصطناعي إلى دورين متميزين، مثل فريق من شخصين يعملان معًا:

الممثل (The Actor): هذا هو "اليدان". إنه الجزء الذي يتحرك فعليًا، ويلتقط الأشياء، ويحاول تنفيذ المهمة. إنه يعمل بسرعة بناءً على ما يراه.
المفكر (The Thinker): هذا هو "العقل" أو "المحقق". هو لا يتحرك من مكانه. بدلاً من ذلك، يراقب الممثل. عندما يبدأ الممثل في الفشل أو التعثر، يتدخل المفكر.

كيف يعمل المفكر:
ينظر المفكر إلى سجل ما حدث: "حاولت الإمساك بالطبق، لكن الكمبيوتر قال 'لم يحدث شيء'. حاولت مرة أخرى، والنتيجة نفسها. انتظر... كنت أقف خلف الطاولة. ربما القاعدة هي أنني يجب أن أقف أمام الطاولة أولاً؟"

ثم يكتب المفكر ملاحظة ("فكرة عميقة") ويقول للممثل: "توقف! جرب الوقوف أمام الطاولة أولًا". يساعد هذا الممثل على كسر الحلقة وحل اللغز.

الجزء الصعب: تعليم المفكر

قد تعتقد: "فقط اجعل المفكر أكثر ذكاءً!" ولكن هناك عقبة. كيف تعلم الكمبيوتر أن يكون محققًا جيدًا؟

في المدرسة، تحصل على درجة في نهاية الاختبار. لكن في عالم الذكاء الاصطناعي هذا، "الدرجة" (النجاح أو الفشل) تأتي فقط في نهاية رحلة طويلة ومعقدة. إذا قدم المفكر تخمينًا رائعًا في منتصف الطريق، لكن الممثل أخطأ لاحقًا، فإن العملية برمتها تفشل. من الصعب معرفة ما إذا كان المفكر مفيدًا حقًا أم لا. هذا يجعل تدريب المفكر غير مستقر للغاية، مثل محاولة تعليم شخص التلاعب بالكرات من خلال إخباره فقط "عمل جيد" أو "عمل سيئ" بعد أن يسقط جميع الكرات.

حل الورقة البحثية: استراتيجية "المرة الواحدة" (One Shot)
لحل هذه المشكلة، ابتكر الباحثون طريقة تدريب خاصة:

التركيز على اللحظة الرئيسية: بدلًا من السماح للمفكر بالتحدث عدة مرات خلال مهمة طويلة، أجبروه على التحدث مرة واحدة فقط لكل محاولة.
المكافأة: ينظرون إلى نتيجة تلك المحاولة الوحيدة. إذا ساعدت نصيحة المفكر الممثل على الاقتراب من الهدف، يحصل المفكر على "إبهام للأعلى" (علامة نجاح). إذا لم تساعده، يحصل على "إبهام للأسفل" (علامة فشل).
النتيجة: هذا يجعل التدريب أكثر استقرارًا. استخدموا هذه الطريقة لتدريب نموذج متخصص بـ 7 مليارات معلمة أطلقوا عليه اسم Exp-Thinker.

النتائج: فريق أكثر ذكاءً

اختبر الباحثون هذا النظام على خمس "ألعاب فيديو نصية" (بيئات محاكاة حيث تكتب أوامر للتحرك أو تحريك الأشياء).

قبل: بدون المفكر، كان وكلاء الذكاء الاصطناعي (حتى الكبيرة والذكية منها) يعلقون في حلقات مفرغة ويفشلون كثيرًا.
بعد: عند إضافة Exp-Thinker، أصبح الوكلاء أفضل بكثير في اكتشاف القواعد الخفية.
- في المتوسط، ارتفع معدل النجاح بمقدار 14 إلى 19 نقطة.
- توقف الوكلاء عن تكرار نفس الأخطاء.
- بدأوا في استكشاف أفكار جديدة بدلًا من ضرب رؤوسهم بالحائط.

الخلاصة

تظهر هذه الورقة أن منح الذكاء الاصطناعي دور "المحقق" المخصص الذي يتوقف لتحليل سبب فشله، يسمح له بتعلم القواعد الخفية لبيئة جديدة بشكل أسرع بكثير.

بدلًا من مجرد تجربة الأشياء بشكل أعمى، أصبح لدى الذكاء الاصطناعي الآن شريك يقول: "انتظر، لنفكر فيما يحدث حقًا هنا،" ومن ثم يوجه العمل. هذا التغيير البسيط يحول الروبوت المرتبك إلى مستكشف أكثر قدرة.

ملخص تقني: التفكير العميق في وقت الاختبار لاستكشاف القواعد الضمنية

1. بيان المشكلة

أظهرت الوكلاء القائمة على النماذج اللغوية الكبيرة (LLMs) قدرات كبيرة في مجالات مثل الملاحة في واجهة المستخدم الرسومية (GUI) والذكاء الاصطناعي المتجسد. ومع ذلك، غالباً ما يفشل هؤلاء الوكلاء في البيئات التي تحكمها قواعد ضمنية — وهي قيود خفية ليست مذكورة صراحة في ملاحظات البيئة ولكن يجب استنتاجها من خلال التفاعل (على سبيل المثال: "يجب أن يكون الوكيل أمام كائن ما ليتفاعل معه" أو "لا يمكن للوكيل حمل كائنين في وقت واحد").

تعتمد الأساليب الحالية، مثل ReAct وReflexion، على المعرفة المسبقة المدربة والمتوافقة مع ديناميكيات العالم العامة. عندما يواجه الوكلاء قيوداً غير قابلة للملاحظة، غالباً ما يتلقون ردود فعل غير مفيدة (مثل: "لم يحدث شيء") ويقعون في حلقات تجربة وخطأ متكررة أو فخاخ استكشاف محلية. التحدي الجوهي يكمثل في تمكين الوكلاء من إجراء تفكير من نوع "النظام 2" (System 2-style reasoning) في وقت الاختبار لتحديث نماذج عالمهم الداخلية ومواءمتها مع الديناميكيات الكامنة الحقيقية للبيئة.

2. المنهجية: الاستكشاف في وقت الاختبار (TTExplore)

يقترح المؤلفون إطار عمل TTExplore، الذي يفصل تنفيذ الإجراءات منخفض المستوى عن التفكير الاستراتيجي عالي المستوى. يعمل إطار العمل من خلال دورين متميزين:

أ. بنية إطار العمل

الممثل ( $\pi_{actor}$ ): وكيل قياسي يولد مخرجات بأسلوب ReAct (تفكير + إجراء) في كل خطوة بناءً على تاريخ المسار.
المفكر ( $\pi_{thinker}$ ): وكيل تفكير على مستوى ميتا (Meta-level) يتم استدعاؤه بتردد ثابت (على سبيل المثال، كل $n$ $n$ خطوة). يقوم المفكر بتحليل تاريخ التفاعل بأكمله، مع التركيز بشكل خاص على الإجراءات الفاشلة وردود فعل البيئة.
- المخرج: ينتج المفكر "تفكيراً عميقاً" ( $d_i$ $d_{i}$ ) يحتوي على:
  - ملخص للتقدم الحالي.
  - فرضيات حول القواعد البيئية الكامنة التي تسببت في الإخفاقات الأخيرة.
  - خطة منقحة للإجراءات المستقبلية.
- التكامل: يتم إدراج هذا التفكير العميق في سياق الممثل، مما يوجه الإجراءات اللاحقة ويمنع تكرار الأخطاء.

ب. تدريب المفكر: خط معالجة مستقر للتعلم التعزيزي (RL)

يعد تدريب المفكر أمراً صعباً بسبب نقص إشارات المكافأة المباشرة لجودة التفكير الوسيط. قدم المؤلفون خط معالجة مبتكر لـ التعلم التعزيزي (RL) لتدريب نموذج متخصص بقدر 7 مليار معلمة، Exp-Thinker، لمعالجة مشكلتين رئيسيتين: ندرة المكافأة وعدم استقرار تخصيص الائتمان (Credit Assignment).

المكافأة غير المباشرة عبر أداء المهمة: بدلاً من تقييم التفكير الوسيط مباشرة، يستخدم خط المعالجة أداء إكمال المهمة النهائي (النجاح أو تحسن درجة العملية) كمكافأة غير مباشرة. إذا أدت فرضية المفكر إلى مسار للوكيل أدى لتحسن الأداء، يتم مكافأة التفكير.
عقدة تفكير واحدة لكل مسار: للتخفيف من مشكلة تخصيص الائتمان وعدم استقرار التدريب الناتج عن مشاركة عقدة تفكير واحدة مع مكافأة نادرة واحدة، تعتمد استراتيجية التدريب على الاحتفاظ بعقدة تفكير واحدة فقط لكل مسار.
خطوات خط معالجة التدريب:
- تقسيم المهام الفرعية: يتم تقسيم المسارات الناجحة من نموذج قوي إلى مهام فرعية بناءً على درجات العملية.
- تصفية المهام الفرعية: يتم تصنيف المهام الفرعية حسب الصعوبة (سهل، متوسط، صعب) باستخدام نموذج ضعيف. يتم الاحتفاظ فقط بالمهام "المتوسطة" و"الصعبة" للتدريب لضمان تعلم المفكر للحلول غير البديهية.
- التشغيل وحساب المكافأة: ينفذ ممثل مجمد (Frozen Actor) مساراً بناءً على تفكير عميق تم أخذ عينة منه. إذا تحسنت درجة العملية مقارنة بالمسار المرجعي، يتم تخصيص مكافأة قدرها 1.0؛ وإلا يتم تخصيص 0.0.

3. المساهمات الرئيسية

إطار عمل TTExplore: بنية مبتكرة تفصل صراحة بين تنفيذ الإجراء واستنتاج القواعد الضمنية، مما يسمح للوكلاء بتحديث نماذج عالمهم ديناميكياً أثناء التفاعل في وقت الاختبار.
خط معالجة RL مستقر: طريقة لتدريب نماذج التفكير العميق باستخدام مكافآت نادرة على مستوى المهمة من خلال عزل عقدة تفكير واحدة لكل مسار، مما نجح في تدريب نموذج بقدر 7 مليار معلمة (Exp-Thinker) دون عدم الاستقرار المعتاد في التعلم التعزيزي ذو المكافآت النادرة.
نموذج Exp-Thinker: نموذج متخصص مدرب على استنتاج القواعد الضمنية، مما يعزز بشكل كبير أداء الوكلاء عبر مهام متجسدة متنوعة.

4. النتائج التجريبية

قيم المؤلفون TTExplore مع Exp-Thinker في خمس مهام متجسدة قائمة على النصوص: Alfworld، وSciworld، وBabyAI، وJericho، وPDDL.

مكاسب الأداء:
- عند اقترانه بالنماذج الأساسية (Qwen2.5-7B و LLaMA3-8B)، حسن TTExplore متوسط الأداء بمقدار 14-19 نقطة مقارنة بالنماذج المرجعية بدون مفكر.
- بالنسبة لـ LLaMA3-8B في المهام داخل النطاق (In-domain)، قفز الأداء من ~32/20 إلى ~63/55 (درجات العملية)، متجاوزاً العديد من نماذج الوكلاء التي تم ضبطها بدقة (Fine-tuned).
- عزز إطار العمل أيضاً الوكلاء المدربين جيداً (مثل Qwen2.5-Actor) في المهام خارج النطاق (Out-of-domain)، مما يثبت أن الاستكشاف في وقت الاختبار يكمل طرق التدريب خارج الإنترنت (Offline training).
سلوك الاستكشاف: أظهر التحليل الكمي أن الوكلاء الذين يستخدمون Exp-Thinker أظهروا تنوعاً أعلى في الإجراءات والملاحظات ومعدلات تكرار أقل، مما يؤكد قدرة إطار العمل على كسر حلقات الاستكشاف المحلية.
المقارنة مع الطرق الأخرى:
- مقابل النماذج الكبيرة: تفوق نموذج Exp-Thinker المتخصص (7B) (SFT + RL) أو عادل نموذج Qwen2.5 (72B) كـ "مفكر"، مما يثبت أن التدريب المستهدف أكثر فعالية من الحجم وحده.
  - مقابل توسيع وقت الاختبار (Test-Time Scaling): تسبب TTExplore في عبء حوسبي متوسط (1.4× ReAct) مقارنة بـ Reflexion (4.7×) أو Best-of-N (5.0×)، مع بقائه متوافقاً مع Best-of-N لتحقيق مزيد من المكاسب.
- مقابل الطرق الموجهة خارج الإنترنت (Offline-Guided): حقق TTExplore نتائج تنافسية أو رائدة (97.76% نجاح في Alfworld) دون الاعتماد على قواعد معرفية مجمعة مسبقاً من خارج الإنترنت.

5. الأهمية والادعاءات

يدعي البحث أن فشل الوكلاء الحاليين في البيئات المعقدة لا ينبع من نقص القدرة، بل من نموذج عالم داخلي غير متوافق فيما يتعلق بالديناميكيات الكامنة.

الحجة الجوهرية: يجب على الوكلاء محاكاة السلوك البشري من خلال الانخراط في الاستكشاف في وقت الاختبار — التفاعل المستمر مع البيئة لتقطير التجارب واستنتاج القواعد الأساسية بشكل مستقل، بدلاً من الاعتماد فقط على المعرفة المدربة مسبقاً أو الذاكرة خارج الإنترنت.
التواضع: يقر المؤلفون بأنه بينما يحسن أسلوبهم الأداء بشكل كبير، فإن تردد التفكير الأمثل قد يختلف حسب المهمة، وأن نهج التردد الثابت الحالي هو نقطة انطلاق. هم يضعون TTExplore ليس كبديل لطرق التدريب الحالية (SFT/RL)، بل كمكمل قوي يعزز التعميم والتكيف في البيئات المجهولة.
الأثر: يوضح العمل أن التفكير الصريح في القواعد الضمنية عبر دور "المفكر" المخصص هو استراتيجية قابلة للتطبيق وفعالة لحل المهام التي تكون فيها المعلومات السطحية غير كافية.