🤖 AI

On the Ability of Transformers to Verify Plans

تقدم هذه الورقة البحثية C*-RASP لتثبت نظرياً أن نماذج المحولات التي تعتمد على فك التشفيد فقط (decoder-only transformers) يمكنها تعلم التحقق من الخطط الطويلة في مجالات التخطيط الكلاسيكي بشكل قابل للإثبات رغم النمو المتزامن في طول التسلسل وحجم المفردات، وهو ما تدعمه التجارب التجريبية.

المؤلفون الأصليون: Yash Sarrof, Yupei Du, Katharina Stein, Alexander Koller, Sylvie Thiébaux, Michael Hahn

نُشر 2026-03-23

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yash Sarrof, Yupei Du, Katharina Stein, Alexander Koller, Sylvie Thiébaux, Michael Hahn

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتعليم مساعد آلي (روبوت) ذكي جداً، ولكنه حرفي في فهم الأمور، كيف يتحقق مما إذا كانت مجموعة من التعليمات (خطة) ستؤدي المهمة بالفعل. ربما تكون المهمة هي نقل صناديق من الغرفة (أ) إلى الغرفة (ب)، أو إطفاء جميع الأضواء في شبكة معينة.

هذه الورقة البحثية تدور حول اكتشاف متى يمكن لهذا الروبوت أن يتعلم التحقق من تعليمات طويلة ومعقدة بمجرد التدرب على تعليمات قصيرة وبسيطة، ومتى سيتعرض للارتباك حتماً.

إليك الشرح باستخدام تشبيهات من الحياة اليومية:

١. المشكلة: الروبوت يضيع في القصص الطويلة

قد تظن: "إذا علمت روبوتاً كيفية نقل صندوق من غرفة إلى أخرى، فيجب أن يكون قادراً على نقله عبر مدينة كاملة".

لكن في عالم التخطيط بالذكاء الاصطناعي، غالباً ما تفشل الروبوتات (وتحديداً نماذج "Transformer"، وهي العقول التي تقف وراء نماذج مثل نموذجي هذا). إذا دربتها على خطط قصيرة (٣ خطوات)، فغالباً ما ستنهار وتفشل عندما تطلب منها التحقق من خطة طويلة (١٠٠ خطوة). فهي تفقد تتبع "القصة"، أو تنسى أين يوجد الروبوت، أو تقترح أفعالاً لا تبدو منطقية.

سأل الباحثون: لماذا يحدث هذا؟ هل لأن الخطة طويلة جداً، أم لأن "نوع" الخطة معقد للغاية؟

٢. الأداة الجديدة: "مترجم عالمي" للعوالم المتنامية

للإجابة على ذلك، ابتكر الباحثون إطاراً رياضياً جديداً يسمى C-RASP*.

فكر في C-RASP (النسخة القديمة) ككتاب قواعد للعبة تُلعَب بمجموعة ثابتة من قطع "الليغو". أنت تعرف بالضبط عدد القطع التي تملكها.

المشكلة: في الحياة الواقعية، يمكن لعدد الأشياء (القطع) أن يزد de. رب mind تبدأ بـ ٥ كرات، لكن الاختبار يتطلب ٥٠٠ كرة. كتاب القواعد القديم لم يكن قادراً على التعامل مع تغير عدد القطع.

C-RASP* هو بمثابة ترقية لكتاب القواعد هذا. فهو يسمح للروبوت بتعلم قواعد تعمل سواء كان لديك ٥ كرات أو ٥٠٠٠ كرة. إنه يعلم الروبوت التركيز على "نمط" التعليمات بدلاً من حفظ أسماء أشياء محددة.

٣. الاكتشاف الكبير: الأمر يتعلق بـ "قواعد اللعبة"

وجد البحث أن قدرة الروبوت على التعميم (التعلم من القصير إلى الطويل) تعتمد كلياً على بنية مجال التخطيط. لقد حددوا نوعين من العوالم:

🟢 العوالم "جيدة السلوك" (أخبار جيدة!)

في هذه العوالم، لكل فعل تأثير واضح ومتوقع.

التشبيه: تخيل لعبة إكس أو (Tic-Tac-Toe). إذا وضعت علامة 'X'، فستبقى 'X'. لن تتحول سحرياً إلى 'O' أو تختفي ما لم تقم بإزالتها تحديداً.
النتيجة: في هذه العوالم "جيدة الصياغة" أو "الخالية من الحذف"، يمكن للروبوت تعلم النمط. إذا تدرب على خطط قصيرة، يمكنه التحقق تماماً من خطط طويلة، حتى لو زاد عدد الأشياء. إنه يتعلم "المنطق"، وليس مجرد الحفظ.

🔴 العوالم "الفوضوية" (أخبار سيئة!)

في هذه العوالم، تمتلك الأفعال "تأثيرات شرطية" (قواعد: إذا حدث كذا، افعل كذا) أو يمكنها حذف أشياء بطرق مخادعة.

التشبيه: تخيل لعبة Lights Out (لغز حيث يؤدي الضغط على زر إلى تغيير حالة الضوء والأنوار المجاورة له). تأثير الضغط على الزر يعتمد كلياً على الحالة الراهنة للأنوار. الضغط على زر قد يطفئ ضوءاً إذا كان يعمل، أو يشغل ضوءاً إذا كان مطفأً.
النتيجة: في هذه العوالم، لا يمكن للروبوت التعميم. حتى لو تدرب على خطط قصيرة، فإنه يفشل في الخطط الطويلة. يظل عالقاً في محاولة تذكر التاريخ المحدد لكل مفتاح ضوء. الأمر يشبه محاولة تذكر رقم هاتف عن طريق عد عدد المرات التي اتصلت فيها، بدلاً من مجرد قراءة الأرقام.

٤. فخاخ "القلب-التلاشي" (Flip-Flop) و"الزوجية" (Parity)

يشرح المؤلفون أن العوالم الفوضوية تتشابه رياضياً مع لغزين شهيرين:
١. القلب-التلاشي (Flip-Flop): "هل آخر مفتاح ضغطته جعل الضوء يعمل أم انطفأ؟" عليك أن تتذكر آخر شيء حدث تماماً.
٢. الزوجية (Parity): "هل إجمالي عدد المفاتيح 'المضاءة' عدد زوجي أم فردي؟" عليك أن تعد كل شيء.

يثبت البحث أن الروبوتات القياسية في الذكاء الاصطناعي سيئة جداً في هذا النوع من المنطق عندما تصبح القوائم طويلة. فهي لا تستطيع العد أو تذكر "الحالة الأخيرة" بشكل موثوق عبر مسافات طويلة.

٥. الخلاصة: إعادة صياغة المشكلة

الجزء الأكثر إثارة في الورقة هو الحل.

إذا كانت لديك مشكلة "فوضوية" (مثل لعبة Lights Out الشرطية)، فإن الروبوت سيفشل. ولكن، إذا أعدت كتابة قواعد اللعبة لتصبح "جيدة السلوك" (عن طريق إنشاء أفعال محددة لكل حالة ممكنة، حتى لو تطلب ذلك وجود آلاف الأفعال بدلاً من فعل واحد)، يصبح الروبوت فجأة عبقرياً.

باللغة البسيطة:

"لا تكتفِ بإلقاء مشكلة صعبة أمام الذكاء الاصطناعي وتأمل أن يحلها. إذا كانت قواعد المشكلة فوضوية ومشروطة، فسيضيع الذكاء الاصطناعي. ولكن، إذا أعدت هيكلة المشكلة بحيث يكون لكل فعل نتيجة بسيطة ومتوقعة، فيمكن للذكاء الاصطناٍء تعلم حلها، بغض النظر عن طول الخطة."

ملخص

الهدف: هل يمكن للذكاء الاصطناعي التحقق من خطط طويلة بعد رؤية خطط قصيرة فقط؟
الإجابة: فقط إذا كانت قواعد اللعبة "جيدة السلوك".
السحر: من خلال تغيير هيكل المشكلة (جعلها "جيدة الصياغة")، يمكننا جعل الذكاء الاصطناعي أكثر ذكاءً في التخطيط، حتى مع زيادة عدد الأشياء وطول الخطط.
الحدود: إذا كانت القواعد تتضمن شروط "إذا حدث هذا، فافعل ذاك" التي تعتمد على الحالة الراهنة، فمن المرجح أن يفشل الذكاء الاصطناعي، مهما بلغت مدة تدريبه.

إليك ملخص تقني مفصل لورقة البحث بعنوان "حول قدرة نماذج المحولات (Transformers) على التحقق من الخطط".

1. بيان المشكلة

تتناول الورقة الأداء غير المتسق لنماذج المحولات اللغوية الكبيرة (LLMs) في مهام التخطيط بالذكاء الاصطناعي. فبينما تُظهر هذه النماذج واعدية في توليد الخطط، إلا أنها تفشل تكراراً في التعميم على الخطط الأطول أو الحالات التي تحتوي على عدد أكبر من الكائنات (objects) مما رأته أثناء التدريب. وبشكل محدد، يركز المؤلفون على التحقق من الخطة (plan verification): أي تحديد ما إذا كان تسلسل معين من الإجراءات يحل حالة تخطيطية معينة بشكل صحيح.

التحدي الجوهري هو التعميم على الطول (length generalization) تحت أكوان متغيرة (variable universes). تفترض الأطر النظرية الحالية (مثل C-RASP) وجود مجموعة مفردات ثابتة (مجموعة الرموز) في كل من التدريب والاستدلال. ومع ذلك، في مهام التخطيط، غالباً ما يزدو عدد الكائنات (وبالتالي حجم المفردات الفعال) وقت الاختبار. وتتساءل الورقة: تحت أي شروط هيكلية يمكن للمحول أن يتعلم التحقق من خطط ذات أطوال وأعداد كائنات غير محددة، ومتى يكون ذلك مستحيلاً من الناحية النظرية؟

2. المنهجية

أ. الإطار النظري: C*-RASP

لمعالجة القصور في افتراضات المفردات الثابتة، قدم المؤلفون C-RASP*، وهو امتداد للغة C-RASP (لغة العد RASP).

الأبجدية المنقسمة: يتم تقسيم أبجدية المدخلات إلى مجموعة ثابتة $\Sigma$ (المحمولات، الإجراءات) ومجموعة قابلة للعد ومتنامية $C$ (معرفات الكائنات).
المحول ذو الحد الرمزي (Symbolic Limit Transformer): يعرّف المؤلفون كائناً نظرياً حداً يمثل تسلسلاً من المحولات المدربة على أطوال وأحجام مفردات متزايدة. يجب أن يستوفي هذا الكائن الشروط التالية:
- الثبات بالترجمة (Translation Invariance): تعتمد التفاعلات فقط على الفروقات النسبية (على سبيل المثال، $f(c_i, c_j) = f(c_{i+\delta}, c_{j+\delta})$ )، وليس على المؤشرات المطلقة أو معرفات الكائنات المحددة.
- المحلية (Locality): تتلاشى التفاعلات خارج نطاق عرض محدد (bandwidth).
محمول المطابقة (Match Predicate): عملية مبتكرة أضيفت إلى C-RASP تسم الله للنموذج التحقق مما إذا كانت الرموز في أجزاء مختلفة من التسلسل تشير إلى نفس هوية الكائن دون الحاجة لحفظ المعرفات المحددة (على سبيل المثال، التحقق مما إذا كانت وسائط إجراء ما تطابق وسائط شرط مسبق).
نموذج التعلم: صاغوا إجراء استدلال حيث يتم اختيار نموذج لتقليل قيمة المنظم (الذي يعاقب التعقيد والتفاعلات غير المحلية) مع ملاءمة بيانات التدريب بطول $n/2$ . وقد أثبتوا أنه إذا كانت المهمة قابلة للتعبير بواسطة "محول حد رمزي"، فإن هذا الإجراء يضمن التعميم إلى الطول $n$ .

ب. تصنيف مجالات التخطيط

صنف المؤلفون مجالات التخطيط بناءً على خصائصها الهيكلية لتحديد مدى انتمائها إلى C*-RASP:

الخالي من الحذف (Delete-Free): الإجراءات تضيف الحقائق فقط (لا توجد عمليات حذف).
جيد التكوين (Well-Formed): كل تطبيق للإجراء يغير الحالة بشكل صارم (لا توجد إجراءات "لا-عمل" أو no-op؛ التأثيرات تقلب القيم المنطقية).
STRIPS: التخطيط القياسي بدون تأثيرات شرطية (لكن يسمح بالحذف والـ no-ops).
التأثيرات الشرطية (Conditional Effects): الإجراءات لها تأثيرات تعتمد على الحالة الراهنة.

ج. الإعداد التجريبي

المجالات: تم إنشاء ثلاثة مجالات مخصصة:
- Heavy Grippers (المقابض الثقيلة): روبوت يحرك كرات (متغيرات: Well-Formed، Delete-Free).
- Colors (الألوان): إضافة/إزالة كرات ملونة من أكياس (متغيرات: Well-Formed، Standard STRIPS).
- Lights Out (إطفاء الأنوار): تقليب الأضواء في شبكة (متغيرات: Well-Formed، Conditional Effects).
البنية (Architecture): محول (Transformer) من نوع Decoder-only يعتمد على GPT-2 مع ترميز موضعي مطلق (APE).
التدريب/الاختبار: تم التدريب على خطط بطول 11–100؛ والاختبار على التوزيع الداخلي (ID) 11–100 والتوزيع الخارجي (OOD) 101–200. تباينت أعداد الكائنات مع طول الخطة.

3. المساهمات الرئيسية

إطار عمل C-RASP:* تقديم C*-RASP ومفهوم "المحول ذو الحد الرمزي"، مما يوفر أول ضمانات نظرية للتعميم على الطول في المحولات عندما ينمو حجم المفردات (عدد الكائنات) وقت الاختبار.
التوصيف النظري للتحقق من الخطط:
- النتيجة الإيجابية: التحقق من الخطط لمجالات Delete-Free و Well-Formed يقع ضمن C*-RASP. يمكن للمحولات تعلم التحقق من هذه الخطط بشكل مثبت مع تعميم مثالي على التسلسلات الأطول ومجموعات الكائنات الأكبر.
- النتيجة السلبية: التحقق من الخطط لمجالات STRIPS العامة والمجالات ذات التأثيرات الشرطية ليس ضمن C*-RASP. هذه المهام تختزل إلى لغات Flip-Flop أو PARITY، وهي لغات معروفة باستحالة تعلمها بواسطة المحولات فيما يتعلق بالتعميم على الطول.
الرؤية الهيكلية: توضح الورقة أن الصياغة الهيكلية لمشكلة التخطيط (مثل ما إذا كانت الإجراءات جيدة التكوين) هي المحدد الأكثر حسمًا لقابلية التعلم من مجرد عدد الإجراءات أو الكائنات.

4. النتائج

النتائج النظرية

مبرهنة 3.1 و 3.6: أثبتت أنه إذا كان المجال من نوع Delete-Free أو Well-Formed، فإن لغة الخطط الصالحة تقع ضمن C*-RASP (وكذلك C-RASP للمفردات الثابتة). وعلى العكس، فإن مجالات STRIPS والتأثيرات الشرطية تحتوي على حالات متماثلة مع Flip-Flop أو PARITY، مما يضعها خارج نطاق C*-RASP.
الاستنتاج: يمكن للمحولات التعميم إلى أطوال لانهائية وأعداد كائنات لانهائية لمهام Well-Formed/Delete-Free، لكنها ستفشل في التعميم لمهام STRIPS غير المقيدة أو مهام التأثيرات الشرطية، بغض النظر عن حجم بيانات التدريب.

النتائج التجريبية

Well-Formed & Delete-Free: حققت النماذج دقة تقارب الكمال (حوالي 1.0) في كل من ID و OOD (خطط أطول، كائنات أكثر) لمجالي Heavy Grippers و Colors.
STRIPS (Colors): بينما كانت دقة ID عالية، انخفض الأداء بشكل كبير في OOD (خطط أطول)، مما يؤكد التنبؤ النظري بضعف التعميم.
Conditional Effects (Lights Out): أدت النماذج أداءً بمستوى الصدفة (0.5) حتى مع مجموعات الكائنات الثابتة، مما يؤكد أن التعقيد الهيكلي يمنع التعلم.
نجاح إعادة الصياغة: مجال "Lights Out"، عند إعادة صياغته من التأثيرات الشرطية إلى نسخة Well-Formed (عبر توسيع مساحة الإجراءات لتغطية جميع تركيبات الحالة)، حقق تعميماً شبه مثالي، مما يثبت صحة النظرية بأن الخصائص الهيكلية هي التي تقود قابلية التعلم.

5. الأهمية

تفسير الفشل: تقدم الورقة تفسيراً نظرياً رصيناً لسبب معاناة النماذج اللغوية الكبيرة (LLMs) مع التخطيط: العديد من معايير التخطيط القياسية (مثل STRIPI) تتطلب بطبيعتها أنماط استدلال (مثل Flip-Flop) لا تستطيع المحولات التعميم عليها.
توجيه الممارسة العملية: تقترح الورقة أنه لكي تكون المحولات فعالة في التخطيط، يجب إعادة صياغة المشكلات لتكون "Well-Formed" أو "Delete-Free". يمكن تحقيق ذلك عبر تجميع التأثيرات الشرطية في إجراءات صريحة أو ضمان أن انتقالات الحالة أحادية الاتجاه (monotonic) بشكل صارم.
التقدم النظري: يوسع إطار C*-RASP فهم التعبيرية للمحولات بما يتجاوز الأبجديات الثابتة، مما يقدم عدسة جديدة لتحليل التعميم في المهام التي تتضمن مجموعات ديناميكية من الكيانات (مثل الاستدلال حول الرسوم البيانية، الكود، أو الأنظمة متعددة الوكلاء حيث يتغير عدد الوكلاء).
القيود: تنطبق النظرية على التحقق، وليس التوليد، وتفترض محولات قياسية بدون استخدام "سلسلة الأفكار" (Chain-of-Thought/scratchpads). ومع ذلك، فهي تضع خط أساس لما هو ممكن بدون هذه الآليات المكلفة.

باختصار، تربط الورقة بين نظرية اللغات الرسمية والتخطيط بالذكاء الاصطناعي تجريبياً، مثبتة أن الخصائص الهيكلية للمجال (تحديداً جودة التكوين/well-formedness) هي العامل الحاسم في قدرة المحولات على تعميم التحقق من الخطط لأطوال وأعداد كائنات غير مرئية.