💻 computer science

Emergent Neural Automaton Policies: Learning Symbolic Structure from Visuomotor Trajectories

تقدم الورقة البحثية ENAP، وهو إطار عمل عصبي-رمزي ثنائي المستوى يستنتج تكيفياً آلة حالة "ميلي" (Mealy state machine) قابلة للتفسير من عروض توضيحية بصرية حركية لتوجيه متحكم منخفض المستوى، محققاً بذلك كفاءة عينة فائقة وأداءً في المهام طويلة المدى مقارنة بالسياسات النهائية المتكاملة (end-to-end) المتطورة دون الحاجة إلى أولويات رمزية مصممة يدوياً أو تسميات خاصة بالمهمة.

المؤلفون الأصليون: Yiyuan Pan, Xusheng Luo, Hanjiang Hu, Peiqi Yu, Changliu Liu

نُشر 2026-03-30

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yiyuan Pan, Xusheng Luo, Hanjiang Hu, Peiqi Yu, Changliu Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتاً بناء قلعة معقدة من قطع "ليجو".

إذا استخدمت الذكاء الاصطناعي التقليدي "من الطرف إلى الطرف" (End-to-End) (مثل النماذج الشائعة حالياً)، فكأنك تقدم للروبوت صورة ضخمة وضبابية للقلعة الجاهزة وتقول له: "فقط انسخ هذه". سيحاول الروبوت حفظ كل بكسل وكل حركة عضلة في آن واحد. هذا يعمل بشكل جيد للمهام البسيطة، ولكن إذا طلبت منه بناء قلعة بمخطط ألوان مختلف أو شكل مختلف قليلاً، فسيصاب بالارتباك. إنه "صندوق أسود" — نحن لا نعرف لماذا ارتكب خطأً، وهو يحتاج لرؤية آلاف الأمثلة ليتعلم.

أما إذا استخدمت الذكاء الاصطناعي "الرمزي" (Symbolic AI) القديم، فكأنك تعطي الروبوت دليلاً إرشادياً مكتوباً بخط اليد وصارماً للغاية: "الخطوة 1: التقط القطعة الحمراء. الخطوة 2: تحرك إلى الإحداثي X. الخطوة 3: ضع القطعة". هذا واضح ومنطقي جداً، ولكنه ينهار فوراً إذا أسقط الروبوت قطعة أو إذا كانت الطاولة مائلة قليلاً. لا يمكنه التكيف مع العالم الحقيقي لأن القواعد صارمة للغاية.

إطار عمل ENAP (سياسة الآلية العصبية الناشئة - Emergent Neural Automaton Policy) هو الحل "المثالي" (Goldilocks). إنه إطار عمل يعلم الروبوت كيف يستنتج منطقه الخاص أثناء تعلم كيفية الحركة.

إليك كيف يعمل، مقسماً إلى ثلاثة أجزاء بسيطة:

1. مرحلة "المحقق" (إيجاد القصة)

بدلاً من إعطاء الروبوت دليلاً إرشادياً، نعرض عليه فيديو لخبير بشري يبني القلعة. يشاهد الروبوت الفيديو ويتصرف كمحقق.

التشبيه: تخيل مشاهدة فيلم وتدرك: "أوه، البطل الآن في مشهد 'المطاردة'"، ثم "الآن هو في مشهد 'الاختباء'".
ما يفعله ENAP: ينظر إلى بيانات الفيديو المستمرة والفوضوية ويقوم تلقائياً بتجميع اللحظات في "مراحل" أو "أنماط" متميزة. هو يكتشف أن هناك مرحلة "الوصول"، ومرحلة "الإمساك"، ومرحلة "الإدخال". لا يحتاج إلى إنسان ليخبره بوجود هذه المراحل؛ بل يكتشفها بنفسه.

2. مرحلة "راسم الخرائط" (رسم المخطط الانسيابي)

بمجرد أن يحدد الروبوت هذه المراحل، يقوم برسم مخطط انسيابي (آلة حالة - State Machine).

التشبيه: فكر في خريطة مترو الأنفاق. المحطات هي المراحل (الوصول، الإمساك، الإدخال)، والخطوط هي الوصلات بينها.
السر الخفي: هذه الخريطة ليست جامدة. إذا حاول الروبوت إدخال وتد وفشل (خطأ ما)، فإن الخريطة تعرف أن هناك "حلقة تكرار" للعودة إلى محطة "المحاذاة" للمحاولة مرة أخرى. هو يتعلم أن الأخطاء تحدث وأن الخطوة المنطقية التالية هي "العودة والمحاولة مجدداً"، بدلاً من مجرد التوقف أو الانهيار. يُسمى هذا التعافي الذاتي من الفشل (Autonomous Failure Recovery).

3. مرحلة "السائق" (المهارات الحركية الدقيقة)

الآن يمتلك الروبوت خريطة عالية المستوى (المخطط الانسيابي)، لكنه لا يزال بحاجة لمعرفة كيفية تحريك أصابعه بدقة للإمساك بقطعة محددة.

التشبيه: المخطط الانسيابي هو نظام الـ GPS الذي يخبرك: "انعطف يساراً عند التقاطع القادم". أما "السائق" فهو يداك اللتان تقودان السيارة بالفعل.
كيف يعمل: يعطي المخطط الانسيابي تعليمات "عامة" (مثل: "حرك اليد نحو القطعة"). بعد ذلك، تقوم شبكة عصبية صغيرة وسريعة (الشبكة المتبقية - Residual Network) بإضافة التعديلات الدقيقة والصغيرة اللازمة للإمساك بالقطعة دون إسقاطها.

لماذا يعد هذا أمراً مهماً؟

يتعلم بشكل أسرع: لأن الروبوت يفهم بنية المهمة (المخطط الانسيابي)، فهو لا يحتاج لحفظ كل حركة من الصفر. الأمر يشبه تعلم قواعد لعبة الشطرنج بدلاً من حفظ كل مباراة ممكنة. تُظهر الورقة البحثية أنه يحتاج إلى نقاط بيانات أقل بنسبة 39% للتعلم مقارنة بأفضل الطرق الأخرى.
قابل للتفسير: إذا فشل الروبوت، يمكننا النظر في المخطط الانسيابي والقول: "آه، لقد علق في حلقة 'المحاذاة' لأن الوتد كان مائلاً". يمكننا معرفة سبب فشله. الذكاء الاصطناعي التقليدي هو صندوق أسود؛ أما ENAP فهو صندوق أبيض بخريطة واضحة.
يتعامل مع "ماذا لو": إذا غيرت المهمة قليلاً (على سبيل المثال: "رتب القطع بترتيب مختلف")، يمكن للروبوت غالباً اتباع مسار مختلف في خريطته الموجودة بالفعل، بينما قد تحتاج الروبوتات الأخرى إلى إعادة تدريب من الصفر.

باخت-الاختصار

ENAP هو نظام تعلم للروبوت يعلمه كيف يكتب دليله الإرشادي الخاص أثناء تعلم كيفية الحركة. إنه يفصل بين "التفكير في الصورة الكبيرة" (التخطيط للخطوات) وبين "ذاكرة العضلات" (تحريك الذراع)، مما يسمح للروبوت بأن يكون ذكياً، متكيفاً، وسهل الفهم، حتى عندما تسوء الأمور.

إليك ملخص تقني مفصل لورقة البحث "السياسات العصبية الآلية الناشئة: تعلم البنية الرمزية من مسارات التحكم البصري الحركي" (ENAP).

1. بيان المشكلة

لا يزال توسيع نطاق تعلم الروبوتات ليشمل المهام طويلة الأمد يمثل تحديًا حرجًا. تواجه النهج الحالية ثنائية:

السياسات من النهاية إلى النهاية (مثل نماذج VLA): رغم فعاليتها في المهام القصيرة، إلا أنها غالبًا ما تفتقر إلى الأولويات الهيكلية، مما يؤدي إلى سياسات "الصندوق الأسود" التي تتطلب بيانات كثيفة، وتفتقر إلى الشفافية الدلالية، وتواجه صعوبة في التفكير متعدد المراحل.
الأسالهم النيوروسيمبولية (العصبية الرمزية) التقليدية: توفر قابلية للتفسير وهيكلية، لكنها تعتمد بشكل كبير على أولويات رمزية مصممة يدويًا (مثل محددات المنطق الزمني المعرفة يدويًا)، مما يحد من قدرتها على التكيف ويتطلب هندسة خبيرة كبيرة.

السؤال الجوهري: كيف يمكن للبنية المنطقية للتخطيط عالي المستوى (النظام 2) أن تنشأ طبيعيًا من التدفق الإدراكي للتحكم منخفض المستوى (النظام 1) دون تسميات يدوية أو رموز محددة مسبقًا؟

2. المنهجية: إطار عمل ENAP

يقترح ENAP (السياسة الآلية العصبية الناشئة) إطار عمل نيوروسيمبولي ثنائي المستوى يعيد بناء بناء الحالة على مستوى المهمة بشكل غير مشرف من المسارات البصرية الحركية الخام. وهو يجمع بين مخطط منفصل عالي المستوى ومتحكم مستمر منخفض المستوى.

أ. البنية الأساسية

تتم تمثيل السياسة كـ آلة ميلي احتمالية (PMM) مقترنة بـ شبكة متبقية (Residual Network):

المستوى العالي (النظام 2): آلة ميلي احتمالية ( $M = (Q, \Sigma, \Gamma, \delta, \lambda, q_0)$ $M = (Q, Σ, Γ, δ, λ, q_{0})$ ) تلتقط مراحل المهمة الكامنة (الحالات) والانتقالات.
- الحالات ( $Q$ ): أوضاع المهمة المنفصلة (مثل "الوصول"، "الإمساك").
- الانتقالات ( $\delta$ ): انتقالات احتمالية بين الأوضاع بناءً على الملاحظات.
- المخرجات ( $\lambda$ ): أولويات الأفعال الخشنة (متوسط الأفعال) لكل زوج من (الحالة-المدخل).
المستوى المنخفض (النظام 1): شبكة متبقية ( $\pi_\psi$ $π_{ψ}$ ) تأخذ الأكشن المرجعي الخشن والملاحظة الحالية للتنبؤ بأفعال التحكم المستمرة الدقيقة.
- الفعل النهائي: $\hat{a}_t = a_{base} + \Delta a_t$ ، حيث يأتي $a_{base}$ من الـ PMM و $\Delta a_t$ هو المتبقي.

ب. خط معالجة ثلاثي المراحل

يعمل إطار العمل عبر عملية توقع تعظيم (EM) تكرارية (الخوارزمية 2):

التجريد الرمزي (خطوة E):
- الترميز: يتم ترميز الملاحظات المستمرة (الصور + الإدراك الحسي العميق) إلى ناقلات ميزات $z_t$ باستخدام مشفر عصبي ( $\phi_\theta$ ).
- التجميع (Clustering): يقوم خوارزمية تجميع تكيفية (HDBSCAN) بتجميع هذه الميزات في رموز منفصلة ( $\Sigma$ )، مما يؤدي فعليًا إلى تحويل الفضاء المستمر إلى منفصل دون الحاجة لتسميات.
- تضمين RNN: تقوم شبكة RNN برسم خرائط لتسلسلات التاريخ متغيرة الطول من الأفعال والرموز إلى تضمينات ثابتة الحجم ( $h_t$ ) لتعمل كبدائل مستمرة للحالات المنفصلة. ويضمن فقدان التباين (Contrastive Loss) تجمع التضمينات حول مراكز مشبعة، مما يسهل تمييز الحالات.
استخراج البنية (خوارزمية $L^*$ الموسعة):
- قام المؤلفون بتوسيع خوارزمية $L^*$ الخاصة بـ Angluin لتعمل مع البيانات المستمرة وبدون "عراف" (Oracle).
- استعلام العضوية ذاتي الإشراف (MQ): بدلاً من استعلام العراف، تقوم الخوارزمية بالتنقيب في مجموعة بيانات العروض التوضيحية. تتحقق مما إذا كانت تضمينات التاريخ الجديدة تقع ضمن عتبة تشابه ( $\tau_{sim}$ ) من المراكز الموجودة. إذا لم تكن كذلك، يتم إضافة حالة جديدة (لضمان الانغلاق/Closedness).
- استعلام التكافؤ غير الحتمي (EQ): يتحقق من صحة الفرضية من خلال فحص ما إذا كان يمكن تفسير المسارات الاختبارية بواسطة مسار واحد صالح على الأقل في الـ PMM. إذا فشل مسار ما، يتم إضافة البادئة المسببة للفشل كـ "مثال مضاد" لتنقيح البنية.
- التقليم (Pruning): يتم دمج المراحل المستقرة (الحلقات الذاتية) لإنشاء آلة آلية مدمجة.
تحسين السياسة (خطوة M):
- مع تثبيت بنية الـ PMM، يتم ضبط الشبكة المتبقية والمشفر عبر استنساخ السلوك (BC).
- يقلل الهدف من الخطأ بين الفعل المتوقع والفعل الخبير، مع وجود حد تنظيم ( $L_{center}$ ) يبقي الميزات قريبة من مراكز التجميع للحفاظ على الفصل الهيكلي.

3. المساهمات الرئيسية

اكتشاف البنية الناشئة: يعد ENAP أول إطار عمل يتعلم آلة حالة ميلي بشكل غير مشرف مباشرة من المسارات البصرية الحركية الخام، مما يلغي الحاجة إلى أولويات رمزية مصممة يدويًا أو تسميات خاصة بالمهمة.
سياسة نيوروسيمبولية ثنائية المستوى: يوحّد بين الاستدلال المنفصل (عبر الآلة الآلية) والتحكم المستمر (عبر الشبكة المتبقية)، مما يوفر تمثيلاً يكون كلاهما قابلاً للتنفيذ حركيًا للروبوتات ودلاليًا قابلًا للتفسير للبشر.
خوارزمية $L^*$ الموسعة للروبوتات: يقدم البحث تعديلًا مبتكرًا لخوارزمية $L^*$ يتعامل مع المدخلات المستمرة، والعشوائية، وتنقيب البيانات دون اتصال (Offline Data Mining)، مما يسد الفجوة بين تعلم الآلات الرسمية والتعلم التعزيزي العميق.
التبرير النظري: يقدم المؤلفون اشتقاقًا دقيقًا يوضح كيف يقوم التصميم ثنائي المستوى بتحليل معادلة بلمان (Bellman equation)، مما يقلل من تعقيد التقريب الوظيفي عبر فصل الديناميكيات العالمية عن المتبقيات المحلية.

4. النتائج التجريبية

أجريت التجارب على مهام التلاعب المعقد، و TAMP طويل الأمد، و الواقع الحقيقي.

الأداء مقابل أحدث ما توصل إليه العلم (SoTA):
- في الأنظمة ذات البيانات المنخفضة، يتفوق ENAP على سياسات VLA من النهاية إلى النهاية (مثل OpenVLA، $\pi_0$ ) في معدل النجاح بنسبة تصل إلى 27%.
- في مهمة DualStackCube، حقق ENAP نجاحًا بنسبة 76.0% مع 22.9 مليون معلمة فقط، مقارنة بـ 69.8% لـ OpenVLA (الذي يمتلك 7.6 مليار معلمة).
- في TAMP طويل الأمد (CALVIN)، أدى EN completion (التقطير) من VLA مدرب مسبقًا (FLOWER) إلى تحسين إكمال المهام المتسلسلة من 91.0% إلى 97.0%.
كفاءة العينات: يحافظ ENAP على فعالية عالية حتى مع 25% فقط من بيانات التدريب، مما يثبت أن الـ PMM المستخرجة تعمل كتحيز استقرائي قوي.
القابلية للتفسير والتعافي:
- نجحت الآلات الآلية المتعلمة في تحديد التفرع المنطقي (على سبيل المثال، اختيار استراتيجيات إمساك مختلفة بناءً على موقع الكائن).
- التعافي الذاتي من الفشل: تعلمت الـ PMM الانتقال عائدة إلى حالات سابقة (مثل $q_2 \to q_1$ ) لإعادة محاولة الأفعال عند حدوث خطأ، وهو سلوك لم يتم برممجته صراحة ولكن انبثق من البيانات.
التعميم: في المهام متعددة الأنماط (الدفع نحو أهداف متعددة)، نجح ENAP في فصل أنماط البيانات المتضاربة إلى مسارات طوبولوجية متميزة، متفوقًا على السياسات الموحدة التي تميل إلى متوسط التدرجات المتضاربة.

5. الأهمية

يمثل هذا العمل خطوة مهمة نحو ذكاء روبوتي قابل للتعميم والتفسير.

جسر الفجوة: يحل مشكلة "المحاذاة" بين التخطيط المعرفي عالي المستوى والتحكم الحسي الحركي منخفض المستوى من خلال السماح للبنية بالنشوء من البيانات بدلاً من فرضها من قبل البشر.
كفاءة البيانات: من خلال تفكيك المشكلة إلى مراحل منفصلة ومتبقيات مستمرة، فإنه يقلل بشكل كبير من البيانات المطلوبة لتعلم المهام المعقدة وطويلة الأمد.
السلامة والثقة: توفر الآلة الآلية الصريحة خريطة شفافة لمنطق اتخاذ القرار لدى الوكيل، مما يسمح بالتحقق الرسمي وتسهيل تصحيح الأخطاء مقارنة بالشبكات العصبية "الصندوق الأسود".

باختصار، يثبت ENAP أن السلوكيات الروبوتية المعقدة يمكن تفكيكها إلى بنية هرمية ناشئة تجمع بين قوة التخطيط الرمزي ومرونة التحكم العصبي، مما يمهد الطريق لوكلاء مستقلين أكثر كفاءة وقابلية للتفسير.