🤖 machine learning

Zero-shot Imitation Learning by Latent Topology Mapping

تقدم الورقة البحثية ZALT، وهي طريقة للتعلم بالتقليد بنمط "الصفر محاولة" (zero-shot) تعمل على تحديد حالات المحور الكامنة لتعلم انتقالات "من محور إلى محور" قابلة للتركيب، مما يمكّن الوكلاء من التخطيط والنجاح في حل مهام طويلة الأمد غير مرئية مشروطة بالأهداف في بيئات معقدة تفشل فيها الطرق التقليدية بسبب تراكم الأخطاء.

المؤلفون الأصليون: Maxwell J. Jacobson, Yexiang Xue

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Maxwell J. Jacobson, Yexiang Xue

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيفية التنقل في متاهة ضخمة ومعقدة. يحتاج الروبوت إلى التقاط مفاتيح ملونة محددة، وفتح أبواب معينة، والتقاط جواهر لامعة، ثم وضعها في برميل بترتيب محدد للغاية.

المشكلة هي أنك لا تملك فيديو يظهر الروبوت وهو ينفذ كل مجموعة ممكنة من هذه المهام بنجاح. لديك فقط بضعة فيديوهات تظهره وهو يقوم ببعض هذه المهام. إذا حاولت تعليم الروبوت القيام بمجموعة جديدة وغير مسبوقة من المهام عبر مجرد تقليد الحركات الخام خطوة بخطوة، فمن المرجح أن يفشل. لماذا؟ لأنه في الرحلة الطويلة، تتراكم الأخطاء الصغيرة. إذا انعطف الروبوت جهة اليسار أكثر قليلاً في الخطوة رقم 5، فقد يجد نفسه في الغرفة الخطأ تماماً بحلول الخطوة رقم 50.

تقدم هذه الورقة البحثية طريقة تسمى ZALT (الوكلاء من التوبولوجيا الكامنة ذوي القدرة على التعلم الصفري) لحل هذه المشكلة. وإليك كيف تعمل، مشروحة ببساطة:

1. المشكلة: "فخ الخطوة بخطوة"

تخيل أنك تحاول كتابة وصفة لوجبة معقدة عن طريق سرد كل حركة صغيرة بدقة: "ارفع الملعقة، حركها بمقدار بوصتين لليسار، أمل المعصم 5 درجات". إذا ارتكبت خطأً في الحركة الأولى، فستفسد الوجبة بأكملها.

في متاهة هذه الورقة، يتعين على الروبوت القيام بمئات الحركات الصغيرة (الأفعال الأولية) للانتقال من البداية إلى الهدف. إذا حاول الروبوت تعلم مسار جديد تماماً عبر تخمين كل حركة، فإن الأخطاء الصغيرة ستتراكم، وسيتوه في الطريق.

2. الحل: إيجاد "محطات المركز"

تبحث طريقة ZALT في الفيديات القليلة التي تملكها وتسأل: "أين تتقاطع هذه المسارات؟ وأين تنقسم؟"

إنها تحدد "حالات مركزية" (Hub States) خاصة. فكر في هذه الحالات كأنها محطات قطارات رئيسية في مدينة ما.

التقارب (Convergence): العديد من المسارات المختلفة تؤدي إلى هذه المحطة (على سبيل المثال: الجميع يأتون من الشمال، والجنوب، والشرق ليلتقوا في "المحطة المركزية").
التباعد (Divergence): من هذه المحطة، يمكنك الذهاب في اتجاهات عديدة (على سبيل المثال: من "المحطة المركزية"، يمكنك استقلال قطار إلى الشاطئ، أو الجبال، أو المدينة).

بدلاً من حفظ كل خطوة في الرحلة، تحول ZALT المتاهة إلى خريطة لهذه المحطات. إنها تتجاهل التفاصيل الصغيرة للمشي بين المحطات وتركز على الروابط بين المحطات.

3. كيف تتعلم: "الخريطة التوبولوجية"

تبني ZALT خريطة ذهنية (توبولوجيا) حيث:

العُقد (Nodes): هي المحطات المركزية (مثل "تقاطع الممرات" أو "غرفة المفتاح").
الحواف (Edges): هي المسارات المثبتة بين تلك المحطات (مثل "المسار من غرفة المفتاح إلى الممر").

وهي تتعلم شيئين:

الخريطة: أي المحطات تتصل بالأخرى؟ (مثلاً: "يمكنك الذهء من الممر إلى الباب، ولكن فقط إذا كنت تملك المفتاح").
السائقون (Drivers): تقوم بتدريب "سائق" (سياسة/Policy) محدد لكل طريق على الخريطة. هناك سائق يعرف بالضبط كيفية الانتقال من الممر إلى الباب. وسائق آخر يعرف كيفية الانتقال من الباب إلى الجوهرة.

4. حل مهمة جديدة: "سحر التعلم الصفري" (Zero-Shot Magic)

الآن، تخيل أنك أعطيت الروبوت مهمة جديدة لم يسبق له رؤيتها من قبل: "ابدأ من الباب الخلفي، أحضر الجوهرة الخضراء، ثم الجوهرة الحمراء".

الروبوت لم يرَ هذه الرحلة تحديداً من قبل. لكنه يعرف الخريطة!

يحدد محطة "الباب الخلفي" على خريطته.
يحدد محطتي "الجوهرة الخضراء" و"الجوهرة الحمراء".
ينظر إلى الخريطة ويخطط لمسار: محطة الباب الخلفي -> محطة الممر -> محطة غرفة المفتاح -> محطة الجوهرة الخضراء -> الممر -> محطة الجوهرة الحمراء.
هو لا يخمن الخطوات. بل يقوم ببساطة باستدعاء "السائقين" المدربين مسبقاً لكل جزء من الرحلة. إنه يسلم مهمة "الممر إلى الباب" للسائق المختص، ثم يسلم مهمة "الباب إلى الجوهرة" للسائق الآخر، وهكذا.

ولأن اتخاذ القرارات يتم فقط على مستوى "المحطات" (التخطيط رفيع المستوى) وليس على مستوى "الخطوة" (المشي منخفض المستوى)، فإنه لا يراكم الأخطاء الصغيرة. يمكنه ربط رحلة جديدة تماماً باستخدام القطع التي رآها من قبل.

النتائج

اختبر الباحثون هذه الطريقة في متاهة ثلاثية الأبعاد معقدة تحتوي على مفاتيح، وأبواب مغلقة، وجواهر.

الطريقة القديمة (النماذج المرجعية): عند إعطائها مهمة جديدة، نجحت أفضل الطرق الموجودة بنسبة 6% فقط. لقد تاهت لأنها حاولت حفظ المسار الطويل بالكامل دفعة واحدة.
طريقة ZALT: نجحت بنسبة 55% في المهام التي لم ترها من قبل.

الخلاصة

ZAL T تشبه تعليم المسافر ليس من خلال إظهار كل خطوة في رحلة سير طويلة، بل من خلال إظهار علامات الطريق وأماكن التخييم. بمجرد أن يعرف أين تقع أماكن التخييم وكيفية التنقل بينها، يمكنه اكتشاف مسار جديد لم يسلكه من قبل، طالما أنه يستخدم نفس أماكن التخييم.

تدعي الورقة البحثية أن هذه الطريقة تسمح للوكيل (Agent) بحل مهام طويلة ومعقدة لم يسبق له رؤيتها، ببساطة عن طريق إعادة دمج "المراكز" (المواقع الرئيسية) التي تم العث ورها من مجموعة محدودة من فيديوهات التدريب.

ملخص تقني: التعلم بالتقليد صفري المحاولة عبر رسم خرائط الطوبولوجيا الكامنة (ZALT)

تعريف المشكلة

تتناول الورقة البحثية تحدي تركيب السلوك صفري المحاولة في التعلم بالتقليد طويل الأمد والموجه بالأهداف. في هذا الإعداد، يتم تزويد الوكيل بمجموعة بيانات ثابتة (offline) من عروض الخبراء التي تغطي فقط مجموعة فرعية من مهام (البداية-الهدف) الممكنة. الهدف هو تمكين الوكيل من حل تركيبات (بداية-هدف) غير مرئية دون تفاعل إضافي مع البيئة أو تحسين للسياسة.

يكمن الصعوبة الجوهرية في تراكم الأخطاء عبر المسارات الطويلة. تفشل الطرق الحالية، مثل التقليد السلوكي (behavioral cloning) أو التقليد القائم على النموذج (model-based imitation)، في هذا النطاق لأن أخطاء السياسة أو النموذج أو انزياح التوزيع الصغيرة تتراكم عبر مئات الخطوات الإجرائية عندما يحاول الوكيل تركيب سلوكيات خارج توزيع (البداية-الهدف) الموضح في البيانات. وتفترض الورقة أنه بينما قد تفتقر مجموعة البيانات الثابتة إلى مسارات كاملة للمهام الجديدة، إلا أنها من المرجح أن تحتوي على الأجزاء السلوكية المحلية اللازمة؛ والتحدي يكمن في تعلم كيفية إعادة دمج هذه الأجزاء بشكل موثوق.

المنهجية: ZALT

يقترح المؤلفون الوكلاء من الطوبولوجيا الكامنة (ZALT)، وهي طريقة تحول مجموعة ثابتة من العروض إلى هيكل قابل للتركيب للتخطيط عالي المستوى. يتكون النهج من أربع مراحل رئيسية:

1. اكتشاف المركز الكامن (Latent Hub Discovery)

يقوم ZALT أولاً ببناء طوبولوجيا سلوكية عن طريق تحديد "حالات المركز" (hub states) ضمن بيانات العروض. تعمل هذه المراكز كوصلات قابلة لإعادة الاستخدام حيث تتقارب المسارات أو تتباعد.

الفضاء الكامن: للتعامل مع الملاحظات عالية الأبعاد، يستخدم ZALT نموذج (مشفر-ديناميكا-فك تشفير) منخفض المستوى لرسم خرائط الحالات إلى فضاء كامن متوافق مع الديناميكا. يتم تدريب هذا الفضاء للتنبؤ بالحالات المستقبلية بناءً على الأفعال، مما يضمن تجميع الحالات المتشابهة سلوكياً (بدلاً من المتشابهة بصرياً فقط) معاً.
تحديد المراكز: تُعرف المراكز بأنها عناقيد كامنة حيث:
- التقارب (Convergences): تدخل مسارات سابقة متميزة متعددة إلى نفس العنقود.
  la التباعد (Divergences): يؤدي عنقود واحد إلى مسارات مستقبلية متميزة متعددة.
- البدايات/النهايات: تُعامل الحالات الأولية والنهائية أيضاً كعناقيد.
الأهمية: من خلال تحديد هذه المراكز، يقوم ZALT بضغط الآفاق الطويلة للأفعال الإجرائية إلى تسلسلات أقصر من الانتقالات المجردة، مما يعزل الأخطاء في الروابط بين المراكز بدلاً من المسار بأكمله.

2. تعلم نموذج ديناميكا المركز عالي المستوى

بمجرد إنشاء الطوبولوجيا (رسم بياني للمراكز والحواف)، يتعلم ZALT نموذج ديناميكا عالي المستوى ( $M^{high}$ ) يتنبأ بالمركز التالي بناءً على تسلسل المراكز التي تمت زيارتها حتى الآن ( $h_{0:m}$ ).

الوعي بالسياق: بخلاف التتبع البسيط للرسم البياني، يستخدم هذا النموذج وحدة GRU لالتقاط المعلومات المعتمدة على المسار. على سبيل المثال، الوصول إلى مركز "ممر" قد يؤدي إلى نتائج مختلفة اعتماداً على ما إذا كان الوكيل قد جمع مفتاحاً معيناً سابقاً.
القناع (Masking): يتم تدريب النموذج باستخدام قناع الطوبولوجيا؛ حيث يتم تعيين احتمالية صفر للانتقالات التي لا تدعمها أي حافة في العروض، مما يمنع المخطط من محاولة تنفيذ سلوكيات غير مدعومة.

3. تعلم سياسات المركز إلى المركز

لكل حافة في الطوبولوجيا (الانتقال من مركز $h_i$ إلى مركز $h_j$ )، يدرب ZALT سياسة منخفضة المستوى محددة ( $\pi_{h_i}$ ) مشروطة بتمثيل (embedding) المركز المستهدف.

التقليد السلوكي: يتم تدريب هذه السياسات عبر التقليد السلوكي على أجزاء الأفعال الإجرائية من العروض التي تربط بين المركز المصدر والمركز المستهدف المحدد.
المتانة: للتعامل مع تباينات التوقيت وأخطاء اكتشاف الحدود، يتضمن التدريب اضطراباً عشوائياً للحدود (بتقليص أو تمديد الأجزاء) وضوضاء في الملاحظات.

4. الاستدلال صفري المحاولة

عند وقت الاختبار، وبالنظر إلى زوج (بداية-هدف) جديد:

الرسم (Mapping): يتم تشفير ملاحظة البداية ومطابقتها مع مركز بداية ( $h_s$ )؛ ويتم مطابقة الهدف مع مجموعة من مراكز النجاح النهائية ( $H_g$ ).
البحث (Search): تستكشف خوارزمية بحث (باستخدام تكلفة انتقال عنق الزجاجة) الطوبولوجيا السلوكية لإيجاد المسار الأكثر معقولية من $h_s$ إلى أي $h_g \in H_g$ . يعتمد البحث على نموذج الديناميكا عالي المستوى لتقييم معقولية المسار بناءً على التاريخ.
التنفيذ (Execution): يتم تنفيذ المخطط المجرد الناتج (تسلسل من المراكز) عن طريق ربط سياسات (المركز-إلى-المركز) المتعلمة.

المساهمات الرئيسية

رسم خرائط الطوبولوجيا الكامنة: تقديم طريقة لتحديد واستخدام حالات المركز الكامنة (التقارب/التباعد) كوصلات قابلة لإعادة الاستخدام لتركيب السلوك.
ضغط الأفق (Horizon Compression): آلية تقلل التخطيط طويل الأمد من مئات القرارات الإجرائية إلى تسلسل قصير من انتقالات المراكز المجردة، مما يقلل بشكل كبير من فرص تراكم الخطأ.
الديناميكا المعتمدة على المسار: نموذج عالي المستوى يشترط تنبؤاته المستقبلية على تسلسل المراكز المزورة، وليس فقط الحالة الحالية، مما يسمح للوكيل بالاستدلال على السياق (مثل حالة المخزون) المشفر ضمنياً في تاريخ المسار.
التركيب صفري المحاولة: إطار عمل يمكّن من حل المهام ذات أزواج (بداية-هدف) لم تظهر أبداً في التدريب، بشرط وجود الأجزاء السلوكية المحلية الضرورية في مجموعة بيانات العروض.

النتائج التجريبية

يقيم المؤلفون ZALT في بيئة متاهة ثلاثية الأبعاد معقدة (نمط MiniWorld/CARL) تتطلب معالجة مرتبة للأجسام (مفاتيح، أبواب مغلقة، ألماس، وبرميل). تتضمن المهمة التنقل للوصول إلى مفاتيح محددة، فتح الأبواب، جمع العناصر، وإيداعها بترتيب معين.

مجموعة البيانات: 18 عرضاً ناجحاً و120 عرضاً فاشلاً تغطي فقط 18 من أصل 36 زوج (بداية-هدف) ممكن.
أداء صفري المحاولة: يحقق ZALT نسبة نجاح 55% في الـ 18 زوج (بداية-هدف) غير المرئية.
مقارنة مع النماذج المرجعية:
- DQN+BC: حقق 6% نجاح (أقوى نموذج مرجعي).
- CQL, IQL, Option-Critic: حققوا 0% نجاح.
- المهام المرئية: يحقق ZALM نسبة نجاح 72.2% في المهام المرئية، مقارنة بـ 11% لأقوى نموذج مرجعي، مما يشير إلى أن البيئة صعبة حتى بالنسبة للتقليد القياسي.
الكفاءة: تضغط خطط ZALM الناجحة حوالي 244–281 خطوة زمنية إجرائية في حوالي 33 انتقالاً على مستوى المركز (متوسط طول الحافة ~7.9 فعل).
دراسات الاستئصال (Ablation Studies):
- إزالة نموذج الديناميكا عالي المستوى (استبداله بـ BFS) أدى إلى 0% نجاح، مما يثبت أن اتصال الطوبولوجيا الخام غير كافٍ بدون التنبؤ المعتمد على المسار.
- إزالة ذاكرة GRU من المشفر منخفض المستوى أدت إلى 0% نجاح، مما يثبت أن اكتشاف المركز يتطلب سياقاً سلوكياً (مثل المفاتيح المجموعة) يتجاوز الملاحظة البصرية المباشرة.
التكيف عبر الإنترنت (Online Adaptation): بعد 500 حلقة من التفاعل عبر الإنترنت، فشلت النماذج المرجعية في استعادة الأداء، مما يشير إلى أن الصعوبة تنبع من الأفق الطويل والمكافآت النادرة بدلاً من نقص الممارسة.

الأهمية والادعاءات

تدعي الورقة أن ZALM يثبت أن الطوبولوجيا السلوكية الصريحة هي مكون حاسم للتعميم صفري المحاولة في التعلم بالتقليد طويل الأمد. ويجادل المؤلفون بأنه بينما تعاني الطرق القياسية عندما يكون مسار (البداية-الهدف) الكامل خارج التوزيع، فإن ZALM ينجح من خلال الاستفادة من "القطع السلوكية المحلية" الموجودة في البيانات.

تكمن الأهمية في القدرة على حل مهام معقدة وتركيبية دون الحاجة إلى مجموعة كاملة من العروض لكل تغيير ممكن في المهمة. ومن خلال ضغط أفق التخطيط ونمذجة اتصال الأجزاء السلوكية القابلة لإعادة الاستخدام بشكل صريح، يتغلب ZALM على مشكلة تراكم الخطأ التي تؤرق السياسات طويلة الأمد. ويخلص المؤلفون إلى أن هذا النهج يقدم اتجاهاً واعداً لتدريب الوكلاء في البيئات التفاعلية حيث يكون جمع مسارات الخبراء لكل مزيج ممكن من المهام أمراً غير ممكن.

تظل الورقة متواضعة فيما يتعلق بنطاقها، مشيرة إلى أن الطريقة تفترض وجود اتصال سلوكي قابل لإعادة الاستخدام في العروض، وأن جودة المركز تعتمد على التمثيل الكامن المتعلم. ويُقترح كعمل مستقبلي استكشاف القوى التي تدفع تشكيل المراكز وتكييف الإطار لبيئات التعلم عبر الإنترنت أو الهجينة.