ملخص تقني: تماثل زمن الوصول (Hitting Time Isomorphism) للتخطيط متعدد المراحل باستخدام السياسات التأسيسية

بيان المشكلة

تتناول هذه الورقة البحثية تحدي التعلم المعزز (RL) غير المتصل (Offline) الموجه بالأهداف لغرض تعلم السياسات التأسيسية (Foundation Policy Learning). الهدف هو تعلم سياسة قابلة لإعادة الاستخدام، ومستقلة عن الهدف، من مجموعة بيانات ثابتة من المسارات، بحيث يمكنها التعميم على مجموعة مفتوحة من الأهداف بطريقة "صفرية الاستباق" (Zero-shot).

تندرج الأساليب الحالية لتعلم تمثيل الحالة (State Representation Learning) في حالة "التعلم غير المتصل" ضمن ثلاث فئات، لكل منها قيود حرجة فيما يتعلق بـ التخطيط متعدد المراحل:

1. طرق مقاييس التتابع (Successor Measure Methods): رغم كونها غير خاضعة للإشراف، إلا أنها غالباً ما تفشل في تحقيق متباينة المثلث، مما يمنع تركيب المسافات عبر الأهداف الفرعية الوسيطة.
2. طرق مسافة الوصول (Reachability Distance Methods): غالباً ما تفرض هياكل مترية أو شبه مترية، لكنها تعتمد على الإشراف الموجه بالأهداف لتدريب السياسة، مما ينتهك شرط استقلالية السياسة عن الهدف المطلوب للسياسات التأسيسية.
3. طرق زمن الوصول (Hitting Time Methods): تحقق متباينة المثلث وتدعم التدريب غير الخاضع للإشراف، ولكنها تعتمد عادةً على المسافات الإقليدية المتماثلة. وهذا يفشل في التقاط الهندسة الزمنية الموجهة وغير القابلة للعكس في البيئات الواقعية، مما يؤدي إلى تخطيط دون المستوى حيث تمر المسارات عبر أهداف فرعية لا يمكن الوصول إليها في الاتجاه المطلوب.

حدد المؤلفون العنصر الأساسي المفقود وهو الهندسة الزمنية الموجهة المقاسة بخطوات الانتقال المنفصلة. ويقترحون زمن الوصول المتوقع (Expected Hitting Time) ككمية أساسية لاستعادتها، بهدف تعلم تمثيل تكون فيه أزمنة الوصول عبارة عن دالات خطية للإزاحات الكامنة، مما يحافظ على كل من الاتجاه والمقياس.

المنهجية: تعلم التضمين المتماثل (Isomorphic Embedding Learning - IEL)

المساهمة الجوهرية هي إطار عمل جديد يعتمد على نظرية المؤثرات وخوارزمية تعلم التضمين المتماثل (IEL).

1. الإطار النظري: تماثل زمن الوصول

يصيغ المؤلفون البيئة كـ عملية ماركوف متحكم بها (CMP) داخل فضاء هيلبرت. ويعرفون $\epsilon$-Sufficient CMP حيث تكون ديناميكيات الانتقال خطية تقريباً في فضاء سمات كامن $\phi$.

• التمثيل الخطي لأزمنة الوصول: تحت شرط أن الديناميكيات الكامنة تغلق خطياً واستيفاء شرط المدى الملحق (Adjoint Range Condition) محدد، فإن زمن الوصول المتوقع $V^\pi(x, g)$ من الحالة $x$ إلى الهدف $g$ يقبل تمثيلاً خطياً دقيقاً:
  $$V^\pi(x, g) = \langle \phi(g) - \phi(x), \omega^\pi_g \rangle_H$$
  هنا، $\omega^\pi_g$ هو متجه معرف للمهمة في فضاء هيلبرت. يثبت هذا أن دالات زمن الوصول تكافئ الإزاحات الكامنة حتى حد التماثل الخطي المحدود.
• القابلية للتعريف (Identifiability): تثبت الورقة أن أي تمثيل يستعيد هندسة زمن الوصول هذا هو قابل للتعريف بشكل فريد حتى تغيير خطي محدود في الإحداثيات (Theorem 2.3). وهذا يضمن أن الهندسة المتعلمة تعكس الهيكل الزمني الموجه الحقيقي للبيئة بدلاً من نظام إحداثيات عشوائي.
• حدود الخطأ: يظهر التحليل النظري أن خطأ زمن الوصول العالمي محدود بخطأ الانتقال الكامن لخطوة واحدة، والذي يتضخم بواسطة نصف قطر الطيف العابر (Transient Spectral Radius) للبيئة (Theorem 3.3). كما توضح الضمانات ذات العينات المحدودة (Finite-sample guarantees) أن الخطأ يتجزأ إلى حدود التقريب، والتعقيد الإحصائي، والتغطية، وعدم تطابق تسمية المسار (Theorem 3.5).

2. خوارزمية IEL

تقوم خوارزمية IEL بتشغيل هذه النظرية من خلال أربعة مكونات:

1. تعلم معرف المهمة: يتعلم نهج التعلم التبايني (InfoNCE loss) رسم خرائط $\omega_\psi(g)$ التي تحول الحالة المستهدفة إلى معرف للمهمة. هذا يؤسس المحور الاتجاهي في الفضاء الكامن، مما يسمح بحسابات زمن وصول غير متماثلة.
2. انحدار زمن الوصول: تقوم الخوارزمية بأخذ عينات من النقاط الوسيطة من المسارات غير المتصلة وتجري انحدار المئوية (Expectile Regression) للتنبؤ بتقدم زمن الوصول. هذا يوجه الهندسة نحو المسافات الأقصر داخل التوزيع (In-distribution).
3. تعلم الفرق الزمني (TD Learning): للتعامل مع ندرة البيانات طويلة المدى، تربط IEL بين صيغة زمن الوصول وأهداف نمط HILP. حيث تقدم تحيزاً اتجاهياً عبر تحويل:
   $$V^\pi(x, g) \approx \|\phi(g) - \phi(x)\| \exp(\beta(1 - \cos(\xi_{x \to g, g})))$$
   حيث $\xi$ هي الزاوية بين فرق التضمين ومعرف المهمة. هذا يعمل على معاقبة عدم المحاذاة الزاوية، مما يعمل كقيد اتجاهي ناعم غائب في الطرق المتماثلة.
4. التخطيط متعدد المراحل القائم على الرسم البياني: عند الاختبار، تبني IEL رسماً بيانياً موجهاً فوق مجموعة فرعية (Coreset) من الحالات الكامنة. تُحدد تكاليف الحواف بواسطة درجة زمن الوصول غير المتماثلة المتعلمة. وتتم عملية الملاحة عبر بحث المسار الأقصر من مصدر واحد (SSSP) على الرسم البياني المعكوس، مما يحول تنبؤات الزمن المحلي إلى خطط ملاحة عالمية صفرية الاستباق.

المساهمات الرئيسية

• نظرياً: إثبات وجود وقابلية تعريف تمثيل خطي الإزاحة لأزمنة الوصول في عمليات $\epsilon$-Sufficient CMP، مما يؤسس رابطاً صارماً بين نظرية المؤثرات ودالات زمن الوصول.
• خوارزمياً: تقديم IEL، وهي أول خوارزمية لتعلم السياسات التأسيسية تحقق في آن واحد: التدريب غير الخاضع للإشراف، المسافة الموجهة، ومتباينة المثلث.
• عملياً: إثبات أن دمج عدم التماثل الاتجاهي في هندسة التضمين يحسن بشكل كبير قدرات التخطيط متعدد المراحل مقارنة بالنماذج المتماثلة.

النتائج التجريبية

قيم المؤلفون خوارزمية IEL على ستة اختبارات معيارية للتعلم المعزز الموجه بالأهداف من مجموعة بيانات D4RL (مجموعات AntMaze و Kitchen).

• النماذج المرجعية: تمت المقارنة مع HILP (النموذج المرجعي الأساسي للسياسات التأسيسية)، وGC-IQL، وGC-CQL.
• الأداء:
  • تحقق IEL مع التخطيط البياني غير المتماثل نتائج هي الأفضل حالياً (SOTA)، متفوقة بشكل كبير على HILP والتخطيط الوسيط التكراري في بيئات مثل antmaze-ultra-diverse (79.0 مقابل 39.8) و antmaze-large-diverse (71.8 مقابل 68.0).
  • حتى النسخة المتماثلة من IEL (التي تستخدم مسافات متماثلة ولكن مع نفس التخطيط البياني) تتفوق غالباً على استراتيجية الوسيط المكرر الخاصة بـ HILP، مما يؤكد فعالية آلية التخطيط القائمة على الرسم البياني نفسها.
  • توفر النسخة غير المتماثلة مكاسب إضافية في أربعة من أصل ست بيئات، مما يؤكد ضرورة الهندسة الاتجاهية للملاحة المعقدة.
• الكفاءة: تكلفة تدريب IEL مشابهة لـ HPL. يعمل التخطيط البياني غير المتماثل بسرعات مقاربة لتخطيط الوسيط المكرر، بينما النسخة المتماثلة أسرع بنحو ثلاث مرات بسبب قابلية إعادة استخدام الرسم البياني.

الأهمية والادعاءات

تدعي الورقة أن IEL توفر أول إطار عمل يلبي القدرات الثلاث الحرجة المطلوبة للسياسات التأسيسية في التخطيط متعدد المراحل: التدريب غير الخاضع للإشراف، المسافة الموجهة، ومتباينة المثلث.

يجادل المؤلفون بأن استبدال استدلالات المسافة المتماثلة بـ هندسة زمنية موجهة مستندة إلى نظرية المؤثرات، يتيح للوكلاء التنقل في بيئات معقدة وغير قابلة للعكس بكفاءة مثبتة. ويرون أن هذا العمل يوفر أساساً رياضياً لانتقال أبحاث نماذج (Vision-Language-Action - VLA) من الاعتماد على التعلم بالتقليد نحو تعلم السياسات القائم على المكافأة، مما قد يمكّن روبوتات عامة أكثر استقلالية وموثوقية. ويُقدم الإطار كبديل صارم للنماذج القائمة على المسافة التي تفتقر إلى ضمانات الاتساق العالمي.