ملخص تقني: لماذا تفشل نماذج الأفعال الكامنة، وكيفية منع ذلك

بيان المشكلة

تهدف نماذج الأفعال الكامنة (LAMs) إلى تعلم تمثيلات ذات صلة بالأفعال من مقاطع الفيديو غير المصنفة عبر ضغط التغيرات من إطار إلى إطار، مما يقدم حلاً لندرة مجموعات البيانات المصنفة للأفعال في الروبوتات الواقعية. ومع ذلك، في مقاطع الفيديو "في البرية" (in-the-wild)، تحتوي الملاحظات ليس فقط على الحالة الداخلية للوكيل، بل أيضًا على حالات خارجية (مثل الفوضى في الخلفية، حركة الكاميرا، وتغيرات الإضاءة). هذه العوامل الخارجية تسبب انتقالات بين الإطارات لا علاقة لها بأفعال الوكيل.

لقد لاحظت الأعمال السابقة أن نماذج الأفعال الكامنة التي يتم تدريبها باستخدام أهداف إعادة البناء القياسية غالبًا ما تفشل في التوافق مع الأفعال الحقيقية في مثل هذه البيئات. فبدلاً من تعلم ديناميكيات الفعل، تقوم الأفعال الكامنة بترميز الضوضاء الخارجية بشكل زائف. ورغم وجود حلول تجريبية (مثل الإشراف المساعد، أو بيانات متعددة المشاهد)، إلا أنه لم يكن هناك تحليل نظري موحد يفسر لماذا تفشل الأهداف القياسية في وجود الضوضاء الخارجية أو لماذا تخفف أهداف مساعدة محددة من هذا الفشل.

المنهجية

يقترح المؤلفون إطارًا نظريًا موحدًا يعتمد على عملية ماركوف لاتخاذ القرار ذات الكتل الخارجية (Ex-BMDP) لتحليل تعلم الأفعال الكامنة.

1. الإطار النظري: Ex-BMDP

قام المؤلفون بتوسيع نموذج الكتلة المار كوفي (BMDP) القياسي لنمذجة الضوضاء الخارجية بشكل صريح. في هذه الصيغة:

• يتم تفكيك الحالة الكامنة $x$ إلى حالة داخلية $s$ (يمكن للوكيل التحكم بها) وحالة خارجية $\xi$ (مستقلة عن أفعال الوكيل).
• يتم فصل دوال الانتقال والتوزيعات الأولية: $T(x'|x, a) = T_s(s'|s, a)T_\xi(\xi'|\xi)$.
• يتم توليد الملاحظات عبر خريطة انبعاث حتمية $o = h(s, \xi)$، والتي تتضمن مشفر رؤية $f$.

2. تحليل نموذج الأفعال الكامنة الخطي (Linear LAM)

لضمان القابلية للتتبع النظري، قام المؤلفون أولاً بتحليل إعداد النموذج الخطي للأفعال الكامنة حيث:

• انتقالات الملاحظات هي انتقالات تراكمية: $o' = o + \phi_\xi(a) + \epsilon$، حيث $\phi_\xi(a)$ هو تأثير الفعل و $\epsilon$ هي الضوضاء الخارجية الناشئة عن تغيرات الحالة ($\xi \to \xi'$).
• نموذج الديناميكيات العكسي ($\psi_{IDM}$) ونموذج الديناميكيات الأمامي ($\psi_{FDM}$) هما خرائط خطية.
• الهدف القياسي هو تقليل خطأ إعادة البناء $L_{LAM} = \mathbb{E}[\|o' - \hat{o}'\|_2^2]$.

3. الأهداف المساعدة

أعاد المؤلفون صياغة عائلتين من الأهداف المساعدة الموجودة ضمن إطار Ex-BMDP:

• إعادة البناء عبر الخارجي ($L_{X-exo}$): يستخدم ملاحظات مقترنة من حالات خارجية مختلفة ($\xi, \tilde{\xi}$) تشترك في نفس الحالة الداخلية لفرض الاتساق.
• التنبؤ المستهدف المقاوم للخارجية ($L_{\xi-robust}$): يشرف على الفعل الكامن باستخدام هدف $y$ (مثل الأفعال الحقيقية أو التدفق البصري) يكون مقاومًا للتغيرات الخارجية (أي يظل $y$ متشابهًا بغض النظر عن $\xi$).

المساهمات الرئيسية

1. تحديد "تسرب المستقبل" (Future Leakage)

أثبت المؤلفون أن تقليل هدف إعادة البناء القياسي $L_{LAM}$ في وجود ضوضاء خارجية يسبب تسرب المستقبل.

• الآلية: نظرًا لأن النموذج الأمامي $\psi_{FDM}$ يجب أن يعيد بناء الملاحظة المستقبلية $o'$ (التي تحتوي على الحالة الخارجية المستقبلية $\xi'$)، وبما أن $\xi'$ غير متاحة كمدخل، فإنه يُجبر الفعل الكامن $z$ على ترميز معلومات حول $\xi'$.
• النتيجة: توضح الفرضية 4.2 أنه لا يوجد أي مُقلل عالمي لـ $L_{LAM}$ يسمح بوجود فعل كامن مستقل عن $\xi'$. نتيجة لذلك، يمتص $z$ المعلومات الخارجية من الإطار المستقبلي، مما يقلل القدرة المتاحة لترميز ديناميكيات الفعل الفعلية.

2. دور حساسية مشفر الرؤية

يكشف التحليل أن طاقة الضوضاء الخارجية في الفضاء الكامن محكومة بـ حساسية مشفر الرؤية للتغيرات الخارجية.

• طاقة الضوضة تتناسب طرديًا مع تردد تبديلات الحالة الخارجية وحساسية دالة الانبعاث $h$ تجاه $\xi$.
• تظهر النتائج التجريبية أن المشفرات مثل DINOv2، وهي مشفرات متمحورة حول الأشياء ومقاومة لتغيرات الخلفية، تقلل بشكل كبير من هذه الحساسية مقارنة بمدخلات البكسل الخام، مما يؤدي إلى توافق أفضل للأفعال.

3. التبرير النظري للأهداف المساعدة

تقدم الورقة براهين توضح كيف تخفف الأهداف المساعدة من التداخل الخارجي من خلال فرض الاتساق عبر الحالات الخارجية:

• إعادة البناء عبر الخارجي: تحت الافتراضات الخطية، يكافئ تقليل $L_{X-exo}$ تحليل الارتباط الكنسي (CCA). وهذا يثبط مكونات الانتقال التي تتغير مع حالات خارجية محددة بينما يحافظ على المكونات التي تستمر عبرها (أي التغيرات المدفوعة بالفعل).
• التنبؤ المقاوم للخارجية: توضح الفرضية 4.8 أن التنبؤ بهدف $y$ يكون مقاومًا بمقدار $\eta$ للحالات الخارجية يوفر حدًا صريحًا لعدم التطابق في الأفعال الكامنة عبر الحالات الخارجية المختلفة. تقليل هذا الفقد يجبر الفعل الكامن على أن يكون متسقًا بغض النظر عن الخلفية.

النتائج التجريبية

تجارب الأفعال الكامنة الخطية

باستخدام بيانات اصطناعية مع احتمالات تبديل خارجية محكومة ($p_{switch}$):

• التحقق من تسرب المستقبل: أكدت التجارب أن الأفعال الككمنة تشفر الحالات الخارجية المستقبلية. عندما تم تبديل الحالة الخارجية للإطار التالي أثناء الاستدلال، تحول مخرج إعادة البناء ليتطابق مع الإطار المبدل، مما أكد سلوك "الاختصار".
• حساسية الضوضاء: مع زيادة حساسية الملاحظة للتغيرات الخارجية ($\alpha$)، ساء متوسط الخطأ التربيعي الموزون (NMSE) للتنبؤ بالفعل، مما يؤكد الربط النظري بين حساسية المشفر وفشل الأداء.
• فعالية المساعد: أدى إضافة $L_{X-exo}$ أو $L_{\xi-robust}$ إلى هدف الفقد القياسي إلى تحسين توافق الأفعال باستمرار وتقليل تباين الأفعال الكامنة عبر الحالات الخارجية.

تجارب الأفعال الكامنة غير الخطية (العملية)

لاختبار القدرة على التعميم، قام المؤلفون بتدريب نموذج أفعال كامنة غير خطي (VQ-VAE مع CNN/UNet) على مجموعة بيانات عالم شبكي (grid-world) مع ضوضاء خارجية ضربية (تخالف الافتراضات الخطية):

• النموذج الأساسي (Vanilla LAM): مع زيادة شدة الضوضاء، قام النموذج بترميز المناطق الخارجية، مما أدى إلى ارتفاع فقد الاتساق وانخفاض MSE للمناطق الخارجية (بمعنى أنه تنبأ بالضوضاء).
• النموذج المعزز (Augmented LAM): حافظت النماذج المدربة باستخدام $L_{X-exo}$ أو $L_{\xi-robust}$ على ارتفاع MSE للمناطق الخارجية (تجاهل الضوضاء) وانخفاض فقد الاتساق عبر جميع مستويات الضوضاء.
• الاستنتاج: الرؤى النظرية المتعلقة بتسرب المستقبل وفوائد الأهداف التي تفرض الاتساق تظل صالحة حتى عند انتهاك افتراضات الخطية والجمع.

الأهمية والادعاءات

تدعي الورقة تقديم تحليل نظري موحد لفشل تعلم الأفعال الكامية في وجود الضوضاء الخارجية. تكمن أهميتها الأساسية في:

1. تفسير أنماط الفشل: لقد حددت رسميًا "تسرب المستقبل" كآلية يتسبب من خلالها هدف إعادة البناء القياسي في تدهور تعلم الأفعال، بدلاً من مجرد ملاحظة الظاهرة تجريبيًا.
2. توحيد الحلول: أثبتت أن الأهداف المساعدة المتنوعة (المشاهد المتعددة، الإشراف على الأفعال، التدفق البصري) تشترك في آلية نظرية واحدة: وهي فرض اتساق الأفعال الكامنة عبر الحالات الخارجية.
3. توجيه التصميم: سلطت الضوء على الأهمية القصوى لحساسية مشفر الرؤية للعوامل الخارجية، مما يشير إلى أن مستخرجات الميزات القوية هي شرط مسبق لعمل نماذج الأفعال الكامنة الفعالة.

يخلص المؤلفون إلى أنه بينما تعتمد براهينهم النظرية على الافتراضات الخطية، فإن التحقق التجريبي على النماذج غير الخطية يشير إلى أن هذه المبادئ تمتد لتشمل سيناريوهات تعلم الأفعال الكامنة العملية والواقعية.