Apple: Toward General Active Perception via Reinforcement Learning

إليك ملخص تقني مفصل للورقة البحثية بعنوان "APPLE: TOWARD GENERAL ACTIVE PERCEPTION VIA REINFORCEMENT LEARNING".

1. بيان المشكلة

الإدراك النشط (Active Perception) هو قدرة الوكيل على اختيار إجراءات معينة عن قصد لتقليل عدم اليقين بشأن بيئته، لا سيما عندما تكون المعلومات شحيحة، أو محلية، أو مشوبة بالضجيج. وبينما تمت دراسة هذا المفهوم على نطاق واسع في مجال الرؤية، إلا أنه يعد أمراً حاسماً لـ الاستشعار اللمسي (Tactile Sensing)، حيث يوفر كل تلامس لمحة صغيرة ومحلية فقط عن الكائن.

القيود الحالية:

• خصوصية المهام: غالباً ما تكون الأساليب الحالية مصممة لمهام محددة (مثل إعادة بناء الشكل، أو الإمساك بالأشياء) باستخدام استدلالات مصممة يدوياً أو استراتيجيات جشعة لزيادة المعلومات.
• الافتراضات الجامدة: تفترض العديد من النهج أن الأجسام ثابتة أو تتطلب نماذج استشعار محددة، مما يحد من قابليتها للتطبيق في السيناريوهات الديناميكية الغنية بالتلامس.
• الافتقار إلى العمومية: لا يوجد إطار عمل موحد يمكنه التعامل مع مختلف مشكلات الإدراك النشط (من التصنيف إلى الانحدار) دون إعادة هندسة استراتيجية الاستكشاف لكل مهمة جديدة.

السؤال الجوهري: هل يمكن تصميم إطار عمل للتعلم التعزيزي (RL) لاكتشاف سياسات الإدراك النشط باستخدام فقط تسمية (Label) حقيقية ودالة خسارة قابلة للاشتقاق، دون الحاجة إلى استدلالات استكشاف خاصة بكل مهمة؟

2. المنهجية: إطار عمل APPLE

يقترح المؤلفون إطار عمل APPLE (Active Perception Policy Learning)، وهو إطار يوحد التعلم الخاضع للإشراف والتعلم التعزيزي ضمن إطار عملية ماركوف لاتخاذ القرار جزئي الملاحظة (POMDP).

2.1 الصياغة

• الهدف: يهدف الوكيل إلى تقليل خسارة التنبؤ $\ell(\hat{y}_t, y^*_t)$ بين تقديره الحالي $\hat{y}_t$ والخاصية الحقيقية $y^*_t$ (مثل فئة الكائن، أو الحجم، أو الوضعية).
• فضاء العمل (Action Space): يتم تفكيك فضاء العمل إلى جزأين:
  1. إجراء التحكم ($a_t$): الحركة الفيزيائية للمستشعر (مثل موقع الإصبع).
  2. إجراء التنبؤ ($y_t$): تقدير الوكيل الحالي للخاصية المستهدفة.
• دالة المكافأة: تجمع المكافأة الإجمالية $\tilde{r}$ بين مكافأة RL القياسية $r$ (المستخدمة للتنظيم) وسالب خسارة التنبؤ:
  $$\tilde{r} = r(h_t, a_t) - \ell(y^*_t, y_t)$$
  تسمح هذه الصياغة للوكيل بتعلم سياسة استكشاف تعمل مباشرة على تحسين دقة إدراكه.

2.2 البنية الهيكلية

• العمود الفقي المشترك (Shared Backbone): يستخدم APPLE بنية قائمة على المحولات (Transformer-based architecture) (مستوحاة من Video-Vision-Transformers).
  • المدخلات: تسلسل من الملاحظات الماضية (صور لمسية + حالة المستشعر).
  • المعالجة: يقوم محول الرؤية (ViT) بترميز الصور اللمسية، والتي تُدمج مع بيانات الحالة القياسية وتتم معالجتها بواسطة محول زمني (Temporal Transformer).
  • المخرجات: تغذي التضمينات (Embeddings) المشتركة ثلاثة رؤوس:
    1. سياسة الإجراء ($\pi_\theta(a_t | o_{0:t})$): تقرر الحركة التالية للمستشعر.
    2. سياسة التنبؤ ($\pi_\theta(y_t | o_{0:t})$): تخرج التقدير الحالي للخاصية.
    3. الناقد (Critic $Q_\theta$): يقدر قيمة حالة الزوج (الحالة-الإجراء).
• التحسين: يقوم إطار العمل بتدريب السياسة ووحدة الإدراك بشكل مشترك باستخدام الانحدار الاشتقاقي على الهدف المشترك.

2.3 متغيرات الخوارزمية

ينفذ المؤلفون متغيرين بناءً على خوارزميات (Actor-Critic) خارج السياسة (Off-policy) لضمان كفاءة العينات:

1. APPLE-SAC: يعتمد على خوارزمية Soft Actor-Critic (SAC). يستخدم شبكات مستهدفة (Target Networks) لتحقيق الاستقرار.
2. APPLE-CrossQ: يعتمد على CrossQ. يزيل الشبكات المستهدفة ويستخدم طبقات BatchRenorm في شبكة Q لتحقيق استقرار التدريب، مما يوفر كفاءة حسابية.

الابتكار الرئيسي: على عكس RL القياسي حيث تكون المكافآت نادرة (Sparse)، يستفيد APPLE من خسارة التنبؤ القابلة للاشتقاق عند كل خطوة، مما يحول مشكلة التعلم الخاضع للإشراف فعلياً إلى إشارة مكافأة كثيفة لوكيل الـ RL.

3. المساهمات الرئيسية

1. صياغة موحدة: نهج مبدئي للإدراك النشط يعامل الأمر كمسألة اتخاذ قرار متسلسلة مدمجة في التعلم الخاضع للإشراف، والتي تتطلب فقط خسارة قابلة للاشتقاق وبيئة POMDP.
2. إطار عمل عام: طريقة تدرب بشكل مشترك سياسة اتخاذ القرار ووحدة الإدراك على عمود فقري مشترك من المحولات (Transformer)، مما يسمح بالتكيف عبر مهام متنوعة (التصنيف، الانحدار، التحديد الموضعي) دون الحاجة لاستدلالات خاصة بكل مهمة.
3. التحقق التجريبي: تقييم شامل عبر خمسة معايير (CircleSquare, TactileMNIST, TactileMNIST-Volume, Toolbox, MHSB) يثبت أن إطار العمل يتعلم استراتيجيات استكشاف فعالة دون ضبط يدوي لكل مهمة.

4. النتائج التجريبية

قيم المؤلفون APPLE مقابل النماذج المرجعية بما في ذلك HAM (نموذج الانتباه اللمسي، وهو طريقة REINFORCE داخل السياسة) و APPLE-RND (سياسة الإجراء العشوائي).

• المهام التي تم تقييمها:
  • التصنيف: CircleSquare (أشكال ثنائية الأبعاد)، TactileMNIST (التعرف على الأرقام)، MHSB (أشكال الكتل).
  • الانحدار: TactileMNIST-Volume (تقدير حجم الرقم)، Toolbox (تقدير وضعية المفتاح/الأداة).
• أبرز نتائج الأداء:
  • التفوق على HAM: تفوق APPLE بشكل كبير على HAM. في مهمة CircleSquare، فشل HAM في تعلم استراتيجية تتجاوز التخمين العشوائي حتى بعد 10 ملايين خطوة، بينما حقق APPLE دقة تزيد عن 96%. طبيعة HAM كخوارزمية داخل السياسة (On-policy) أدت إلى كفاءة ضعيفة في العينات.
  • النشط مقابل العشوائي: تفوقت متغيرات APPLE باستمرار على النموذج العشوائي (APPLE-RND)، مما يثبت أن الوكلاء تعلموا استراتيجيات استكشاف مهيكلة بدلاً من مجرد حفظ المدخلات.
  • التعميم: أظهر APPLE-CrossQ متانة ملحوذ. فقد حقق أداءً عالياً في مهمة Toolbox (تقدير الوضعية) باستخدام معلمات (Hyperparameters) تم ضبطها فقط على TactileMNIST، دون أي إعادة ضبط خاصة بالمهمة.
  • الكفاءة: تطلب APPLE-CrossQ حوالي نصف عمليات التمرير الأمامي للمحول مقارنة بـ APPLE-SAC (بسبب عدم وجود تحديثات للشبكة المستهدفة)، مما أدى إلى تقليل وقت التدريب بنسبة 53% مع الحفاظ على أداء مماثل.
  • السلوكيات الناشئة: أظهرت التصورات أن الوكلاء تعلموا استراتيجيات بديهية، مثل اتباع تدرجات الخلفية في CircleSquare أو الانزلاق على طول مقبض المفتاح لتمييز الاتجاه في مهمة Toolbox.

5. الأهمية والعمل المستقبلي

الأهمية:

• تحول في النموذج: ينقل APPLE الإدراك النشط من الاستدلالات المصممة يدوياً والخاصة بالمهام إلى نهج عام قائم على التعلم مدفوع بخسارة التنبؤ نفسها.
• القابلية للتوسع: يعالج استخدام RL خارج السياسة (SAC/CrossQ) والمحولات (Transformers) مشكلات كفاءة العينات والقابلية للتوسع التي واجهتها الطرق السابقة داخل السياسة (مثل REINFORCE/PPO) في المجالات اللمسية.
• تعدد الاستخدامات: نجح إطار العمل في التعامل مع مهام التصنيف والانحدار على حد سواء، مما يشير إلى مسار نحو وكيل إدراك نشط عالمي.

القيود والتوجهات المستقبلية:

• كفاءة العينات: رغم أنه أفضل من الطرق داخل السياسة، إلا أن APPLE لا يزال يتطلب ملايين الخطوات (ما يصل إلى 5-10 ملايين)، وهو ما يشكل عائقاً أمام النشر في العالم الحقيقي.
• النقل إلى العالم الحقيقي: أشار المؤلفون إلى صعوبة نقل النماذج من المحاكاة إلى الواقع (Sim-to-Real) للمستشعرات اللمسية اللينة (GelSight). سيبحث العمل المستقبلي في تعزيز عشوائية النطاق (Domain Randomization)، والمحاكاة الدقيقة للأجسام اللينة، والمحولات سابقة التدريب لتحسين كفاءة العينات.
• التعقيد: يظل توسيع إطار العمل ليشمل أيدي متعددة الأصابع وإدراك متعدد الوسائط (رؤية + لمس) تحدياً مفتوحاً.

في الختام، يمثل APPLE خطوة مهمة نحو إدراك نشط عام، حيث يثبت أن إطار عمل واحد للتعلم التعزيزي يمكنه تعلم كيفية "النظر" (أو اللمس) بذكاء عبر مهام متنوعة ببساطة عن طريق تقليل خطأ التنبؤ.