RAAP: Retrieval-Augmented Affordance Prediction with Cross-Image Action Alignment

إليك ملخص تقني مفصل لورقة البحث بعنوان: "RAAP: التنبؤ بالإمكانات المعزز بالاسترجاع مع محاذاة الإجراء عبر الصور" (RAAP: Retrieval-Augmented Affordance Prediction with Cross-Image Action Alignment).

1. بيان المشكلة

تتطلب الروبوتات التي تعمل في بيئات غير منظمة القدرة على فهم الإمكانات (Affordances) الخاصة بالأجسام — وتحديداً أين يتم التفاعل (نقاط التلامس) وكيف يتم التفاعل (اتجاهات الإجراء). تواجه الأساليب الحالية مشكلتين رئيسيتين:

• الأساليب القائمة على الاسترجاع (Retrieval-based methods): تعتمد على إيجاد تطابق واحد فقط ("الأفضل من بين الأفضل" - top-1) من بنك ذاكرة. وهي تتسم بالهشاشة بسبب ندرة البيانات؛ فإذا كان التطابق الأفضل الوحداً غير متوافق قليلاً، يفشل التنبؤ. كما أنها تعاني من "فجوات التغطية" حيث لا يوجد مثيل مشابه دلالياً في الذاكرة.
• الأساليب القائمة على التدريب (النماذج واسعة النطاق): بينما تتعلم هذه النماذج أنماطاً عامة، إلا أنها غالباً ما تفشل في تحديد نقاط التلامس بدقة أو التنبؤ باتجاهات إجراء موثوقة لما بعد التلامس لفئات الأجسام غير المرئية. كما أنها تتطلب غالباً مجموعات بيانات ضخمة ولا تزال تعاني في التعميم الصفري (zero-shot generalization) في السيناريوهات الواقعية.

التحدي الجوهري هو تحقيق تعميم قوي لكل من تحديد موقع التلامس الساكن والتنبؤ باتجاه الإجراء الديناميكي مع بيانات تدريب محدودة (ندرة البيانات).

2. المنهجية: إطار عمل RAAP

يقترح المؤلفون التنبؤ بالإمكانات المعزز بالاسترجاع (RAAP)، وهو إطار عمل موحد يفصل التنبؤ بالإمكانات إلى مكونين بخصائص عدم يقين متميزة:

1. الإمكانات الساكنة (نقطة التلامس): يحكمها التوافق الهندسي.
2. الإمكانات الديناميكية (اتجاه الإجراء): هي بطبيعتها غامضة وتتطلب تجميع الأدلة.

أ. بناء ذاكرة الإمكانات (Affordance Memory Construction)

يبني RAAP ذاكرة بصرية $R$ تحتوي على أزواج من $(I_g, f, T, A_{2D})$، حيث $I_g$ هي صورة جسم مجزأة، و $f$ هو تضمين مظهر (appearance embedding) من نموذج CLIP، و $T$ هو تسمية المهمة، و $A_{2D}$ هي تسمية الإمكانات ثنائية الأبعاد (نقطة التلامس $c_{2D}$ واتجاه الإجراء $a_{2D}$). يتم ملء الذاكرة من مجموعات فرعية من مجموعات بيانات DROID و HOI4D.

ب. نقل الإمكانات الساكنة (التوافق الكثيف)

بالنسبة لنقطة التلامس، يستخدم RAAP استراتيجية الاسترجاع الفردي (top-1 retrieval):

• يسترجع صورة مرجعية واحدة هي الأكثر تشابهاً بناءً على تشابه CLIP.
• يستخدم ميزات Stable Diffusion (SD) لإنشاء توافق كثيف (pixel-to-pixel) بين صورة الاستعلام والصورة المرجعية المختارة.
• يتم نقل نقطة التلامس عن طريق إيجاد الموقع في صورة الاستعلام الذي يحقق أقصى تشابه جيب تمام (cosine similarity) مع نقطة التلامس الموسومة في الصورة المرجعية. هذا يستفيد من الدقة الهندسية عالية الدقة لميزات SD.

ج. التنبؤ بالإمكانات الديناميكية (المحاذاة المعززة بالاسترجاع)

بالنسبة لاتجاه الإجراء، يقوم RAAP بتجميع الإشارات من المراجع من الفئة الأعلى K ($K > 1$) لتقليل الغموض. ويتم ذلك عبر نموذج محاذاة معزز بالاسترجاع مبتكر:

• ترميز مشروط بالإجراء (Action-Conditioned Encoding): يتم ترميز الصور المرجعية باستخدام هيكل SigLIP-2 مشترك. يتم إسقاط ناقلات الإجراء المرتبطة بها عبر طبقة MLP واستخدامها لتعديل ميزات الصورة عبر تقنية FiLM (التعديل الخطي المعتمد على الميزات). يتيح ذلك للنموذج فهم السياق البصري في سياق الإجراء المحدد.
• الانتباه مزدوج الوزن (Dual-Weighted Attention): لدمج المعلومات من مراجع متعددة، يستخدم النموذج آلية انتباه متقاطع مع استراتيجية وزن مزدوجة:
  1. الارتباط الدلالي المتعلم: تقوم شبكة بوابة (gating network) بحساب الأوزان بناءً على التشابه الدلالي بين الميزات العالمية للاستعلام والمرجع.
  2. التشابه البصري المحسوب مسبقاً: أوزان تعتمد على درجات استرجاع CLIP الأولية.
  • تجمع أوزان الانتباه النهائية بين الإشارتين، مما يسمح للنموذج بالتركيز على الأولويات ذات الصلة بالمهمة مع كبح الأمثلة الضوضائية أو غير المتوافقة.
• التنبؤ: يتم معالجة الرموز (tokens) المدمجة بواسطة مشفر Transformer، ويتم استرجاع اتجاه الإجراء النهائي من رمز [CLS].

د. التنفيذ (الرفع ثلاثي الأبعاد - 3D Lifting)

يتم رفع الإمكانات ثنائية الأبعاد المتنبأ بها إلى ثلاثة أبعاد باستخدام المعايير الداخلية للكاميرا والسحب النقطية (point clouds) للجسم. يختار الروبوت وضعية الإمساك بالقرب من نقطة التلامس المتنبأ بها وينفذ الإجراء عن طريق تحريك النهاية الفعالة (end-effector) على طول متجه الإزاحة ثلاثي الأبعاد المتنبأ به.

3. المساهمات الرئيسية

1. نموذج موحد: نجح RAAP في توحيد أساليب الاسترجاع والتدريب، معالجاً ندرة الاسترجاع وحدود التعميم للتدريب الصرف.
2. تصميم مفكك: يفصل بوضوح بين تحديد موقع التلامس الساكن (الذي يُحل عبر التوافق الكثيف) والتنبؤ بالإجراء الدينائي (الذي يُحل عبر المحاذاة متعددة المراجع)، مدركاً اختلاف ملفات عدم اليقين لكل منهما.
3. نموذج محاذاة مبتكر: يقدم نموذج محاذاة معزز بالاسترجاع مع تعديل FiLM و انتباه مزدوج الوزن، مما يتيح تجميعاً قوياً لمراجع متعددة حتى مع وجود بيانات محدودة.
4. كفاءة البيانات: يحقق الإطار أداءً قوياً باستخدام عشرات العينات فقط لكل مهمة، مما يتيح التلاعب الصفري (zero-shot manipulation) في كل من المحاكاة والواقع.

4. النتائج التجريبية

تم تقييم الطريقة على مجموعات بيانات DROID و HOI4D ومنصات روبوتية واقعية (Franka Emika).

• الأداء الكمي (التنبؤ الواعي بالمهمة):

  • في مجموعة بيانات DROID، حقق RAAP (عند $K=3$) متوسط خطأ زاوي (MAE) قدره 32.55 درجة.
  • يمثل هذا انخفاضاً بنسبة ~50% في الخطأ مقارنة بالأساس المعتمد على الاسترجاع فقط (RAM، 62.84 درجة) وأساس الانتشار واسع النطاق (A0، 74.81 درجة).
  • تفوق RAAP بشكل كبير على النماذج المرجعية في مهام "الفتح/الإغلاق" (Open/Close)، حيث تفشل طرق المرجع الواحد غالباً في التنبؤ بالاتجاهات الصحيحة.

• التعميم في العالم الحقيقي:

  • الأجسام غير المرئية: حقق RAAP معدلات نجاح بلغت 85% (فتح الدرج - Open Drawer) و 90% (التقاط الوعاء - Pickup Bowl)، متفوقاً بشكل كبير على RAM و A0 (اللذين غالباً ما يفشلان بسبب سوء تحديد نقطة التلامس).
  • عبر الفئات: حقق RAFA نجاحاً بنسبة 100% في مهمة "إغلاق الخزانة" (تدرب على الأدراج والميكروويف) و 85% في مهمة "التقاط الطبق".
  • المحاكاة: في بيئة MuJoCo، حقق RAAP نجاحاً بنسبة 85% في نقل مهارات "التقاط الكوب" إلى "التقاط الغلاية"، متفوقاً على RAM (70%) و A0 (10%).

• دراسات الاستئصال (Ablation Studies):

  • أدى إزالة آلية الوزن المزدوج (باستاستخدام البوابة فقط أو التشابه فقط) إلى انخفاض كبير في الأداء، مما يؤكد ضرورة الجمع بين الإشارات الدلالية والبصرية.
  • بلغ الأداء ذروته عند $K=3$؛ حيث ترك عدد قليل جداً من المراجع ($K=0, 1$) النموذج عرضة لأخطاء الاسترجاء، بينما أدخل عدد كبير جداً ($K=4$) الضجيج.

5. الأهمية

يمثل RAAP خطوة كبيرة للأمام في التلاعب الروبوتي عالي الكفاءة في البيانات. من خلال الإقرار بأن جوانب الإمكانات المختلفة (الساكنة مقابل الديناميكية) تتطلب استراتيجيات معالجة مختلفة، يتغلب النموذج على مقايضة "الندرة مقابل التغطية" المتأصلة في الطرق السابقة.

• الأثر العملي: يُمكّن الروبوتات من أداء مهام دقيقة على أجسام وفئات غير مرئية دون الحاجة إلى إعادة تدريب مكثفة أو جمع بيانات واسعة النطاق من الواقع.
• القابلية للتوسع: القدرة على العمل بأقل عدد من عينات التدريب تجعل النموذج قابلاً للتطبيق بشدة في النشر الواقعي حيث يكون جمع البيانات مكلفاً.
• المتانة: توفر آلية الانتباه مزدوجة الوزن طريقة قوية للتعامل مع الاختلافات البصرية والهندسية، مما يجعلها مناسبة للبيئات غير المنظمة.

تخلص الورقة إلى أنه بينما يركز RAAP حالياً على المهام قصيرة المدى، فإن نجاحه في التعميم الصفري يضع الأساس لتفاعلات روبوتية أكثر تعقيداً وطويلة المدى.