GaLa: Hypergraph-Guided Visual Language Models for Procedural Planning

إليك ملخص تقني مفصل لورقة البحث بعنوان "GaLa: Hypergraph-Guided Visual Language Models for Procedural Planning".

1. بيان المشكلة

يتضمن التخطيط الإجرائي في الذكاء الاصطناك المادي (Embodied AI) تفكيك الأوامر اللغوية عالية المستوى إلى تسلسلات إجراءات دقيقة لتنفيذ المهام في بيئات العالم الحقيقي. وبينما حسنت نماذج الرؤية واللغة (VLMs) الإدراك المكاني، تعاني النهج الحالية من قصورين حرجين:

• الاعتماد المفرط على الهندسة الصريحة: تعتمد نماذج الرؤية واللغة الحالية بشكل أساسي على التمثيلات المكانية الصريحة (مثل صناديق الإحاطة، والإحداثيات) والإشارات الدلالية على مستوى الصورة. وغالبًا ما تفشل في التقاط العلاقات المكانية الضمنية التي تُنقل عبر سمات الأشياء (مثل "يمكن وضعه على"، "مدعوم بواسطة").
• الافتقار إلى الهيكل الهرمي: نادرًا ما تنمذج الطرق الحالية الدلالات الهرمية حيث تشكل مجموعات من الأشياء مناطق وظيفية (مثل "منطقة المطبخ"، "منطقة تناول الطعام"). يؤدي هذا إلى فهم مجزأ للمشهد، مما يجعل الوكلاء يعاملون الأشياء ككيانات معزولة بدلاً من كونها أجزاءً من كل وظيفي متكامل. ويؤدي هذا غالبًا إلى حالات جمود منطقية، أو إجراءات تكرارية، أو سلوكيات تخطيط متدهورة في السياقات المعقدة أو الغامضة.

2. المنهجية: إطار عمل GaLa

يقترح المؤلفون GaLa، وهو إطار عمل يقدم تمثيلاً قائماً على الفائق الرسومي (Hypergraph) كوسيط دلالي تجريدي بين الرؤية واللغة. يتكون خط العمل من ثلاث مراحل رئيسية:

أ. بناء الدلالات للفائق الرسومي (Hypergraph Semantic Construction)

يقوم النظام بتحويل المدخلات البصرية الخام إلى فائق رسومي دلالي مهيكل ($G_F$):

• العُقد (Nodes): يتم نمذجة مثيلات الأشياء الفردية المكتشفة من الصورة (عبر YOLO-World) كعُقد. تحتوي كل عقدة على الموقع المكاني ($p$)، وتسمية الفئة ($c$)، وأوصاف السمات ($s$).
• الحواف الفائقة (Hyperedges): بدلاً من الحواف البسيطة، يبني النظام حواف فائقة تمثل مناطق وظيفية أو مكانية.
  • التجميع (Clustering): تقوم خوارزمية DBSCAN بتجميع مواقع الأشياء لتحديد المجموعات المتماسكة مكانياً.
  • الاستدلال الدلالي: يقوم نموذج لغوي كبير (LLM، وتحديداً InternVL-3) بتجميع تسميات الفئات للأشياء داخل التجمع لاستنتاج تسمية دلالية عالية المستوى للمنطقة (على سبيل المثال، استنتاج "منطقة المطبخ" من وجود ثلاجة وموقد ومغسلة).
  • التسجيل المضاد للواقع (Counterfactual Scoring): يقوم نموذج لغوي كبير بتسجيل سمات الأشياء لتحديد ما إذا كانت تمثل حالات طبيعية أو مضادة للواقع (مثل كوب على السقف)، مع تعيين درجة احتمالية ($r \in [0,1]$).

ب. مشفر الفائق الرسومي ثلاثي الرؤية (Tri-View HyperGraph Encoder)

لضمان دمج دلالات الفائق الرسومي بفعالية في نموذج الرؤية واللغة، تم تصميم مشفر فائق رسومي ثلاثي الرؤية باستخدام التعلم التبايني. وهو يفرض اتساقاً دلالياً عبر ثلاث رؤى متكاملة:

1. رؤية العقدة (Node View): تركز على دلالات الأشياء الفردية.
2. رؤية المنطقة (Area View): تركز على الدلالات الوظيفية على مستوى المنطقة (الحواف الفائقة).
3. رؤية الارتباط بين العقدة والمنطقة (Node-Area Association View): تركز على علاقات العضوية بين الأشياء والمناطق.

يستخدم المشفر فقدان InfoNCE مع ثلاثة أهداف محددة:

• التباين على مستوى العقدة: يميز نفس العقدة عبر الرؤى المعززة عن العقد الأخرى.
• التباين على مستوى المجموعة: يميز نفس الحافة الفائقة (المنطقة) عبر الرؤى عن الحواف الفائقة الأخرى.
• التباين على المستوى الشامل: يميز العضويات "الحقيقية" بين العقدة والحافة الفائقة عن العضويات "المزيفة" باستخدام مميز.
  تعمل هذه العملية على تنقية الفائق الرسومي إلى تمثيل معرفي مهيكل ($G_k$) يحافظ على التفاصيل الدقيقة للأشياء والهياكل العلاقاتية ذات الرتب العليا.

ج. الاستدلال بسلسلة الأفكار (CoT) والتدريب

يتم تغذية معرفة الفائق الرسومي المنقحة ($G_k$) إلى نموذج الرؤية واللغة (InternVL3-8B) جنباً إلى جنب مع المدخلات البصرية وتعليمات المهمة. يستخدم النموذج عملية سلسلة الأفكار (Chain-of-Thought) لتنقيح فهم المشهد تدريجياً قبل التنبؤ بالإجراء التالي. يساعد هذا السياق المهيكل النموذج على تجنب التناقضات المنطقية وتوليد تسلسلات إجراءات دقيقة مكانياً.

3. المساهمات الرئيسية

1. أول دمج للنظرية الرسومية: يعد GaLa أول إطار عمل يدخل المعلومات الدلالية الهيكلية القائمة على النظرية الرسومية (تحديداً الفائق الرسومي - Hypergraphs) في بنية تخطيط إجرائي تعتمد على نماذج الرؤية واللغة.
2. مشفر الدلالات للفائق الرسومي: وحدة مبتكرة تنمذج المعلومات البصرية لبناء فائق رسومي غني بالمعلومات الدلالية، مما يلتقط صراحة العلاقات المكانية الضمنية والمناطق الوظيفية الهرمية.
3. التعلم التبايني ثلاثي الرؤية: تقديم مشفر فائق رسومي ثلاثي الرؤية يستخدم التعلم التبايني لضمان الاتساق الدلالي عبر رؤى الأشياء، والمناطق، والارتباط، مما يضخ المعرفة المهيكلة بفعالية في نموذج الرؤية واللغة.

4. النتائج التجريبية

تم تقييم النموذج على اثنين من الاختبارات المرجعية: ActPlan-1K (الذي يدعم الاستدلال المضاد للواقع) و ALFRED (للتعميم صفري المحتوى).

• مقاييس الأداء: قيست الدراسة معدل نجاح التنفيذ (Exec.)، وأطول سلسلة مشتركة (LCS)، وصحة التخطيط (Corr.).
• النتائج الكمية:
  • في ActPlan-1K (الطبيعي)، حقق GaLa نسبة تنفيذ بلغت 65.8%، و 0.66 في LCS، و 47.5% في الصحة، متفوقاً على أفضل خط أساس (LLaPa) بفارق كبير.
  • في ActPlan-1K (المضاد للواقع)، وصل GaLa إلى 55.1% في التنفيذ و 37.2% في الصحة، مما أظهر متانة في السيناريوهات غير التقليدية.
  • في ALFRED، حقق GaLa نسبة تنفيذ بلغت 89.9% وصحة بلغت 50.1%.
• دراسات الاستئصال (Ablation Studies):
  • أدى حذف بناء الفائق الرسومي ("w/o Hyper") إلى انخفاض في الأداء (على سبيل المثال، انخفض التنفيذ من 65.8% إلى 61.5% في المهام الطبيعية)، مما يثبت قيمة النمذجة الهيكلية الصريحة.
  • أدى حذف أهداف التعلم التبايني المحددة (المستوى العقدة، أو المجموعة، أو المستوى الشامل) إلى تدهور الأداء بشكل أكبر، مما يؤكد أن الرؤى الثلاث ضرورية لتحقيق الاتساق الدلالي الأمثل.

5. الأهمية

يعالج GaLa فجوة أساسية في التخطيط للذكاء الاصطناك المادي: عدم قدرة نماذج الرؤية واللغة الحالية على الفهم العميق لـ الهيكل الوظيفي والهرمي للمشهد. من خلال الانتقال من مجرد اكتشاف الأشياء إلى نمذجة العلاقات المكانية الضمنية والمناطق الوظيفية عبر الفائق الرسومي، يُمكّن GaLa الوكلاء من:

• توليد تسلسلات إجراءات أكثر ترابطاً مكانياً ومنطقياً.
• تجنب حالات الفشل الشائعة في التخطيط مثل السلوكيات التذبذبية أو الجمود المنطقي.
• التكيف بشكل أفضل مع البيئات المعقدة، الغامضة، أو المضادة للواقع.

يشير هذا العمل إلى أن استخراج وهيكلة المعلومات الدلالية العميقة من المدخلات متعددة الوسائط أمر بالغ الأهمية للجيل القادم من أنظمة التخطيط الإجرائي القوية.