CWM: Contrastive World Models for Action Feasibility Learning in Embodied Agent Pipelines

إليك ملخص تقني مفصل لورقة البحث بعنوان "نماذج العالم التباينية لتعلم جدوى الأفعال في خطوط أنابيب الوكلاء المجسدين" (Contrastive World Models for Action Feasibility Learning in Embodied Agent Pipelines).

1. بيان المشكلة

في خطوط أنابيب الوكلاء المجسدين (تحديداً ضمن البيئات القائمة على النصوص مثل ScienceWorld)، توجد عقبة حرجة في خطوة اتخاذ القرار: وهي تحديد أي من الأفعال المرشحة هي ممكنة فيزيائياً بالنظر إلى الحالة الراهنة.

• التحدي: يواجه الوكلاء غالباً مجموعات كبيرة من الأفعال الصالحة حيث يكون الكثير منها منطقياً دلالياً (semantically plausible) ولكنه خاطئ فيزيائياً (على سبيل المثال: "تبريد الماء" مقابل "تسخين الماء" في مهمة تتعلق بالديناميكا الحرارية).
• قصور النهج الحالية: يقوم الضبط الدقيق الخاضع للإشراف (SFT) القياسي بتدريب النماذج على تصنيف الأفعال بشكل مستقل كصحيحة أو غير صحيحة. يفشل هذا النهج في تعليم النموذج صراحةً كيفية التمييز بين الفعل الصحيح وبين "السلبيات الصعبة" (hard negatives)—وهي أفعال متشابهة تركيبياً ولكنها متناقضة أو غير متوافقة فيزيائياً. بناءً على ذلك، غالباً ما تعاني نماذج SFT في ترتيب الفعل الصحيح فوق المشتتات التي تكون غير متوافقة فيزيائياً ولكنها متشابهة دلالياً.

2. المنهجية: نموذج العالم التبايني (CWM)

يقترح المؤلفون CWM، وهو إطار عمل يعيد صياغة تسجيل الأفعال (action scoring) كـ مشكلة ترتيب تباينية (contrastive ranking problem) بدلاً من كونها مهمة تصنيف ثنائي.

• البنية الأساسية:
  • النموذج الأساسي: يتم ضبط نموذج Qwen-2.5-7B-Instruct باستخدام LoRA (التكيف منخفض الرتبة) برتبة $r=8$.
  • دالة التسجيل: $f_\theta(s, a)$ تُخرج احتمالية اللوغاريتم (log-likelihood) لفعل $a$ معطى حالة $s$.
• هدف التدريب (خسارة InfoNCE):
  • بدلاً من التصنيف المتقاطع الثنائي (binary cross-entropy)، يستخدم CWM خسارة تباينية من نوع InfoNCE.
  • بالنسبة لحالة معينة $s$، يتم تدريب النموذج على تخصيص درجة أعلى للفعل الإيجابي ($a^+$) مقارم بمجموعة من $N$ من الأفعال السلبية ($a^-_i$) في آن واحد.
  • دالة الخسارة: $L_{CWM} = -\log \frac{\exp(f(s, a^+)/\tau)}{\exp(f(s, a^+)/\tau) + \sum \exp(f(s, a^-_i)/\tau)}$.
  • التنظيم (Regularization): تمت إضافة حد تنظيم الهامش (margin regularization) لضمان وجود فجوة درجات دنيا بين الفعل الإيجابي ومتوسط الأفعال السلبية.
• استراتيجية تنقيب السلبيات الصعبة (Hard Negative Mining Strategy):
  تتضمن بيانات التدريب مساراً مهيكلاً لتنقيب السلبيات من سجلات التفاعل، مصنفة حسب الصعوبة:
  1. النوع 1 (الفشل الصامت): أفعال لا تفعل شيئاً (مثل دفع جسم غير قابل للتحريك).
  2. النوع 2 (الرفض الصريح): أفعال يرفضها النظام/البيئة صراحةً.
  3. النوع 3 (النقل عبر المهام): أفعال صالحة في سياقات أخرى ولكنها خاطئة هنا.
  4. النوع 4 (السلبيات ذات التعديل الأدنى - للتقييم فقط): مشتتات تم إنشاؤها عن طريق تغيير كلمة واحدة حاسمة فيزيائياً (مثل "تسخين" $\leftarrow$ "تبريد"). هذه هي الحالات الأصعب.
  • الإعدادات: يتم تدريب النموذج باستخدام $N=16$ من السلبيات الصعبة لكل عينة إيجابية، مما يزيد بشكل كبير من الإشارة التباينية مقارنة بالنماذج المرجعية.

3. المساهمات الرئيسية

1. إطار عمل CWM: طريقة مبتكرة لضبط النماذج اللغوية الكبيرة (LLMs) كمسجلات للأفعال باستخدام خسارة InfoNCE مع مسار تنقيب مهيكل للسلبيات الصعبة.
2. تصنيف السلبيات الصعبة: تصنيف لأمثلة السلبيات في ScienceWorld، وتحديد "السلبيات ذات التعديل الأدنى" التي تختبر حدود الاستدلال الفيزيائي.
3. التحقق التجريبي: دراستان متميزتان توضحان أن التدريب التبايني يستحث تمثيلات تلتقط القدرات الفيزيائية (physical affordances) بأمانة أكبر من SFT، خاصة في سيناريوهات توزيع البيانات الخارج عن النطاق (OOD).

4. النتائج التجريبية

قيم المؤلفون CWM مقابل نموذج SFT المرجعي، ونموذج لغوي خام (Zero-shot)، ونموذج عشوائي على اختبار ScienceWorld.

الدراسة 1: تقييم القدرة الجوهرية (Intrinsic Affordance Evaluation)

• مجموعة البيانات: 605 زوجاً من الاختبارات ذات السلبيات الصعبة، بما في ذلك فئة "التعديل الأدنى" (74 حالة).
• النتائج الرئيسية:
  • الدقة عند المركز الأول (P@1): حقق CWM نسبة 93.24% في حالات التعديل الأدنى، متفوقاً على SFT (86.49%) بفارق +6.76 نقطة مئوية.
  • المساحة تحت منحنى خصائص التشغيل (AUC-ROC): حقق CWM قيمة 0.929 مقابل 0.906 لـ SFT في مهام التعديل الأدنى.
  • معايرة الدرجات (Score Calibration): بينما أنتج SFT فجوات درجات خام أكبر، حقق CVM دقة ترتيب أفضل. يشير هذا إلى أن درجات SFT غير معايرة بدقة عبر مجموعة السلبيات، بينما ينتج نظام المعايرة في CWM ترتيباً نسبياً أكثر موثوقية.
  • النموذج اللغوي الخام (Vanilla LLM): كان أداؤه أسوأ من الصدفة العشوائية في مهام التعديل الأدنى (48.6%)، مما يبرز أن النماذج غير المضبوطة يسهل تضليلها بواسطة التشابه السطحي في المهام الفيزيائية.

الدراسة 2: توصيف الفلتر الحي (Live Filter Characterization - Agent Loop)

• المقياس: معدل الاحتفاظ بالفعل الذهبي (GARR@K) و هامش الأمان (فرق الدرجة بين الفعل الذهبي وأفضل فعل غير ذهبي).
• الأداء داخل النطاق (In-Domain): احتفظ CWM بالفعل الذهبي في أفضل 10 مرشحين بنسبة 60.2% من الوقت.
• اختبار الإجهاد خارج النطاق (OOD Stress Test):
  • في عائلات المهام غير المرئية (الميزان الحراري، خلط الكيمياء)، حافظ CVM على هامش أمان أفضل بكثير (-2.39) مقار('% بـ SFT (-3.96).
  • التفسير: الهامش الأقل سلبية يعني أن الفعل الذهبي يتم ترتيبه بالقرب من القمة. انهارت درجات SFT تحت ضغط OOD، حيث رتبت الفعل الصحيح في مرتبة أقل بكثير من البدائل الخاطئة، بينما حافظ التدريب التبايني في CWM على الترتيب النسبي.

5. الأهمية والخاتمة

• الرؤية النظرية: تتحدى الورقة الرأي السائد (من أدبيات استرجاع المعلومات العامة) بأن SFT يتفوق على التعلم التبايني للنماذج اللغوية الكبيرة. إنها تثبت أنه في البيئات المجسدة القائمة على الفيزياء، حيث تمتلك السلبيات بنية فيزيائية مبدئية وهي قريبة دلالياً من الإيجابيات، فإن الأهداف التباينية (InfoNCE) هي الأفضل.
• الأثر العملي:
  • يعمل CWM كـ مرشح أولي (pre-filter) قوي للوكلاء المجسدين. من خلال تقليص فضاء الأفعال إلى أفضل $K$ من المرشحين (مثلاً $K=10$)، يمكن للوكيل تقليل مساحة البحث بنسبة ~80-90% مع الاحتفاظ بالفعل الصحيح في معظم الخطوات.
  • يقلل بشكل كبير من خطر الوقوع في "طرق مسدودة ذاتية التسبب" ناتجة عن تنفيذ أفعال مستحيلة فيزيائياً ولكنها مقبولة تركيبياً.
• العمل المستقبلي: يخطط المؤلفون لدمج CWM في حلقات الوكيل الكاملة (مثل الدمج مع ReAct أو DRRN) لقياس معدلات إكمال المهام من البداية للنهاية واستكشاف سلبيات السلسلة السببية.

باختالام، يثبت CWM أن تعليم النموذج اللغوي الكبير كيفية ترتيب الأفعال مقابل مجموعة من السلبيات الصعبة أكثر فعالية من تعليمه كيفية تصنيفها بشكل مستقل، مما يؤدي إلى استدلال فيزيائي أكثر موثوقية في الذكاء الاصطناعي المجسد.