ENCP: Episode-Normalized Conformal Prediction for Vision-and-Language Navigation

ملخص تقني: التنبؤ التشكلي الموحد بالحلقات (ENCP) للملاحة عبر الرؤية واللغة

1. بيان المشكلة

تتيح الملاحة عبر الرؤية واللغة (VLN) للوكلاء المجسدين التنقل في البيئات الفيزيائية باستخدام تعليمات لغوية طبيعية. ويتمثل أحد التحديات الحرجة في نشر هؤلاء الوكلاء بأمان في تقدير عدم اليقين. فالملاحة المتسلسلة عرضة لتراكم الأخطاء؛ حيث يمكن لفعل واحد خاطئ أن يغير حالة الوكيل والملاحظات اللاحقة، مما قد يؤدي إلى فشل المهمة أو الاصطدامات الفيزيائية.

بينما تحقق سياسات VLN الحديثة معدلات نجاح عالية، فإن مقاييس الثقة القياسية (مثل احتمالات softmax) غالبًا ما تكون غير معايرة ومفرطة في الثقة، لا سيما عندما تختلف بيئات النشر عن بيانات التدريب. وتعتمد آليات المراقبة الذاتية الموجودة على استدلالات تجريبية بدلاً من الضمانات الرسمية.

يوفر التنبؤ التشكلي (Conformal Prediction - CP) إطارًا إحصائيًا لإنشاء مجموعات تنبؤ ذات تغطية مضمونة (أي أن المجموعة تحتوي على الإجراء الصحيح باحتمالية $1-\alpha$). ومع ذلك، يفترض التنبؤ التشكلي القياسي وجود نقاط بيانات قابلة للتبادل. وفي سياق VLN، يفشل هذا الافتراض بسبب:

1. اعتماد الخطوات: الأفعال ضمن حلقة واحدة تعتمد إحصائيًا على بعضها البعض بسبب التاريخ المشترك والتأثير السببي على الملاحظات المستقبلية.
2. الطول المتغير: الحلقات لها أطوال مختلفة.
3. فشل المعايرة المجمعة للخطوات: إن تطبيق التنبؤ التشكلي القياسي على الخطوات الفردية (المجمعة عبر الحلقات) يفشل في توفير ضمان بأن الإجراء الصحيح سيتم تضمينه في كل خطوة من المسار. وغالبًا ما يؤدي ذلك إلى نقص في التغطية، مما يعني أن معدل الخطأ الفعلي يتجاوز مستوى المخاطرة المستهدف $\alpha$.

2. المنهجية: التنبؤ التشكلي الموحد بالحلقات (ENCP)

يقترح المؤلفون ENCP، وهو إطار عمل لما بعد التدريب يترك سياسة الملاحة الأساسية دون تغيير. يعالج ENCP مشكلتي الاعتماد والطول المتغير من خلال نقل وحدة المعايرة من الخطوات الفردية إلى الحلقات الكاملة.

الآليات الجوهرية:

1. المعايرة على مستوى الحلقة: بدلاً من المعايرة على مجموعة من الخطوات الفردية، يقوم ENCP بتجميع درجات عدم المطابقة (nonconformity scores) لجميع الخطوات داخل حلقة واحدة في قيمة عددية واحدة. وتحديدًا، فإنه يحسب الحد الأقصى لدرجة عدم المطابقة الموحدة عبر الحلقة بأكملة. تمثل هذه القيمة الوحيدة "أسوأ حالة" انحراف لذلك المسار.
2. توحيد الدرجة المعدل بالثقة: للتعامل مع ثقة السياسة المتغيرة عبر الخطوات، يقوم ENCP بإعادة تحجيم درجة عدم المطابقة الأساسية ($s_{base}$) بناءً على الثقة المتبقية للسياسة.
   • النسخة الخالية من المعلمات: تستخدم وزنًا ثابتًا $w(x_t) = 1 - p_{max}(x_t)$، حيث $p_{max}$ هو أعلى احتمال خصصته السياسة. الدرجة الموحدة هي:
     $$s_{norm}(x_t, a) = \frac{s_{base}(x_t, a)}{1 + (1 - p_{max}(x_t))} = \frac{s_{base}(x_t, a)}{2 - p_{max}(x_t)}$$
   • النسخة القائمة على التعلم: تستخدم شبكة عصبية للتنبؤ بالأوزان بناءً على ميزات مثل الإنتروبيا، وفجوات الاحتمالية، ومؤشر الخطوة، والمدربة لتحديد الخطوات التي تكون فيها السياسة واثقة ولكنها غير صحيحة.
3. توليد مجموعة التنبؤ:
   • يتم حساب عتبة تشكلية $\hat{q}(\alpha)$ من توزيع القيم القصوى لدرجات عدم المطابقة على مستوى الحلقة في مجموعة معايرة.
   • في وقت الاختبار، تتضمن مجموعة التنبؤ $C_\alpha(x_t)$ جميع الأفعال $a$ حيث $s_{norm}(x_t, a) \le \hat{q}(\alpha)$.
   • قاعدة الفعل أو السؤال: إذا تجاوز حجم مجموعة التنبؤ $|C_\alpha(x_t)|$ ميزانية محددة من قبل المستخدم $\tau$، يطلب الوكيل مساعدة بشرية (أو يلجأ إلى محاكي). وإلا، فإنه يستمر بشكل مستقل.

الضمان النظري:
تحت افتراض أن حلقات المعايرة والاختبار قابلة للتبادل (على سبيل المثال، مستمدة من نفس التوزيع)، يضمن ENCP تضمين الإجراء الصحيح في مجموعة التنبؤ في كل خطوة من حلقات الاختبار باحتمالية لا تقل عن $1-\alpha$. وهذا يوفر تغطية متزامنة للمسار، وهو ضمان أقوى من تغطية الخطوة الواحدة.

3. المساهمات الرئيسية

1. تحديد فشل التنبؤ التشكلي القياسي: يوضح البحث كيف يفشل التنبؤ التشكلي المجمع للخطوات في تحقيق ضمانات التغطية في VLN بسبب الاعتمادات داخل الحلقة، مما يؤدي غالبًا إلى نقص شديد في التغطية.
2. تطوير ENCP: يقدم المؤلفون طريقة معايرة على مستوى الحلقة تعيد تحجيم الدرجات بواسطة ثقة السياسة وتجمعها عبر عامل الحد الأقصى. يضمن هذا البناء تغطية متزامنة عبر المسار بأكمله.
3. التحقق التجريبي: تم تقييم الطريقة على أربع سياسات VLN (DUET, HAMT, R-prev, R-osc) عبر مجموعتي بيانات (R2R و REVERIE). وتتضمن الدراسة:
   • التحقق من أهداف تغطية الخطوات في تقسيمات (المشاهد-إلى-غير المشاهد).
   • المقارنة بين مخططات الوزن الخالية من المعلمات والمخططات القائمة على التعلم.
   • تجربة محاكاة لطلب المساعدة توضح كيف يمكن لحجم مجموعة التنبؤ أن يحفز التدخل البشري لتحسين معدلات النجاح.

4. النتائج

• أهداف التغطية: عبر جميع السياسات المختبرة ودرجات عدم المطابقة (THR, APS, RAPS) على تقسيمات R2R و REVERIE (val-unseen)، نجح ENCP في تحقيق أهداف تغطية الخطوات التجريبية (على سبيل المثال، تحقيق تغطية $\ge 90\%$ لـ $\alpha=0.10$) تحت ظروف التبادلية. في المقابل، عانى التنبؤ التشكلي القياسي (split CP) باستمرار من نقص في التغطية.
• انزياح التوزيع: يشير البحث صراحةً إلى أنه بينما يحقق ENCP الأهداف تحت التقسيمات القابلة للتبادل، فإن التغطية تنخفض في إعداد "المشاهد-إلى-غير المشاهد" (حيث تتم المعايرة على مباني مشهودة والاختبار على مباني غير مشهودة). في هذا السيناريو، لا يُفترض وجود تبادلية للحلقات، وبالتالي لا يتحقق الضمان الرسمي للتغطية بدقة، رغم أن ENCP لا يزال يتفوق على التنبؤ التشفي القياسي.
• متغيرات الوزن: حققت طريقة الوزن الخالية من المعلمات (باستخدام $1-p_{max}$) تغطية مماثلة للنسخة القائمة على التعلم، ولكنها نتج عنها مجموعات تنبؤ أصغر ولم تتطلب ملاءمة إضافية للنموذج.
• منفعة طلب المساعدة: في محاكاة حيث يلجأ الوكيل إلى "أوراكل" (oracle) حقيقي عندما يتجاوز حجم مجموعة التنبؤ عتبة $\tau$، تحسن معدل النجاح بشكل كبير. على سبيل المثال، في نموذج DUET، أدى خفض العتبة لتنشيط المزيد من الاستعلامات إلى زيادة معدل النجاح من 71.2% (بدون مساعدة) إلى 98.8% (عند الاستعلام عن كل مجموعة غير أحادية العنصر)، وإن كان ذلك على حساب زيادة "معدل السؤال".

5. الأهمية والادعاءات

يزعم البحث أن ENCP يوفر طريقة غير مرتبطة بالنموذج (model-agnostic) لتقدير عدم اليقين في VLN تقدم ضمانات تغطية رسمية ذات عينة محدودة للمسارات المعتمدة ومتغيرة الطول.

• السلامة والموثوقية: من خلال توفير مجموعة تنبؤ صالحة إحصائيًا، يسمح ENCP للوكلاء بتحديد الخطوات غير الموثوقة وتأجيل المساعدة البشرية قبل تراكم الأخطاء، مما يعالج فجوة أمنية حرجة.
• النشر العملي: يعمل حجم مجموعة التنبؤ كإشارة عملية للتدخل. ويجادل المؤلفون بأن هذا يسمح بمقايضة قابلة للضبط بين الاستقلالية والسلامة، مما يمكن الوكلاء من "معرفة متى لا يعرفون".
• القيود: يشير المؤلفون بتواضع إلى أن التقييم في الحلقة المغلقة يعتمد على "أوراكل" محاكى وليس على مشغلين بشريين. علاوة على ذلك، تفترض الطريقة وجود مساحة أفعال محدودة، وقد لا تتحقق التغطية بشكل مثالي تحت انزياحات التوزيع الكبيرة (مثل المباني غير المشهودة) دون إعادة معايرة، كما هو موضح في انخفاض التغطية في إعداد "المشاهد-إلى-غير المشاهد".

باختصار، يسد ENCP الفجوة بين ضمانات عدم اليقين النظرية والطبيعة المتسلسلة لـ VLN، مما يوفر آلية قوية لنشر الوكلاء بأمان.