SoC: Semantic Orthogonal Calibration for Test-Time Prompt Tuning

ملخص تقني: المعايرة الدلالية المتعامدة لضبط المطالبات في وقت الاختبار (SoC)

بيان المشكلة
أظهرت نماذج الرؤية واللغة (VLMs)، مثل CLIP، قدرات قوية في التعلم من الصفر، لكنها تواجه تحديات كبيرة عند نشرها في سيناريوهات العالم الحقيقي التي تتضمن بيانات خارج التوزيع (out-of-distribution) أو فئات جديدة. وبينما برز ضبط المطالبات في وقت الاختبار (TPT) كطريقة لتكييف نماذج الرؤية واللغة مع مهام جديدة دون بيانات مصنفة عبر تحسين المطالبات النصية من خلال تقليل الإنتروبيا، إلا أن هذا النهج غالبًا ما يؤدي إلى تنبؤات مفرطة الثقة، مما يؤدي إلى معايرة سيئة لعدم اليقين.

تحاول الأساليب الحديثة المتقدمة، وتحديدًا O-TPT (ضبط المطالبات في وقت الاختبار المتعامد)، التخفيف من حدة هذه الثقة المفرطة من خلال فرض تعامد كامل بين أزواج تضمينات المطالبات النصية. والحدس وراء ذلك هو أن النماذج الأولية المتعامدة تعزز قابلية الفصل بين الفئات. ومع ذلك، تجادل هذه الورقة بأن فرض التعامد الصارم هو أمر معيب نظريًا وتجريبيًا للفئات ذات الصلة دلاليًا. فمن خلال دفع جميع النماذج الأولية للفئات بعيدًا عن بعضها البعض بشكل عدواني، يقوم O-TPT بتعطيل البنية الدلالية المتأصلة في فضاء التضمين (على سبيل المثال، إجبار "المحاصيل السنوية" و"المحاصيل الدائمة" على أن يكونا متعامدين رغم تداخلهما المفاهيمي). هذا الفصل الاصطناعي يؤدي إلى تضخم منهجي في ثقة التنبؤ، حتى عندما يكون تنبؤ النموذج غير صحيح، مما يؤدي إلى تدهور المعايرة بدلاً من تحسينها.

المنهجية
يقترح المؤلفون المعايرة الدلالية المتعامدة (SoC)، وهو منظم جديد مصمم لفرض فصل النماذج الأولية مع الحفاظ على التقارب الدلالي.

1. التنظيم القائم على دالة هوبر (Huber-Based Regularization): بدلاً من العقوبة التربيعية المستخدمة في O-TPT (التي تطبق قوة طرد تتناسب مع مربع التشابه)، يستخدم SoC دالة خسارة هوبر، والتي تكون تربيعية للبواقي الصغيرة (أزواج التشابه المنخفض) ولكنها تنتقل إلى عقوبة خطية للبواقي الكبيرة (أزواج التشابه العالي).
2. الحفاظ على الدلالة: تعمل صيغة هوبر على وضع حد لقوة الطرد للأزواج الفئوية عالية التشابه. وهذا يضمن أن الفئات المرتبطة دلاليًا (والتي تمتلك بطبيعتها تشابه جيب التمام عالي في فضاء التضمين) لا تُدفع بعيدًا عن بعضها البعض بنفس العدوانية الموجودة في O-TPT. يتم تعريف المنظم كالتالي:
   $$L_{SoC} = L_{TPT} + \lambda \cdot \frac{2}{K(K-1)} \sum_{i<j} L_{Huber}(s_{ij}, \delta)$$
   حيث $s_{ij}$ هو تشابه جيب التمام بين النماذج الأولية للفئات $i$ و $j$، و $\delta$ هو عتبة الهامش.
3. التحليل النظري: تستنتج الورقة حدًا أدنى لثقة "softmax" بناءً على أسوأ حالات تشابه الفئات ($\mu$). ويوضح التحليل أن التعامد الكامل (O-TPT) يقلل $\mu$ بشكل عدواني في خطوة تدرج واحدة، مما يؤدي إلى رفع حد الثقة بشكل صارم. في المقابل، يطبق المنظم القائم على هوبر المقترح طردًا أكثر لطفًا للأزواج عالية التشابه، مما يمنع الزيادة المفرطة في الثقة ويحافظ على معايرة أفضل.

المساهمات الرئيسية

• منظم SoC: تقديم منظم قائم على هوبر لـ TPT ينتج تدرجات أكثر سلاسة من قيود التعامد الكامل. إنه يحافظ بفعالية على البنية الدلالية بين الفئات ذات الصلة مع التخفيف من آثار الفصل المفرط للتعامد الصارم.
• الرؤية النظرية: اشتقاق حد أدنى للثقة يربط بين أسوأ حالات تشابه الفئات وعدم يقين التنبؤ. يكشف هذا التحليل أن التعامد الكامل (O-TPT) يضخم الثقة بشكل منهجي عن طريق تقليل التشابه بشكل عدواني، حتى بالنسبة للفئات المرتبطة دلاليًا، بينما يتجنب الأسلوب المقترح ذلك من خلال وضع حد للطرد.
• التحقق التجريبي: أظهرت التجارب الشاملة عبر 11 مجموعة بيانات متنوعة (بما في ذلك التصنيف دقيق التفاصيل، وتحولات النطاق الطبيعية، وصور الأقمار الصناعية) أن SoC يحسن باستمرار مقاييس المعايرة (خطأ المعايرة المتوقع - ECE) مقارنة بالأساليب المرجعية المتقدمة (TPT, C-TPT, O-TPT) مع الحفاظ على أداء تمييزي تنافسي.

النتائج

• أداء المعايرة: عبر 11 مجموعة بيانات، حقق SoC أفضل درجات ECE في جميع المجموعات باستثناء واحدة مقارنة بـ O-TPT. بلغ متوسط تحسن ECE عن O-TPT نحو 2.3، مع ملاحظة مكاسب كبيرة في المهام دقيقة التفاصيل (على سبيل المثال، انخفاض قدره 14.5 نقطة في ECE على EuroSAT).
• الموثوقية: تظهر مخططات الموثوقية أنه بينما يظهر O-TPT ثقة مفرطة واضحة (الاحتمالات المتوقعة تتجاوز باستمرار الدقة الملحوظة)، ينتج SoC منحنيات أكثر تسطحًا وقربًا من الخط القطري، مما يشير إلى محاذاة أفضل بين الثقة والدقة.
• المتانة:
  • تحديثات متعددة الخطوات: عند تطبيق تحديثين للتدرج (سيناريو يتدهور فيه معايرة O-TPT بنسبة 39%)، أظهر SoC تدهورًا أقل بكثير (23%)، مما يتماشى مع النتيجة النظرية بأن تقليل التشابه الحاد في O-TPটি غير مستقر.
  • اختلافات العمود الفقري (Backbone): تفوق SoC على O-TPT في كل من الدقة و ECE عبر نماذج ViT المختلفة (ViT-B/16 و ViT-L/14).
  • حساسية المطالبة: أظهر SoC قيم ECE أقل عبر 18 مطالبة نصية أولية مختلفة مقارنة بـ O-TPT، مما يشير إلى انخفاض الحساسية تجاه تهيئة المطالبة.
• الكفاءة الحسابية: التعقيد الحسابي لـ SoC هو $O(n^2)$، بينما يتضمن O-TPT تحويلات Householder بتعقيد $O(n^3)$، مما يجعل SoC أكثر كفاءة لمجموعات البيانات التي تحتوي على عدد كبير من الفئات.

الأهمية والادعاءات
تدعي الورقة أن القصور الرئيسي في طرق المعايرة الحالية القائمة على التعامد هو فشلها في التمييز بين الفصل الهندسي والتقارب الدلالي. ومن خلال استبدال الطرد الجامد لـ O-TPT بآلية أكثر سلاسة ووعيًا دلاليًا، يُمكّن SoC نماذج الرؤية واللغة من التكيف مع مهام جديدة دون التضحوا بموثوقية تقديرات عدم اليقين الخاصة بها. يضع المؤلفون هذا العمل كخطوة نحو طرق معايرة أكثر وعيًا دلاليًا لنماذج الرؤية واللغة، وهو أمر بالغ الأهمية خاصة للتطبيقات الحرجة للسلامة مثل الرعاية الصحية والقيادة الذاتية حيث تكون التنبؤات الخاطئة مفرطة الثقة غير مقبولة. تشير الدراسة إلى أن الحفاظ على بنية الـ manifold للفئات المتشابهة دلاليًا أمر ضروري لتحقيق معايرة حقيقية، وليس مجرد تعظيم الفصل الهندسي.