SoC: Semantic Orthogonal Calibration for Test-Time Prompt Tuning

Résumé Technique : Calibration Orthogonale Sémantique pour le Réglage des Prompts au Moment du Test (SoC)

Énoncé du Problème
Les Modèles Vision-Langage (VLM), tels que CLIP, ont démontré de fortes capacités en zéro-shot mais rencontrent des défis significatifs lors de leur déploiement dans des scénarios réels impliquant des données hors distribution ou de nouvelles catégories. Bien que le Réglage des Prompts au Moment du Test (TPT) ait émergé comme une méthode pour adapter les VLM à de nouvelles tâches sans données étiquetées en optimisant les prompts textuels via la minimisation de l'entropie, cette approche induit souvent des prédictions trop confiantes, entraînant une mauvaise calibration de l'incertitude.

Les méthodes récentes de l'état de l'art, spécifiquement O-TPT (Réglage Orthogonal des Prompts au Moment du Test), tentent d'atténuer cette surconfiance en imposant une orthogonalité complète entre les paires d'incorporations de prompts textuels. L'intuition est que des prototypes orthogonaux améliorent la séparabilité des classes. Cependant, cet article soutient que l'imposition d'une orthogonalité stricte est théoriquement et empiriquement erronée pour des classes sémantiquement liées. En repoussant agressivement tous les prototypes de classes les uns des autres, O-TPT perturbe la structure sémantique inhérente de l'espace d'incorporation (par exemple, en forçant "culture annuelle" et "culture permanente" à être orthogonaux malgré leur chevauchement conceptuel). Cette séparation artificielle se traduit par une inflation systématique de la confiance des prédictions, même lorsque la prédiction du modèle est incorrecte, dégradant ainsi la calibration au lieu de l'améliorer.

Méthodologie
Les auteurs proposent la Calibration Orthogonale Sémantique (SoC), un régularisateur novateur conçu pour imposer une séparation des prototypes tout en préservant la proximité sémantique.

1. Régularisation basée sur Huber : Au lieu de la pénalité quadratique utilisée dans O-TPT (qui applique une force répulsive forte proportionnelle au carré de la similarité), SoC utilise une fonction de perte Huber. Cette perte est quadratique pour de petits résidus (paires de faible similarité) mais passe à une pénalité linéaire pour des résidus plus grands (paires de forte similarité).
2. Préservation Sémantique : La formulation Huber plafonne la force de répulsion pour les paires de classes très similaires. Cela garantit que les classes corrélées sémantiquement (qui possèdent naturellement une forte similarité cosinus dans l'espace d'incorporation) ne sont pas repoussées aussi agressivement que dans O-TPT. Le régularisateur est défini comme suit :
   $$L_{SoC} = L_{TPT} + \lambda \cdot \frac{2}{K(K-1)} \sum_{i<j} L_{Huber}(s_{ij}, \delta)$$
   où $s_{ij}$ est la similarité cosinus entre les prototypes de classe $i$ et $j$, et $\delta$ est un seuil de marge.
3. Analyse Théorique : L'article dérive une borne inférieure sur la confiance softmax basée sur la similarité de classe au pire cas ($\mu$). L'analyse démontre que l'orthogonalité complète (O-TPT) réduit agressivement $\mu$ en une seule étape de gradient, conduisant à un plancher de confiance strictement plus élevé. En revanche, le régularisateur basé sur Huber proposé applique une répulsion plus douce aux paires de forte similarité, empêchant les augmentations excessives de confiance et maintenant une meilleure calibration.

Contributions Clés

• Régularisateur SoC : Introduction d'un régularisateur basé sur Huber pour le TPT qui produit des gradients plus lisses que les contraintes d'orthogonalité complète. Il préserve efficacement la structure sémantique parmi les classes apparentées tout en atténuant les effets de sur-séparation de l'orthogonalité stricte.
• Insight Théorique : Une dérivation d'une borne inférieure de confiance reliant la similarité de classe au pire cas à l'incertitude de prédiction. Cette analyse révèle que l'orthogonalité complète gonfle systématiquement la confiance en réduisant agressivement la similarité, même pour des catégories corrélées sémantiquement, alors que la méthode proposée évite cela en plafonnant la répulsion.
• Validation Empirique : Des expériences complètes sur 11 jeux de données divers (incluant la classification fine, les décalages de domaine naturels et l'imagerie satellite) démontrent que SoC améliore constamment les métriques de calibration (Erreur de Calibration Attendue - ECE) par rapport aux bases de l'état de l'art (TPT, C-TPT, O-TPT) tout en maintenant des performances discriminatives compétitives.

Résultats

• Performance de Calibration : Sur 11 jeux de données, SoC a obtenu les meilleurs scores ECE sur tous les jeux de données sauf un par rapport à O-TPT. L'amélioration moyenne de l'ECE par rapport à O-TPT était de 2,3, avec des gains significatifs observés dans les tâches fines (par exemple, une réduction de 14,5 points de l'ECE sur EuroSAT).
• Fiabilité : Les diagrammes de fiabilité montrent que tandis que O-TPT présente une surconfiance prononcée (les probabilités prédites dépassant constamment la précision observée), SoC produit des courbes plus plates, plus proches de la diagonale, indiquant une meilleure alignement entre la confiance et la précision.
• Robustesse :
  • Mises à jour Multi-étapes : Lors de l'application de deux mises à jour de gradient (un scénario où la calibration de O-TPT se détériore de 39 %), SoC a montré une dégradation nettement moindre (23 %), s'alignant sur la découverte théorique selon laquelle la réduction brutale de similarité de O-TPT est instable.
  • Variations de Backbone : SoC a surpassé O-TPT en précision et en ECE à travers différents backbones ViT (ViT-B/16 et ViT-L/14).
  • Sensibilité aux Prompts : SoC a démontré un ECE plus faible sur 18 prompts textuels initiaux différents par rapport à O-TPT, indiquant une sensibilité réduite à l'initialisation des prompts.
• Efficacité Computationsnelle : La complexité computationnelle de SoC est $O(n^2)$, tandis que O-TPT implique des transformations Householder avec une complexité $O(n^3)$, rendant SoC plus efficace pour les jeux de données avec un grand nombre de classes.

Signification et Revendications
L'article revendique que la limitation principale des méthodes de calibration actuelles basées sur l'orthogonalité est leur incapacité à distinguer entre la séparation géométrique et la proximité sémantique. En remplaçant la répulsion rigide de O-TPT par un mécanisme plus lisse et conscient de la sémantique, SoC permet aux VLM de s'adapter à de nouvelles tâches sans sacrifier la fiabilité de leurs estimations d'incertitude. Les auteurs positionnent ce travail comme une étape vers des méthodes de calibration plus conscientes de la sémantique pour les VLM, particulièrement cruciales pour les applications critiques pour la sécurité comme la santé et la conduite autonome où les prédictions incorrectes trop confiantes sont inacceptables. L'étude suggère que préserver la structure de variété des classes sémantiquement similaires est essentiel pour atteindre une véritable calibration, plutôt que de simplement maximiser la séparation géométrique.