SoC: Semantic Orthogonal Calibration for Test-Time Prompt Tuning

Technische Samenvatting: Semantische Orthogonale Calibratie voor Test-Tijd Prompt Tuning (SoC)

Probleemstelling
Vision-Language Models (VLM's), zoals CLIP, hebben sterke zero-shot capaciteiten aangetoond, maar staan voor aanzienlijke uitdagingen wanneer ze worden ingezet in real-world scenario's met out-of-distribution data of nieuwe categorieën. Hoewel Test-Time Prompt Tuning (TPT) is opgekomen als een methode om VLM's aan te passen aan nieuwe taken zonder gelabelde data door tekstprompts te optimaliseren via entropieminimalisatie, leidt deze aanpak vaak tot oververzekerde voorspellingen, wat resulteert in een slechte onzekerheidscalibratie.

Recente state-of-the-art methoden, specifiek O-TPT (Orthogonal Test-Time Prompt Tuning), proberen dit oververtrouwen te mitigeren door volledige orthogonaliteit af te dwingen tussen paren van tekstprompt-embeddings. De intuïtie is dat orthogonale prototypes de scheidbaarheid van klassen verbeteren. Deze paper betoogt echter dat het afdwingen van strikte orthogonaliteit theoretisch en empirisch gebrekkig is voor semantisch gerelateerde klassen. Door alle klassenprototypes agressief uit elkaar te duwen, verstoort O-TPT de inherente semantische structuur van de embeddingruimte (bijvoorbeeld door "jaarlijkse gewassen" en "permanente gewassen" tot orthogonale entiteiten te maken, ondanks hun conceptuele overlap). Deze kunstmatige scheiding resulteert in een systematische inflatie van de voorspellingsvertrouwdheid, zelfs wanneer de voorspelling van het model onjuist is, waardoor de calibratie verslechtert in plaats van verbetert.

Methodologie
De auteurs stellen Semantic Orthogonal Calibration (SoC) voor, een nieuwe regularisator die is ontworpen om prototype-scheiding af te dwingen terwijl semantische nabijheid behouden blijft.

1. Huber-gebaseerde Regularisatie: In plaats van de kwadratische straf die in O-TPT wordt gebruikt (die een sterke afstotende kracht toepast die evenredig is met het kwadraat van de gelijkenis), maakt SoC gebruik van een Huber-verliesfunctie. Dit verlies is kwadratisch voor kleine residuen (paren met lage gelijkenis), maar gaat over in een lineaire straf voor grotere residuen (paren met hoge gelijkenis).
2. Semantische Behoud: De Huber-formulering begrenst de afstotingskracht voor zeer gelijke klassenparen. Dit zorgt ervoor dat semantisch gecorreleerde klassen (die van nature een hoge cosinusgelijkenis bezitten in de embeddingruimte) niet zo agressief uit elkaar worden geduwd als bij O-TPT. De regularisator wordt gedefinieerd als:
   $$L_{SoC} = L_{TPT} + \lambda \cdot \frac{2}{K(K-1)} \sum_{i<j} L_{Huber}(s_{ij}, \delta)$$
   waarbij $s_{ij}$ de cosinusgelijkenis is tussen klassenprototypes $i$ en $j$, en $\delta$ een drempelwaarde voor de marge is.
3. Theoretische Analyse: De paper leidt een ondergrens af voor de softmax-vertrouwdheid op basis van de worst-case klassengelijkheid ($\mu$). De analyse toont aan dat volledige orthogonaliteit (O-TPT) $\mu$ agressief verlaagt in één gradiëntstap, wat leidt tot een strikt hogere vloer voor de vertrouwensniveaus. Daarentegen past de voorgestelde Huber-gebaseerde regularisator een mildere afstoting toe op paren met hoge gelijkenis, waardoor excessieve toenames van vertrouwen worden voorkomen en een betere calibratie wordt behouden.

Belangrijkste Bijdragen

• SoC Regularisator: Introductie van een Huber-gebaseerde regularisator voor TPT die soepelere gradiënten oplevert dan volledige orthogonaliteitsbeperkingen. Het behoudt effectief de semantische structuur tussen gerelateerde klassen, terwijl het de effecten van over-scheiding door strikte orthogonaliteit mitigeert.
• Theoretisch Inzicht: Een afleiding van een ondergrens voor vertrouwen die de worst-case klassengelijkheid koppelt aan voorspellingsonzekerheid. Deze analyse onthult dat volledige orthogonaliteit het vertrouwen systematisch inflatieert door agressief de gelijkenis te verlagen, zelfs voor semantisch gecorreleerde categorieën, terwijl de voorgestelde methode dit voorkomt door de afstoting te begrenzen.
• Empirische Validatie: Uitgebreide experimenten over 11 diverse datasets (inclusief fijnmazige classificatie, natuurlijke domeinverschuivingen en satellietbeelden) tonen aan dat SoC consistent de calibratiemetrics (Expected Calibration Error - ECE) verbetert in vergelijking met state-of-the-art baselines (TPT, C-TPT, O-TPT), terwijl het concurrerende discriminatieve prestaties behoudt.

Resultaten

• Calibratieprestaties: Over 11 datasets behaalde SoC de beste ECE-scores in alle datasets behalve één in vergelijking met O-TPT. De gemiddelde ECE-verbetering ten opzichte van O-TPT was 2,3, met significante winsten waargenomen in fijnmazige taken (bijvoorbeeld een reductie van 14,5 punten in ECE op EuroSAT).
• Betrouwbaarheid: Betrouwbaarheidsdiagrammen tonen aan dat terwijl O-TPT uitgesproken oververtrouwen vertoont (voorspelde kansen die consistent de waargenomen nauwkeurigheid overschrijden), SoC vlakkere krommen produceert die dichter bij de diagonaal liggen, wat wijst op een betere afstemming tussen vertrouwen en nauwkeurigheid.
• Robuustheid:
  • Multi-stap Updates: Bij het toepassen van twee gradiëntupdates (een scenario waarbij de calibratie van O-TPT met 39% verslechtert), toonde SoC aanzienlijk minder degradatie (23%), wat overeenkomt met de theoretische bevinding dat de scherpe vermindering van gelijkenis bij O-TPT instabiel is.
  • Backbone-variaties: SoC presteerde beter dan O-TPT in zowel nauwkeurigheid als ECE over verschillende ViT-backbones (ViT-B/16 en ViT-L/14).
  • Prompt-gevoeligheid: SoC toonde een lagere ECE over 18 verschillende initiële tekstprompts in vergelijking met O-TPT, wat wijst op een verminderde gevoeligheid voor prompt-initialisatie.
• Berekenings-efficiëntie: De computationele complexiteit van SoC is $O(n^2)$, terwijl O-TPT Householder-transformaties omvat met een complexiteit van $O(n^3)$, waardoor SoC efficiënter is voor datasets met een groot aantal klassen.

Betekenis en Claims
De paper claimt dat de primaire beperking van huidige calibratiemethoden op basis van orthogonaliteit hun onvermogen is om te onderscheiden tussen geometrische scheiding en semantische nabijheid. Door de rigide afstoting van O-TPT te vervangen door een soepeler, semantisch bewust mechanisme, stelt SoC VLM's in staat zich aan te passen aan nieuwe taken zonder de betrouwbaarheid van hun onzekerheidsschattingen op te offeren. De auteurs positioneren dit werk als een stap richting meer semantisch bewuste calibratiemethoden voor VLM's, wat bijzonder cruciaal is voor veiligheidskritische toepassingen zoals gezondheidszorg en autonoom rijden, waar oververzekerde onjuiste voorspellingen onaanvaardbaar zijn. De studie suggereert dat het behoud van de manifoldstructuur van semantisch vergelijkbare klassen essentieel is voor het bereiken van ware calibratie, in plaats van simpelweg het maximaliseren van geometrische scheiding.