🤖 machine learning

Shift-Aware Calibration for Fine-Tuned CLIP: Leveraging Image-Text Alignment

Dit artikel stelt Shift-Aware Calibration (SAC) voor, een methode die geen training vereist en het verschil tussen de originele en de gefinetunede CLIP-logits gebruikt om de modelvertrouwen effectief te herkalibreren voor zowel bekende als onbekende klassen onder diverse distributieverschuivingen.

Oorspronkelijke auteurs: Song-Lin Lv, Yu-Yang Chen, Zhi Zhou, Lan-Zhe Guo

Gepubliceerd 2026-07-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Song-Lin Lv, Yu-Yang Chen, Zhi Zhou, Lan-Zhe Guo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin computers naar een afbeelding kunnen kijken en direct "weten" wat het is, niet alleen door een lijst met labels te onthouden, maar door het verhaal achter de afbeelding en de woorden die het beschrijven te begrijpen. Dit is de magie van Vision-Language Models (VLM's), een type kunstmatige intelligentie dat leert door miljarden boeken te lezen en tegelijkertijd naar miljarden foto's te kijken. Denk aan een student die de hele bibliotheek van de menselijke kennis heeft gelezen; die kan raden hoe een "pinguïn" eruitziet, zelfs als hij er nog nooit een in een klaslokaal heeft gezien, simpelweg omdat hij het concept begrijpt van een vogel die in koud water zwemt.

Er zit echter een addertje onder het gras. Wanneer we deze superintelligente student een nieuwe, specifieke truc leren—zoals het identificeren van zeldzame bloemen in een tuin—worden ze soms te zelfverzekerd. Ze kunnen beginnen te roepen: "Ik weet voor 99% zeker dat dit een roos is!" terwijl het eigenlijk een paardenbloem is, of ze kunnen hun zelfbeheersing verliezen en zeggen: "Ik weet slechts voor 10% zeker," zelfs wanneer ze gelijk hebben. Deze mismatch tussen hoe zeker de computer zich voelt en hoe vaak hij daadwerkelijk correct is, wordt "miscalibratie" genoemd. Dit is een groot probleem omdat als je de mate van vertrouwen van een computer niet kunt vertrouwen, je ook zijn beslissingen niet kunt vertrouwen, of het nu gaat om het diagnosticeren van een ziekte of het besturen van een auto. Wetenschappers hebben geprobeerd dit op te lossen, maar de meeste van hun hulpmiddelen werken alleen op de specifieke lessen die de computer al heeft bestudeerd, en falen hopeloos wanneer de computer geconfronteerd wordt met iets volkomen nieuws.

Maak kennis met een nieuwe studie door onderzoekers Song-Lin Lv, Yu-Yang Chen, Zhi Zhou en Lan-Zhe Guo, die een slimme, zonder training vereiste oplossing voorstellen genaamd Shift-Aware Calibration (SAC). In plaats van te proberen de computer opnieuw te onderwijzen of nieuwe statistieken te onthouden, realiseerden zij zich dat het eigen "geheugen" van de computer van zijn oorspronkelijke, vooraf getrainde zelf de sleutel bevat om het vertrouwen te herstellen.

Zo werkt hun idee, gebruikmakend van een eenvoudige analogie: Stel je voor dat de computer een muzikant is die een liedje jarenlang perfect heeft geoefend (het oorspronkelijke, vooraf getrainde model). Daarna probeert hij een remix te leren (het gefinetunede model) om het liedje sneller of met een andere beat te spelen. Soms, in hun enthousiasme om de remix te spelen, raken ze zo meegesleept dat ze beginnen te spelen veel te hard of juist veel te zacht, waardoor ze het ritme verliezen. De onderzoekers merkten op dat de afstand tussen het oorspronkelijke, stabiele ritme en de nieuwe, wilde remix een perfect hulpmiddel is. Als de remix heel anders is dan het origineel (een grote "logit shift"), betekent dit meestal dat de muzikant overmoedig of verward wordt.

De methode van het team werkt als een slimme volumeknop. Het meet precies hoeveel de nieuwe uitvoering is afgedwaald van het oorspronkelijke, stabiele ritme. Als de afwijking groot is, draait het het volume zachtjes omlaag om de overmoed te temperen. Als de afwijking klein is maar de muzikant te verlegen lijkt, draait het het volume slechts een klein beetje omhoog. Cruciaal is dat deze knop alleen het volume verandert (de betrouwbaarheidsscore); het verandert nooit de noten (de eigenlijke voorspelling). Dus als de computer denkt dat het een roos is, denkt hij nog steeds dat het een roos is, maar zegt hij nu: "Ik weet voor 85% zeker," wat veel eerlijker is dan "Ik weet voor 99% zeker."

De onderzoekers testten dit idee op 11 verschillende datasets en vijf verschillende manieren om de modellen te trainen. Ze kwamen tot de conclusie dat SAC uitstekend werkt, niet alleen voor de bloemen die de computer al bestudeerd heeft, maar ook voor de wilde, ongeziene bloemen die hij nog nooit heeft gezien. Het werkte zelfs wanneer de computer werd getest op geheel andere soorten tuinen (cross-dataset en domain-generalization). Sterker nog, hun methode presteerde beter dan de huidige beste hulpmiddelen, inclusief een populaire methode genaamd DAC, die probeert het vertrouwen te voorspellen op basis van tekstbeschrijvingen, maar vaak vastloopt wanneer de visuele wereld verandert.

Wat deze ontdekking bijzonder interessant maakt, is dat het geen extra training of complexe wiskunde vereist. Het is een "training-vrije" oplossing, wat betekent dat je het direct op elk model kunt toepassen dat is gefinetuned. De auteurs suggereren dat de sleutel tot het probleem niet alleen ligt in het kijken naar het uiteindelijke antwoord, maar in het observeren hoe het antwoord verschuift vanaf de oorspronkelijke, goed afgestemde staat. Door het oorspronkelijke model als een "kalibratie-anker" te gebruiken, houdt SAC de computer eerlijk, waardoor het vertrouwen overeenkomt met de realiteit, of de computer nu naar een bekende kat kijkt of naar een vreemd nieuw buitenaards wezen. De studie laat zien dat deze eenvoudige, verschuivingsbewuste benadering robuust is en goed werkt over verschillende modellen en instellingen heen, zonder dat deze voor elke nieuwe taak aangepast hoeft te worden.

Technische Samenvatting: Shift-Aware Calibration voor Fine-Tuned CLIP

Probleemstelling
Vision-language modellen (VLM's) zoals CLIP vertonen sterke zero-shot capaciteiten en beeld-tekst uitlijning. Wanneer deze modellen echter worden gefinetuned op specifieke downstream-taken met behulp van prompt learning of parameter-efficiënte methoden (bijv. LoRA), lijden deze modellen vaak aan een misalignement van de betrouwbaarheid (confidence misalignment). Hoewel fine-tuning de nauwkeurigheid op trainingsklassen verbetert, leidt dit vaak tot overfitting, waardoor het model de goed gekalibreerde voorspellingen en de robuuste beeld-tekst uitlijning die tijdens pre-training zijn verworven, vergeet. Dit resulteert in een aanzienlijk verschil tussen de voorspelde betrouwbaarheidsscores en de werkelijke nauwkeurigheid, met name bij ongeziene klassen en onder cross-dataset of domein-generalisatie instellingen.

Bestaande kalibratiemethoden kampen met kritieke beperkingen in deze context:

Traditionele methoden (bijv. Temperature Scaling, Histogram Binning) vertrouwen op statistieken uit de trainingsdistributie, wat ze ineffectief maakt voor ongeziene klassen.
VLM-specifieke methoden zoals Distance-Aware Calibration (DAC) afleiden gewichten uit tekstuele representaties, maar zijn primair ontworpen voor ongeziene klassen binnen dezelfde dataset. Ze slagen er niet in om de op samples gebaseerde visuele verschuivingen direct te modelleren die vereist zijn voor cross-dataset of domein-generalisatie evaluaties.

Methodologie: Shift-Aware Calibration (SAC)
De auteurs stellen Shift-Aware Calibration (SAC) voor, een training-vrije, sample-wise post-hoc kalibratiemethode. De kerninzicht is dat de "logit shift"—het verschil tussen de output logits van de originele pre-trained CLIP en de fine-tuned CLIP—dient als een informatief signaal voor kalibratie.

Definitie van Logit Shift ( $z$ ):
SAC definieert een metriek $z$ als de L1-afstand tussen de logits van het fine-tuned model ( $\hat{P}$ ) en de originele pre-trained CLIP ( $P$ ) voor een gegeven sample:
$z = \frac{1}{N} \sum_{i=1}^{N} |P_i - \hat{P}_i|$
Hier is $N$ het aantal klassen. De originele CLIP fungeert als een "kalibratie-anker", dat de brede beeld-tekst uitlijning van de pre-training behoudt. De metriek $z$ wordt gemeten in de predictieruimte (logits) in plaats van de verborgen feature-ruimte, wat dient als een observeerbare proxy voor hoeveel de fine-tuning de sample heeft weggebracht van de originele uitlijning.
Mapping naar Schalingsfactor ( $\gamma$ ):
De logit shift $z$ wordt gemapt naar een positieve schalingscoëfficiënt $\gamma$ met behulp van een exponentiële vervalfunctie:
$\gamma = \alpha \cdot e^{-kz}$

Negatieve Correlatie: Grote verschuivingen ( $z$ ) duiden op een significante afwijking van het anker, wat vaak geassocieerd wordt met overconfidence. Het exponentiële verval zorgt ervoor dat een grote $z$ een kleine $\gamma < 1$ oplevert, waardoor de logits worden verzacht.
Correctie van Onderconfidence: Kleine $z$ (samples dicht bij het anker) kunnen een $\gamma > 1$ opleveren (als $\alpha > 1$ ), wat de logits verscherpt voor onderconfidentie-voorspellingen.
Neutraal Punt: De mapping zorgt voor een neutraal punt waar $\gamma = 1$ , waardoor de originele logits behouden blijven wanneer de verschuiving verwaarloosbaar is.
Parameters: $k$ regelt de gevoeligheid voor de grootte van de verschuiving, en $\alpha$ regelt de maximale schalingsfactor en de locatie van het neutrale punt.

Optionele Verfijning (SAC-Plus):
Een optionele verfijning, SAC-Plus, past een kwadratingsoperatie toe op coëfficiënten die ver van 1 liggen (d.w.z. $\gamma < \lambda_1$ of $\gamma > \lambda_2$ ) om correcties voor extreme gevallen te versterken, terwijl gematigde coëfficiënten ongewijzigd blijven. Dit introduceert geen leerbare parameters.
Inference:
Tijdens inference worden de fine-tuned logits $P_i$ geschaald: $P^{SAC}_i = \hat{\gamma}_i \cdot \tau_{temp} \cdot P_i$ . Omdat $\hat{\gamma}_i > 0$ , blijft de relatieve ordening van klasse-waarschijnlijkheden behouden, wat garandeert dat de voorspelde klasse ongewijzigd blijft terwijl de betrouwbaarheid wordt aangepast.

Belangrijkste Bijdragen

Identificatie van Logit Shift: Het papier identificeert dat de primaire drijfveer van de betrouwbaarheidsimbalans in gefineetuned CLIP de mismatch is tussen de mate van de logit shift en de overeenkomstige veranderingen in nauwkeurigheid. Overmatige afwijking van het originele CLIP-anker correleert met een toegenomen kalibratiefout, zelfs nadat de nauwkeurigheid is verzadigd.
Nieuwe Kalibratiemethode (SAC): SAC wordt voorgesteld als een sample-level, training-vrije methode die de originele CLIP als een anker gebruikt. Het corrigeert betrouwbaarheid zonder de output-nauwkeurigheid van het model in gevaar te brengen of extra trainingsdata te vereisen.
Generaliseerbaarheid: Door te vertrouwen op de originele CLIP-uitlijning in plaats van dataset-specifieke statistieken, breidt SAC de toepasbaarheid van kalibratie uit naar open-vocabulary settings, cross-dataset evaluaties en domein-generalisatie, waarmee de beperkingen van bestaande methoden worden overwonnen.
Robuustheid: De methode demonstreert sterke prestaties over 11 datasets en 5 verschillende fine-tuning methoden met een vaste set hyperparameters, wat de ongevoeligheid aantoont voor variaties in training shots, backbones en evaluatie-instellingen.

Experimentele Resultaten

Prestaties: Over 11 datasets en vijf fine-tuning methoden (CoCoOp, KgCoOp, MaPLe, ProGrad, PromptSRC) verbetert SAC consistent de kalibratie (gemeten als Expected Calibration Error - ECE) op zowel trainings- als ongeziene klassen.
Vergelijking: SAC presteert beter dan bestaande kalibratiemethoden, inclus_and standaard scaling/binning technieken, de SOTA VLM-specifieke methode DAC, en de algemene methode MIR.
Mutual Information (MI) Analyse: De auteurs leveren empirisch bewijs via MI-analyse dat een statistische afhankelijkheid bestaat tussen het logit-shift signaal ( $z$ ) en ECE over methoden en datasets heen. Dit ondersteunt de claim dat het shift-signaal informatief is voor kalibratie.
Robuustheid: De methode behoudt zijn effectiviteit over diverse hyperparameter-instellingen en evaluatiescenario's (inclusief cross-dataset en domein-generalisatie), waarbij andere methoden vaak falen of her-tuning vereisen.

Significantie
Het artikel beweert dat SAC een betrouwbaar referentiekader biedt voor het aanpakken van betrouwbaarheidskalibratie in gefineetunde VLMs. Door de originele pre-trained model als een vast anker te gebruiken, beperkt SAC effectief de generalisatiegrenzen van downstream-modellen zonder dat aanvullende training of gelabelde validatiedata voor parametervestiging nodig is. Het werk benadrukt dat het monitoren van de "logit shift" een praktische en theoretisch gefundeerde aanpak biedt om welgekalibreerde voorspellingen te behouden in open-vocabulary en generalisatiescenario's.

Meer zoals dit