Are foundation models for computer vision good conformal predictors?

Deze studie toont aan dat visie- en visie-taal foundation modellen, met name Vision Transformers, uitstekend geschikt zijn voor conformale voorspelling, waarbij ze theoretische dekking garanderen en beter presteren bij few-shot aanpassing, terwijl het kalibreren van hun betrouwbaarheidsvoorspellingen juist de efficiëntie kan verminderen.

De kern

Titel: Zijn de slimme computer-oogjes ook eerlijk? Een verhaal over zekerheid en voorspellingen

Stel je voor dat je een super-slimme robot hebt die foto's kan bekijken en vertellen wat erop staat. Deze robot is niet zomaar een gewone camera; hij is opgeleid met miljoenen foto's uit het hele internet. Dit zijn de zogenaamde "Foundation Models". Ze zijn zo slim dat ze bijna alles kunnen herkennen, van een hond tot een heel specifiek type bloem, zelfs zonder dat ze die specifieke bloem ooit eerder hebben gezien.

Maar hier zit een addertje onder het gras: Hoe zeker is deze robot eigenlijk?

Soms denkt de robot dat hij 99% zeker is, terwijl hij het helemaal mis heeft. In situaties waar het erom gaat (zoals bij medische diagnoses of zelfrijdende auto's), is die "overmoed" gevaarlijk. We willen weten: Wanneer moet ik deze robot geloven, en wanneer moet ik twijfelen?

Dit is waar het onderzoek van deze paper om draait. De auteurs kijken naar een slimme statistische methode genaamd Conformal Prediction (CP). Laten we dit uitleggen met een paar creatieve vergelijkingen.

1. Het Probleem: De Zekere Leugenaar

Stel je voor dat de robot een gokker is in een casino.

• Gewone modellen: Zeggen: "Ik heb 90% kans dat dit een appel is." Maar als ze 10 keer een appel noemen, is het misschien maar 7 keer een appel. Ze zijn niet goed gekalibreerd.
• Het doel: We willen een systeem dat zegt: "Ik heb 90% zekerheid dat het antwoord in deze lijst staat." En als we 100 keer spelen, moet het juiste antwoord inderdaad 90 keer in die lijst zitten. Dat is Conformal Prediction.

In plaats van één antwoord te geven ("Dit is een appel"), geeft Conformal Prediction een lijstje met opties.

• Voorbeeld: "Ik ben niet 100% zeker, maar ik kan garanderen dat het juiste antwoord in deze lijst van 3 dingen zit: [Appel, Peer, Perzik]."
• Als het een appel is, hebben we gelijk. Als het een peer is, hebben we ook gelijk. Het systeem is eerlijk over zijn onzekerheid.

2. De Drie Spelers (De Methoden)

De onderzoekers hebben gekeken hoe goed deze "Foundation Models" werken met drie verschillende manieren om zo'n lijstje te maken:

1. LAC (De simpele grens): "Ik neem alles wat er meer dan 50% kans op heeft." Soms werkt dit goed, soms niet.
2. APS (De slimme verzamelaar): Deze methode is als een verzamelaar die steeds meer items toevoegt aan zijn lijstje totdat hij zeker is dat het juiste antwoord erin zit. Hij is erg betrouwbaar, maar zijn lijstjes worden soms lang.
3. RAPS (De strenge beheerder): Deze probeert de lijstjes kort te houden door een boete te geven als je te veel opties toevoegt. Hij wil efficiënt zijn, maar loopt soms vast bij moeilijke vragen.

3. De Grote Ontdekkingen

De onderzoekers hebben deze slimme robots (zoals CLIP en DINO) getest in verschillende situaties. Hier zijn de belangrijkste lessen, vertaald naar alledaags taal:

A. De "Vision Transformers" zijn de kampioenen

De nieuwste generatie robots (die werken met een techniek genaamd "Vision Transformers", zoals DINOv2 en CLIP) doen het veel beter dan de oude, traditionele robots.

• Vergelijking: Het is alsof je een oude, stoffige landkaart vergelijkt met een moderne GPS-app. De GPS (de Vision Transformer) maakt veel kleinere, nauwkeurigere lijstjes en is betrouwbaarder, zelfs als de weg verandert.

B. Kalibratie kan averechts werken

Vaak proberen mensen de robots "kalibreren" (hun zelfvertrouwen aanpassen) zodat ze eerlijker zijn.

• Vergelijking: Stel je voor dat je een thermometer die altijd te warm aangeeft, een beetje afstelt. Dat klinkt goed. Maar in dit onderzoek bleek dat als je de robots "kalibreert", hun lijstjes met opties groter worden. Ze worden conservatiever.
• Conclusie: Als je een heel nauwkeurige lijst wilt (korte lijstje), helpt kalibratie soms niet. Als je juist zekerheid wilt (dat het antwoord er echt in zit), is het misschien wel goed, maar dan moet je accepteren dat de lijst langer wordt.

C. Leerlingen worden beter dan meesters (Few-Shot Learning)

Soms geven we de robot een paar voorbeelden van een nieuwe taak (bijvoorbeeld: "Kijk, dit is een 'Giraffe', en dit is een 'Zebra'"). Dit noemen ze "Few-Shot learning".

• Vergelijking: Een robot die alles al weet (Zero-Shot) is slim, maar soms wat onzeker. Als je hem een paar voorbeelden geeft, wordt hij niet alleen slimmer in het herkennen, maar ook beter in het maken van eerlijke lijstjes. Hij maakt kortere lijstjes en is zekerder.

D. De "Verkeerssituatie" (Distribution Shift)

Wat gebeurt er als de robot foto's ziet die hij nooit heeft gezien? Bijvoorbeeld foto's van schilderijen in plaats van echte foto's, of foto's met veel ruis?

• Vergelijking: Stel je voor dat je in een auto rijdt op een bekende weg (de trainingsdata), en plotseling kom je in een modderig terrein (nieuwe data).
• De methode APS (de verzamelaar) is hier de winnaar. Hij wordt wel wat "traag" (zijn lijstjes worden langer), maar hij verliest nooit de waarheid uit het oog. Hij blijft garanderen dat het juiste antwoord in zijn lijstje zit, zelfs in de modder.
• De methode RAPS (de strenge beheerder) probeert zijn lijstje kort te houden, maar in de modder slaagt hij er niet in om de waarheid te vangen. Hij wordt onbetrouwbaar.

4. Wat betekent dit voor de toekomst?

De boodschap van dit onderzoek is hoopvol voor de toekomst van veilige AI:

1. Gebruik de nieuwste modellen: De moderne "Foundation Models" (zoals CLIP en DINO) zijn uitstekend geschikt om eerlijke voorspellingen te doen.
2. Kies je methode slim:
   • Wil je maximale veiligheid (bijvoorbeeld in een ziekenhuis)? Gebruik APS. Het maakt misschien een langere lijstje, maar je kunt erop vertrouwen dat het juiste antwoord erin zit, zelfs als de situatie ongewoon is.
   • Wil je snelheid en efficiëntie (bijvoorbeeld in een spelletje)? Gebruik RAPS, maar wees voorzichtig als de situatie verandert.
3. Onzekerheid is goed: Het is beter om een lijstje te geven met 3 opties dan om één fout antwoord te geven met 100% zekerheid. Conformal Prediction zorgt ervoor dat we die onzekerheid kunnen meten en managen.

Kortom: Deze slimme computer-oogjes zijn niet alleen slim in het zien, maar met de juiste statistische hulpmiddelen (Conformal Prediction) kunnen ze ook heel eerlijk zijn over wat ze wel en niet weten. Dat is een enorme stap voorwaarts voor het veilig gebruiken van AI in de echte wereld.

Technische samenvatting

Titel: Zijn foundation modellen voor computer vision goede conformale voorspellers?

Auteurs: Leo Fillioux et al. (CentraleSupélec, Université Paris-Saclay, ETS Montréal)

---

1. Probleemstelling

Foundation modellen voor computer vision (zoals DINOv2 en CLIP) hebben ongekende prestaties bereikt op diverse taken dankzij zelftoezicht (self-supervision) en contrastief leren. Deze modellen worden steeds vaker ingezet in risicovolle en hoogst-gevolg scenario's (bijv. gezondheidszorg, beveiliging). Echter, voor een veilige implementatie is een robuust begrip van hun onzekerheidsmodellering essentieel.

Bestaande methoden voor onzekerheidskwantificatie, zoals calibratie (bijv. Temperature Scaling), hebben beperkingen: ze bieden geen theoretische garanties voor de dekking van de voorspelling en kunnen bias of feitelijke fouten in foundation modellen niet volledig oplossen. Conformale Voorspelling (Conformal Prediction - CP) is een statistisch kader dat theoretische garanties biedt voor de marginale dekking van de ware klasse binnen een voorspelde set. Tot nu toe is het gedrag van vision foundation modellen onder CP echter weinig onderzocht, terwijl dit cruciaal is voor hun betrouwbare inzet.

2. Methodologie

De auteurs hebben een uitgebreide empirische analyse uitgevoerd om het gedrag van vision foundation modellen onder Conformal Prediction te evalueren.

• Modellen: Er zijn 17 verschillende foundation modellen getest, waaronder:
  • Vision-only modellen: DINO, DINOv2 (verschillende groottes), VICReg (CNN-architecturen).
  • Vision-Language Modellen (VLMs): CLIP (verschillende backbones zoals ViT en ConvNeXt), MetaCLIP, LLaVa, Phi 3.5.
• Datasets: Experimenten zijn uitgevoerd op populaire benchmarks: CIFAR-10, CIFAR-100 en ImageNet (inclusief versies met domeinverschuivingen zoals ImageNet-A, -R, -Sketch, -V2). Daarnaast zijn er 10 extra fine-grained datasets gebruikt voor few-shot evaluaties.
• Conformale Methoden: Drie veelgebruikte CP-methoden werden vergeleken:
  1. LAC (Least Ambiguous Classifier): Gebruikt een vaste drempel op de softmax-kansen.
  2. APS (Adaptive Prediction Sets): Accumuleert geordende softmax-kansen om een adaptieve set te vormen.
  3. RAPS (Regularized Adaptive Prediction Sets): Voegt een regularisatieterm toe aan APS om de setgrootte te beperken.
• Experimentele Opzet:
  • Algemene setting: Prestaties onder ideale omstandigheden (geen distributieverandering).
  • Domeinverschuiving (Distribution Shift): Evaluatie op datasets die afwijken van de calibratiedata.
  • Calibratie-invloed: Onderzoek naar het effect van het calibreren van de modellen (via Temperature Scaling) op de CP-prestaties.
  • Few-shot adaptatie: Evaluatie van VLMs (CLIP) die zijn aangepast aan nieuwe taken met weinig voorbeelden (few-shot) vergeleken met zero-shot prestaties.

3. Belangrijkste Bijdragen en Resultaten

De studie levert zes kernobservaties op:

1. Superioriteit van Foundation Modellen: Vision- en vision-language foundation modellen leveren over het algemeen betere conformale metrieken op dan traditioneel volledig gesuperviseerde modellen. Modellen die Vision Transformers (ViT) gebruiken (zoals DINO en CLIP) presteren aanzienlijk beter dan CNN-gebaseerde modellen, vooral onder domeinverschuivingen. Ze resulteren in kleinere voorspelde sets en een hogere klasse-conditionele dekking.
2. Beste CP-methode: APS (Adaptive Prediction Sets) blijkt de beste methode te zijn voor empirische dekking en robustheid, vooral bij distributieveranderingen. RAPS biedt de beste alternatief vanuit het perspectief van de grootte van de conformale set (efficiëntie), maar ten koste van een grotere variabiliteit in de dekking per klasse.
3. Robuustheid onder Verschuiving: Onder domeinverschuivingen vertoont APS de grootste robustheid in termen van dekkingsgaranties, hoewel dit leidt tot grotere sets (lagere efficiëntie). RAPS en LAC vertonen vaak een lagere marginale dekking in deze scenario's.
4. Negatief Effect van Calibratie: Een verrassende bevinding is dat het calibreren van de confidence-predicties van deze modellen (via Temperature Scaling) leidt tot een degradatie van de efficiëntie van de conformale sets. Hoewel de dekking (coverage) soms iets verbetert, worden de voorspelde sets aanzienlijk groter, vooral bij adaptieve methoden zoals APS.
5. Few-shot Adaptatie: Het aanpassen van Vision-Language Modellen (zoals CLIP) aan downstream-taken met weinig voorbeelden (few-shot) resulteert in kleinere setgroottes en kleinere dekkingstappen (coverage gaps) vergeleken met zero-shot voorspellingen op in-distribution data.
6. Architectuurverschillen: Modellen met Vision Transformers (ViT) lijden minder onder domeinverschuivingen dan CNN-modellen (zoals ResNet of ConvNeXt in CLIP), wat resulteert in kleinere afnames in de conformale metrieken.

4. Technische Analyse van Resultaten

• Setgrootte vs. Dekking: Er is een duidelijke trade-off. APS garandeert de dekking door de setgrootte te verhogen wanneer het model onzeker is of de data verschuift. RAPS probeert de setgrootte klein te houden via straffing, wat leidt tot een ongelijkmatige dekking over verschillende klassen (sommige klassen krijgen minder dekking dan de theoretische garantie).
• Calibratie Paradox: Hoewel calibratie de Expected Calibration Error (ECE) verlaagt, maakt het de softmax-verdeling "gladder" (minder zelfverzekerd). Omdat CP-methoden werken met deze scores, moeten ze meer klassen opnemen om de vereiste dekking (bijv. 90%) te halen, wat de setgrootte vergroot.
• Few-shot: De verbetering bij few-shot adaptatie wordt toegeschreven aan het feit dat deze methoden de confidence-schattingen van het model vaak verslechteren (minder overtuigend) ten opzichte van zero-shot, wat paradoxaal genoeg leidt tot kleinere sets omdat de CP-methode minder "straf" hoeft toe te passen om de dekking te bereiken.

5. Betekenis en Conclusie

Deze studie is van groot belang voor de veilige implementatie van foundation modellen in kritieke systemen. De conclusies zijn:

• Foundation modellen zijn uitstekende kandidaten voor conformale voorspelling, vooral die gebaseerd op Vision Transformers.
• APS is de aanbevolen methode voor scenario's waarbij het garanderen van de dekking (veiligheid) belangrijker is dan de grootte van de set (bijv. medische diagnose).
• Calibratie moet met voorzichtigheid worden toegepast in combinatie met CP, omdat het de efficiëntie kan verminderen zonder noodzakelijk de dekking significant te verbeteren.
• Few-shot adaptatie is een veelbelovende route om zowel de prestaties als de onzekerheidskwantificatie te verbeteren voor specifieke taken.

De auteurs benadrukken dat de keuze van de methode afhangt van de specifieke toepassing: in hoog-risico scenario's moet men kiezen voor APS om maximale dekking te garanderen, terwijl in minder kritieke domeinen RAPS of LAC mogelijk efficiënter zijn.