🤖 machine learning

Empirical Bayes Conformal Prediction for Vision and Language Models

Dit artikel introduceert een Empirical Bayes Conformal Prediction-raamwerk dat $r$ -waarden benut om scorevariabiliteit om te zetten in een op onzekerheid gebaseerde niet-overeenstemmingsscore, waardoor de stabiliteit van de rangschikking wordt verbeterd en de opname van false kandidaten met hoge variantie in visuele en taalsystemen wordt verminderd, terwijl distributie-vrije dekkinggaranties worden gehandhaafd.

Oorspronkelijke auteurs: Jiapeng Zeng, Yogesh Prabhu, Zhanpeng Zeng, Michael A. Newton, Vikas Singh

Gepubliceerd 2026-05-25

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Jiapeng Zeng, Yogesh Prabhu, Zhanpeng Zeng, Michael A. Newton, Vikas Singh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een jurylid bent in een talentenjacht. Je hebt een lijst met kandidaten en je moet een "veilige lijst" van de beste performers selecteren die doorstromen naar de volgende ronde. Je wilt er 95% zeker van zijn dat de werkelijke winnaar op je lijst staat, maar je wilt die lijst ook zo kort mogelijk houden zodat je geen tijd verspillt aan het bekijken van slechte optredens.

Dit is precies wat Conformal Prediction (CP) doet voor AI-modellen. Het creëert een "veilige lijst" van antwoorden die gegarandeerd het juiste antwoord bevat, de meeste keren.

Echter, standaard AI-modellen hebben een probleem: ze zijn soms onstabiel. Als je dezelfde vraag twee keer stelt, of naar dezelfde afbeelding twee keer kijkt, kan het model licht verschillende scores geven. Soms krijgt een slecht antwoord door geluk een hoge score (een "gelukkige gok"), en krijgt een goed antwoord door pech een lage score.

Standaard CP kijkt alleen naar één van deze scores. Het is alsof de jurylid een beslissing neemt op basis van een enkele, wankelende prestatie. Als het model een moment van "gelukkige gok" heeft, komt het slechte antwoord op de veilige lijst terecht, waardoor de lijst langer en minder bruikbaar wordt.

Het Nieuwe Idee: De "r-waarde" (De Stabiliteitscontrole)

Dit artikel introduceert een nieuwe methode genaamd Empirical Bayes Conformal Prediction met r-waarden. Denk aan de r-waarde als een "Stabiliteitsscore" of een "Consistentiebadge."

In plaats van te vragen: "Hoe hoog was de score?", vraagt de nieuwe methode: "Hoe consistent was de score?"

Hier is hoe het werkt met een eenvoudige analogie:

De Analogie: De "Gelukkige vs. Betrouwbare" Student

Stel je twee studenten voor die een toets maken:

Student A (De Rots): Haalt elke keer dat je hen de toets laat maken een score van 90. Ze zijn stabiel en betrouwbaar.
Student B (De Achtbaan): Haalt soms een 95, soms een 40, en soms een 92. Hun gemiddelde kan hoog zijn, maar ze schommelen overal rond.

Standaard CP ziet de gelukkige 95 van Student B en zegt: "Wow, 95 is geweldig! Ze zitten in de topgroep!" Het plaatst Student B op de veilige lijst, zelfs al is ze eigenlijk onbetrouwbaar.

De r-waarde-methode kijkt naar het hele plaatje. Het ziet dat Student B een achtbaan is. Het zegt: "Hoewel je een keer op 95 kwam, ben je te wankel om als topkandidaat te worden vertrouwd. Je kunt de volgende keer naar 40 zakken." Dus, het houdt Student B buiten de veilige lijst (of duwt ze verder naar beneden op de lijst) en houdt Student A (de Rots) bovenaan.

Hoe Het in de Praktijk Werkt

De onderzoekers testten dit op twee soorten AI:

Visiemodellen (Beeldclassificators): Zoals een robot die naar een foto van een kat kijkt.
- De Truc: Ze vroegen de robot om 1.000 keer naar dezelfde foto te kijken met kleine, willekeurige veranderingen (alsof je een vriend vraagt om dezelfde foto in iets andere woorden te beschrijven).
- Het Resultaat: Als de robot elke keer "Kat" bleef zeggen, kreeg het een hoge r-waarde. Als het bleef wisselen tussen "Kat", "Hond" en "Broodrooster", kreeg het een lage r-waarde. De methode filterde succesvol de "Broodrooster"-gokken eruit die alleen door toeval gebeurden.
Taalmodellen (Chatbots): Zoals een robot die een trivia-vraag beantwoordt.
- De Truc: Ze vroegen de robot dezelfde vraag, maar herschreven deze op 20 verschillende manieren (bijv. "Wie is de president?" versus "Wie leidt het land?").
- Het Resultaat: Als de robot een geweldig antwoord gaf op alle 20 versies, was het een "Rots". Als het een geweldig antwoord gaf op één versie en een onzinantwoord op een andere, was het een "Achtbaan". De r-waarde-methode gebruikte dit om een kortere, nauwkeurigere lijst van antwoorden te creëren.

De Belangrijkste Punten

Het breekt de regels niet: De nieuwe methode garandeert nog steeds dat het juiste antwoord 95% van de tijd op de lijst staat (net als de oude methode).
Het maakt lijsten korter: Door de "gelukkige goks" te filteren (hoge scores die onstabiel zijn), wordt de lijst van kandidaten kleiner en nuttiger.
Het is slim met onzekerheid: Als het model zeer stabiel is (geen variatie), gedraagt de nieuwe methode zich precies als de oude. Maar als het model wankel is, gebruikt de nieuwe methode die wankelheid tot zijn voordeel om slechte kandidaten te verwijderen.
Het werkt voor zowel afbeeldingen als tekst: Of de AI nu naar een foto kijkt of een zin leest, het controleren op consistentie maakt de uiteindelijke beslissing beter.

Kortom, dit artikel leert AI om niet langer te vertrouwen op een enkele "gelukkige" score en te beginnen met het vertrouwen op consistente prestaties. Het verandert de eigen "inconsistentie" van de AI in een hulpmiddel om betere, veiligere voorspellingen te doen.

Technische Samenvatting: Empirische Bayes Conformal Prediction voor Visuele en Taalmodellen

Probleemstelling

Conformal Prediction (CP) biedt een vrijheidsgraad-vrij kader om voorspellingsets te genereren met gegarandeerde dekking voor moderne visuele en taalmodellen. Standaard CP is echter afhankelijk van een enkele realisatie van een niet-overeenstemmingsscore om kandidaten te rangschikken. Deze aanpak negeert epistemische onzekerheid en variabiliteit in scores die voortvloeien uit modelparameters, trainingsrandomness of de formulering van prompts.

Wanneer meerdere kandidaatlabels of -antwoorden vergelijkbare scores ontvangen, kunnen kleine fluctuaties hun rangschikkingsvolgorde drastisch wijzigen. Bijgevolg kan standaard CP hoog-variatieve valse kandidaten opnemen in de voorspellingset, simpelweg omdat een enkele ruisbeïnvloede realisatie hen sterk deed lijken, terwijl stabiele kandidaten met een iets lagere maar consistenter score worden uitgesloten. Bestaande alternatieven, zoals "average-then-calibrate" (CPavg), gladen deze variabiliteit door scores te middelen vóór kalibratie, waardoor informatie over de stabiliteit van de rang van een kandidaat verloren gaat. Het kernprobleem is dat huidige CP-methode variabiliteit in scores niet benutten als signaal om onderscheid te maken tussen stabiel bewijs en door ruis gedreven fluctuaties, wat leidt tot minder efficiënte (grotere) en minder stabiele conformale sets.

Methodologie: Het $r$ -waarde Kader

De auteurs stellen $CPr$-waarde voor, een Empirische Bayes Conformal Prediction-kader dat variabiliteit in scores omzet in een onzekerheidsgeïnformeerde niet-overeenstemmingsscore, de $r$ -waarde.

Kernconcept

In plaats van kandidaten uitsluitend te rangschikken op basis van een waargenomen score $f(x)_i$ , behandelt de methode de rangschikking als een Empirische Bayes-probleem. Het veronderstelt dat elke kandidaat een onwaargenomen latente score $\theta_i$ heeft (het stabiele signaal) en een waargenomen score $f(x)_i$ die een ruisbeïnvloede realisatie is van $\theta_i$ . De $r$ -waarde meet de waarschijnlijkheid dat de latente score van een kandidaat behoort tot de top-gangerde groep, rekening houdend met zowel de geschatte score als de onzekerheid daarvan.

Schatters

Het kader biedt twee schatters voor de $r$ -waarde:

Parametrisch (Normaal-Normaal Model): Veronderstelt dat de latente scores een normale verdeling volgen en de waarnemingsruis Gaussisch is. Dit levert een gesloten uitdrukking voor de $r$ -waarde op. Het modelleert expliciet de afweging tussen scoregrootte en variantie, en trekt hoog-variabele scores naar het empirische gemiddelde.
Niet-parametrisch (Posterior-Sampling): Een aannamevrije Monte Carlo-schatter. Het rangschikt kandidaten over meerdere posterior-steekproeven (bijvoorbeeld uit modelensembles, MC-dropout of prompt-parafrafering) en berekent de frequentie waarmee een kandidaat in de top- $k$ posities voorkomt. Deze frequentie dient als empirische staartkans, die vervolgens wordt omgezet in een $r$ -waarde.

Algorithmus

Variabiliteitsschatting: Genereer meerdere modeluitvoer (bijvoorbeeld via Weighted Bayesian Bootstrap-adapters voor visuele modellen of prompt-parafrafering voor VLM's/LLM's) om de verdeling van scores voor elke kandidaat te schatten.
Kalibratie: Bereken $r$ -waarden voor de ware labels in een kalibratieset. Bepaal de drempel $\hat{r}$ als de $\lceil(n+1)(1-\alpha)\rceil$ -de kleinste $r$ -waarde.
Voorspelling: Voor een testinput, bereken $r$ -waarden voor alle kandidaten. Neem kandidaten op met $r(x, u_j) < \hat{r}$ in de voorspellingset.

Belangrijkste Bijdragen

Theoretische Garantie: Onder uitwisselbaarheid behoudt het gebruik van de $r$ -waarde als niet-overeenstemmingsscore de doelconformale dekkinggarantie ( $1-\alpha$ ).
Efficiëntieverbetering: Theoretisch verlaagt de $r$ -waarde de opnamekans van hoog-variabele valse kandidaten in vergelijking met standaard CP en CPavg. Dit leidt tot kleinere verwachte voorspellingsetgroottes, vooral wanneer variabiliteit informatief is.
Unificerend Kader: De methode verenigt parametrische en niet-parametrische benaderingen, waardoor toepassing mogelijk is op diverse scoretypes (logits, kansen, discrete evaluatorscores) en modelarchitecturen (ViT's, CLIP, LLM's).
Stabiliteit van Rangschikking: Door kandidaten met hoge scorevariantie te straffen, produceert de methode stabielere rangschikkingen, waarbij kandidaten die consequent bovenaan voorkomen prioriteit krijgen boven die met sporadisch hoge scores.

Experimentele Resultaten

De auteurs evalueerden $CPr$-waarde voor beeldclassificatie, Visuele-Taalmodellen (VLM's) en Grootte Taalmodellen (LLM's).

Visuele Modellen (Beeldclassificatie): Met ViT- en ResNet-modellen en Weighted Bayesian Bootstrap (WBB)-adapters om posterior-variabiliteit te benaderen.
- Wanneer variabiliteit klein is (sterke backbone, lichtgewicht adapters), gedraagt $CPr$-waarde zich vergelijkbaar met standaard CP, waarbij dekking en setgrootte behouden blijven.
- Wanneer variabiliteit informatief is, produceert $CPr$-waarde kleinere en stabielere sets, waarbij de ware klasse vaak hoger binnen de set wordt gerangschikt dan bij standaard CP.
VLM's en LLM's (CLIP, SigLIP, MobileCLIP, LLaMA): Variabiliteit werd geïnduceerd via prompt-parafrafering.
- Dekking: $CPr$-waarde behield dekking dicht bij het nominale niveau (bijvoorbeeld 95% voor $\alpha=0.05$ ).
- Setgrootte: Er werden significante reducties in setgrootte waargenomen. Bijvoorbeeld, op ImageNet verkleinde $CPr$-waarde de gemiddelde setgrootte met bijna de helft in vergelijking met standaard CP.
- Trend Modelsterkte: De efficiëntiewinsten waren het meest uitgesproken voor modellen met lagere nauwkeurigheid en hogere inherente variabiliteit (bijvoorbeeld SigLIP2). Naarmate modelnauwkeurigheid toenam en variabiliteit afnam (bijvoorbeeld MobileCLIP2), namen de winsten af en hervormde de methode zich natuurlijk tot CP-achtig gedrag, consistent met theoretische voorspellingen.
- Open-ended Taken: In LLM-taken met grove evaluatorscores (bijvoorbeeld TruthfulQA), slaagde de $r$ -waarde erin gelijke standen te doorbreken tussen antwoorden met identieke gemiddelde scores door gebruik te maken van scorestabiliteit over parafraferingen, waardoor een fijnere rangschikkingsresolutie werd verkregen.

Betekenis en Claims

Het artikel claimt dat $CPr$-waarde een waargenomen zwakte van grote modellen – hun inconsistentie of variabiliteit – transformeert in een nuttig signaal voor conformale efficiëntie.

Robuustheid: Het biedt een methode om voorspellingsets te construeren die niet alleen statistisch geldig zijn, maar ook efficiënter door het filteren van onstabiele, door ruis gedreven kandidaten.
Praktijktoepasbaarheid: Het kader is toepasbaar op zowel visuele als taaldomeinen, waarbij bestaande technieken voor onzekerheidsschatting (adapters, ensembles, prompt-variaties) worden gebruikt zonder hertraining van de basismodellen.
Beperkingen: De auteurs merken op dat de effectiviteit van de methode afhankelijk is van de kwaliteit van de variabiliteitsschatting. Als de geschatte variabiliteit slecht of verwaarloosbaar is (zoals bij zeer stabiele modellen), zijn de voordelen bescheiden. Bovendien introduceert de methode een rekenkundige overhead voor het genereren van meerdere steekproeven, hoewel dit vaak haalbaar is via lichtgewicht adapters of parallelle inferentie.

Kortom, $CPr$-waarde biedt een principiële manier om epistemische onzekerheid te integreren in conformal prediction, wat resulteert in kleinere, stabielere en betrouwbaardere voorspellingsets voor moderne AI-systemen.