VLM Judges Can Rank but Cannot Score: Task-Dependent Uncertainty in Multimodal Evaluation

1. Probleemstelling

Vision-Language Models (VLM's) worden steeds vaker ingezet als geautomatiseerde beoordelaars ("VLM-as-a-Judge") om multimodale AI-systemen te evalueren voor diverse taken (bijvoorbeeld redeneren over grafieken, bijschriften voor afbeeldingen, visuele vraag-antwoordtaken). Er bestaat echter een kritieke beperking: VLM-beoordelaars leveren alleen puntenscores (bijvoorbeeld 4/5) zonder enige indicatie van betrouwbaarheid.

• De Betrouwbaarheidskloof: Een score van 4/5 kan hoge zekerheid vertegenwoordigen, maar ook aanzienlijke onzekerheid. Gebruikers kunnen deze twee niet van elkaar onderscheiden.
• Multimodale Complexiteit: Fouten in VLM's ontstaan door zowel visuele perceptie als taalredenering, waardoor onzekerheid zich versterkt.
• Metingen falen: Standaardmetrieken (correlatie, nauwkeurigheid) slagen er niet in om de betrouwbaarheid per instance vast te leggen. Een beoordelaar kan bijvoorbeeld een hoge rangschikkingscorrelatie bereiken (het correct ordenen van antwoorden) terwijl hij absolute scores toekent die volledig onnauwkeurig zijn.
• Huidige Stand: State-of-the-art VLM-beoordelaars bereiken slechts ongeveer 32–34% exacte overeenstemming met menselijke beoordelingen op een schaal van 5 punten, met aanzienlijke afwijkingen.

2. Methodologie

De auteurs stellen het gebruik voor van Conformal Prediction (CP), een distributievrij kader, om puntenscores om te zetten in gekalibreerde voorspellingsintervallen.

• Kernmechanisme:
  • Invoer: In plaats van het model opnieuw te trainen, extrahert de methode score-token log-probabiliteiten uit de output van de VLM. Voor een Likert-schaal van 1–5 vormt dit een 5-dimensionale featurevector $x = [\log P(1), \dots, \log P(5)]$.
  • Kader: Met behulp van een kalibratieset met door mensen geannoteerde scores, berekent de methode een niet-overeenstemmingsscore om een voorspellingsinterval te bepalen $C(x) = [\hat{y} - \hat{q}, \hat{y} + \hat{q}]$.
  • Garantie: Het interval garandeert dat het de ware menselijke score bevat met een waarschijnlijkheid van ten minste $1-\alpha$ (bijvoorbeeld 90%), zonder aannames over foutdistributies.
• Belangrijke Aanpassingen:
  • Randaanpassing: Omdat de grondwaarheid discreet is (gehele getallen) maar CP continue intervallen produceert, passen de auteurs een randaanpassing toe om intervallen te mappen naar geldige beoordelingslabels ($\lceil l \rceil, \lfloor u \rfloor$), wat de dekking aanzienlijk verbetert.
  • Taak-Conditionele CP (Mondrian CP): Om taakheterogeniteit aan te pakken, worden de data op basis van initiële intervalbreedtes opgedeeld in groepen (Makkelijk, Gemiddeld, Moeilijk). Er worden aparte kwantielen berekend voor elke groep, wat leidt tot smallere intervallen voor makkelijke taken en bredere, veiligere intervallen voor moeilijke taken.
  • Rangschikking-Scoring Kloof (RSG): Een nieuwe metriek gedefinieerd als $RSG = |\rho| - (1 - \frac{w}{K-1})$, waarbij $\rho$ de correlatie is en $w$ de intervalbreedte. Dit kwantificeert de ontkoppeling tussen rangschikkingsvermogen en scoringbetrouwbaarheid.

3. Experimentele Opzet

• Beoordelaars: Drie VLM's met verschillende architecturen en schalen:
  1. LLaVA-Critic-7B: Open-source, gespecialiseerd in evaluatie.
  2. Phi-4-reasoning-vision-15B: Groot redenerend model.
  3. Gemini 2.5 Flash: Gesloten API, bekend om sterke rangschikking maar hoge oververzekerdheid.
• Datasets:
  1. MLLM-as-a-Judge: 5.717 instances over 14 visuele taakcategorieën (bijvoorbeeld ChartQA, MathVista, AesBench) met grondwaarheid van één annotator.
  2. Polaris: 8.726 afbeelding-bijschriftparen met grondwaarheid gebaseerd op het gemiddelde van meerdere annotators (schoner, goed gedefinieerde taak).
• Protocol: 50/50 splitsing voor kalibratie/test, 10 willekeurige zaden, gericht op 90% dekking ($\alpha=0.10$).

4. Belangrijkste Resultaten en Bevindingen

A. Taak-afhankelijke Onzekerheid

Onzekerheid is niet uniform; deze wordt sterk gedreven door het type taak.

• Smalle Intervallen (Hoge Betrouwbaarheid): Esthetische taken en taken met natuurlijke afbeeldingen (bijvoorbeeld AesBench) leveren intervallen op die slechts ongeveer 40% van het scorebereik bestrijken (breedte $\approx$ 2,08).
• Brede Intervallen (Lage Betrouwbaarheid): Zwaar visuele taken die complexe redenering vereisen (bijvoorbeeld InfographicsVQA, MathVista) leveren intervallen op die ongeveer 70% van het bereik bestrijken (breedte $\approx$ 3,50).
• Consistentie: De ordening van taakmoeilijkheid is consistent voor alle drie de beoordelaars (Spearman $\rho \approx 0,82–0,93$), wat aangeeft dat taakmoeilijkheid, niet de modelidentiteit, onzekerheid drijft.

B. Ontkoppeling van Rangschikking en Scoring

Het artikel identificeert een kritieke faalmodus waarbij standaardmetrieken misleidend zijn:

• Fenomeen: Beoordelaars kunnen een hoge rangschikkingscorrelatie bereiken (het correct ordenen van antwoorden) terwijl ze brede, oninformatieve intervallen produceren (het falen om betrouwbare absolute scores toe te kennen).
• Voorbeeld: Op ChartQA bereikte een beoordelaar de hoogste Pearson-correlatie ($\rho=0,507$) maar produceerde een van de breedste intervallen (3,08).
• Implicatie: Een hoge correlatie betekent niet dat de absolute score betrouwbaar is. Voor taken met een hoge RSG is een paarsgewijze vergelijking de voorkeur boven absolute scoring.

C. Impact van Datakwaliteit

• Schone vs. Ruizige Data: Wanneer dezelfde beoordelaar (LLaVA-Critic) en methode werden toegepast op de Polaris-dataset (schone, door meerdere annotators gegenereerde bijschriften), daalde de intervalbreedte van 3,05 (MLLM-Judge) naar 0,68.
• Resultaat: Dit is een 4,5× reductie in intervalbreedte, wat aantoont dat onzekerheid voornamelijk wordt gedreven door annotatieruis en taakambiguïteit, en niet door de conformale methode zelf.

D. Modelprestatieparadoxen

• Oververzekerdheid vs. Intervalbreedte: Gemini 2.5 Flash was sterk oververzekerd (83% van de voorspellingen had een softmax-max > 0,99) maar produceerde toch de smalste intervallen. Dit bewijst dat de kwaliteit van het interval afhangt van het discriminerende signaal in de log-probabiliteiten, en niet van de kalibratie van de softmax-verdeling.
• Specialisatie > Schaal: Op de gespecialiseerde Polaris-taak presteerde de 7B LLaVA-Critic (getraind voor evaluatie) veruit beter dan de 15B Phi-4 (algemene redenering), met een 7,1× hogere correlatie en 5,3× smallere intervallen.

E. Methodevergelijking

• R2CCP (Regression-as-Classification) was de best presterende methode, met een bijna perfecte 90% dekking en de smalste informatieve intervallen.
• CQR (Conformalized Quantile Regression) faalde en stortte in tot intervallen over het volledige bereik ($\approx$ 4,0), omdat score-token log-probs zwakke voorspellers zijn voor kwantielen in deze discrete setting.
• Feature Fusie: Het combineren van log-prob-features van meerdere beoordelaars verslechterde de prestaties, wat suggereert dat de kwaliteit van features (één sterke beoordelaar) belangrijker is dan de hoeveelheid.

5. Betekenis en Bijdragen

1. Kwantitatieve Betrouwbaarheidskaart: Het artikel biedt de eerste systematische mapping van evaluatiebetrouwbaarheid over 14 visuele taken, waaruit blijkt dat "VLM-as-a-Judge" betrouwbaar is voor sommige taken (esthetiek) maar zeer onzeker voor andere (complexe redenering).
2. Nieuwe Faalmodus: Het blootlegt Rangschikking-Scoring Ontkoppeling, een fenomeen waarbij standaardmetrieken (correlatie) het onvermogen van beoordelaars om betrouwbare absolute scores te geven, maskeren.
3. Praktisch Kader: Het toont aan dat Conformal Prediction kan worden toegepast op bestaande VLM-pijplijnen zonder opnieuw te trainen, waarbij alleen log-probabiliteiten worden gebruikt om bruikbare onzekerheidsschattingen te genereren.
4. Operationele Richtlijn: De auteurs stellen een vuistregel voor: Smalle intervallen geven aan dat de evaluatie geschikt is voor absolute scoring; brede intervallen signaleren ambiguïteit, wat suggereert dat relatieve rangschikking of paarsgewijze vergelijking de geschikte evaluatiestrategie is.
5. Inzicht in Datakwaliteit: Het benadrukt dat het verbeteren van de annotatiekwaliteit (consensus van meerdere annotators) grotere winst in betrouwbaarheid oplevert dan het simpelweg schalen van modelparameters.

Conclusie

Het artikel concludeert dat VLM-beoordelaars niet universeel betrouwbaar zijn. Hun onzekerheid is structureel afhankelijk van de taak en de datakwaliteit. Door conformal prediction te gebruiken, kunnen practitioners overstappen van blind vertrouwen in puntenscores naar een genuanceerd begrip van wanneer de score van een beoordelaar kan worden vertrouwd en wanneer deze moet worden behandeld als een ruisend rangschikkingssignaal.