Technische Samenvatting: Kleine Vision-Language Modellen Weten Wanneer Ze Het Mis Hebben, Maar Kunnen Het Niet Zeggen

Probleemstelling

Nu Vision-Language Modellen (VLM's) steeds vaker worden ingezet op consumentenhardware en edge-apparaten, krijgen ze regelmatig te maken met invoerbeelden die zijn verslechterd door realistische omgevingsfactoren zoals compressie, bewegingsonscherpte, slecht licht en schittering. In deze beperkte omgevingen is ruwe nauwkeurigheid onvoldoende voor veilige implementatie; een systeem heeft een betrouwbaar onzekerheidssignaal nodig om te bepalen wanneer het moet overleggen met een mens in plaats van een potentieel incorrect antwoord te geven.

Generatieve VLM's bieden twee mogelijke routes voor onzekerheidsschatting: geverbaliseerde vertrouwen (het model dat een vertrouwensscore in natuurlijke taal uitspreekt) en intern vertrouwen (de gemiddelde waarschijnlijkheid van de gegenereerde tokens). De relatie tussen deze signalen onder realistische beeldverslechtering is echter nog niet systematisch onderzocht voor kleine, open-weight modellen. Eerdere studies naar propriëtaire modellen konden geen toegang krijgen tot interne token-waarschijnlijkheden, waardoor er een gat is ontstaan in het begrip van de vraag of kleine modellen beschikken over bruikbare zelfkennis die hun tekstuele output niet uitdrukt.

Methodologie

De studie evalueert twee kleine open-weight instructie-afgestemde VLM's: Qwen2-VL-2B-Instruct en SmolVLM-Instruct. Beide modellen werden uitgevoerd in fp16 op een enkele NVIDIA T4 GPU met behulp van greedy decoding.

Experimentele Opzet:

• Dataset: Een subset van 100 items uit de Food101 testset, geformatteerd als meerkeuzevragen met vier opties.
• Verslechteringen: Zes realistische fotografische degradatiefamilies werden toegepast op drie verschillende ernstniveaus:
  1. JPEG-compressie
  2. Bewegingsonscherpte (Motion Blur)
  3. Weinig licht (helderheidsreductie + ruis)
  4. Schittering (helderheidsversterking)
  5. Rotatie
  6. Resampling (downscale/upscale)
• Totaal aantal voorspellingen: 3.800 voorspellingen (1.900 per model over 19 condities, inclusclusief de schone baseline).

Vertrouwenssignalen:

1. Geverbaliseerd Vertrouwen: Modellen werden geprompt om een integer vertrouwenscijfer $[0, 100]$ uit te voeren, genormaliseerd naar $[0, 1]$.
2. Intern Vertrouwen: Berekend als de gemiddelde waarschijnlijkheid toegewezen aan elk token dat werd uitgegeven tijdens de generatie van het antwoordsegment ($c_{int} = \frac{1}{T} \sum p_\theta(y_t | y_{<t}, x)$).

Metrieken:
De primaire metriek voor het evalueren van de nuttigheid van onzekerheid was Error-Detection AUROC (de kans dat een willekeurig gekozen correct antwoord een hogere vertrouwensscore ontvangt dan een willekeurig gekozen incorrect antwoord). Secundaire metrieken omvatten Nauwkeurigheid, Expected Calibration Error (ECE) en de Brier-score.

Belangrijkste Resultaten

1. Degradatie van Nauwkeurigheid

Beide modellen vertoonden robuustheid tegen de meeste degradaties (compressie, onscherpte, schittering, rotatie, resampling) en behielden een hoge nauwkeurigheid. Echter, extreme situaties met weinig licht veroorzaakten een catastrofale instorting van de prestaties:

• Qwen2-VL-2B: De nauwkeurigheid daalde van 0,99 (schoon) naar 0,22 (extreem weinig licht).
• SmolVLM: De nauwkeurigheid daalde van 0,97 (schoon) naar 0,42 (extreem weinig licht).

2. Geverbaliseerd Vertrouwen is Niet Informatief

• Qwen2-VL-2B: Het geverbaliseerde vertrouwen bleef bijna constant (gemiddeld 0,87–0,90) over alle condities, ongeacht de nauwkeurigheid. Zelfs toen de nauwkeurigheid instortte naar 0,22, gaf het model een vertrouwen van 0,87 aan. Bijgevolg presteerde het geverbaliseerde vertrouwen op of nabij het niveau van toeval (AUROC $\approx$ 0,50) bij foutdetectie.
• SmolVLM: Het geverbaliseerde vertrouwen was grotendeels onverkrijgbaar. Van de drie prompt-templates produceerde slechts één van de vijf pilot-pogingen een parseerbare vertrouwenswaarde; het model gaf meestal alleen het antwoord zonder de instructie om vertrouwen te vermelden.

3. Intern Vertrouwen Detecteert Fouten

In schril contrast hiermee bood interne token-waarschijnlijkheid een sterk signaal voor foutdetectie:

• Qwen2-VL-2B: De interne AUROC varieerde van 0,92 tot 0,99 in schone en matig gedegradeerde condities, wat aanzienlijk beter presteerde dan het geverbaliseerde vertrouwen.
• SmolVLM: De interne AUROC lag boven het niveau van toeval (0,54–0,92) in de meeste condities, hoewel het signaal ruiziger en zwakker was dan bij Qwen2-VL.

4. Falen bij Extreem Weinig Licht

Beide vertrouwenssignalen faalden precies wanneer ze het meest nodig waren. Onder extreme onderbelichting (waar de nauwkeurigheid instortte) daalde de interne AUROC naar het niveau van toeval (0,62 voor Qowen2-VL, 0,54 voor SmolVLM). Ho hoewel intern vertrouwen iets responsiever was op de daling in nauwkeurigheid dan het geverbaliseerde vertrouwen, kon geen van beide signalen de catastrofale foutmodus betrouwbaar detecteren.

5. Kalibratiemetrieken versus Diagnostisch Nut

De Expected Calibration Error (ECE) was laag voor beide signalen in de meeste condities, wat een misleidende indruk van betrouwbaarheid wekte. De studie toont aan dat ECE minder diagnostisch is in deze context, omdat een bijna constant vertrouwenssignaal goed gekalibreerd kan lijken als het model over het algemeen accuraat is, zelfs als het signaal geen informatie bevat over specifieke fouten. Error-detection AUROC wordt geïdentificeerd als de superieure metriek voor het beoordelen van de bruikbaarheid voor overleg (deferral utility).

Betekenis en Claims

Het paper concludeert dat kleine VLM's bruikbare zelfkennis coderen die hun geverbaliseerde output niet uitdrukt.

• Voor Implementatie: Praktische gebruikers moeten niet vertrouwen op de geuite nauwkeurigheid voor overleg bij kleine open-weight VLM's, aangezien dit ofwel op het niveau van toeval is of onverkrijgbaar. In plaats daarvan moet interne token-waarschijnlijkheid worden gebruikt als het signaal voor overleg, aangezien dit gratis te berekenen is, geen hertraining vereist en bruikbare foutdetectie biedt onder milde tot matige degradatie.
• Veiligheidsbeperking: Geen van beide signalen mag vertrouwd worden onder extreme omstandigheden met weinig licht, aangezien beide falen om de instorting in nauwkeurigheid te volgen. Implementaties die dergelijke omstandigheden tegenkomen, vereisen expliciete controles op beeldkwaliteit aan de voorzijde (upstream) in plaats van downstream vertrouwensdrempels.
• Methodologische Bijdrage: De studie benadrukt dat geverbaliseerd vertrouwen en interne waarschijnlijkheid verschillende grootheden zijn die sterk uiteenlopen onder degradatie. Het stelt dat toekomstig werk op het gebied van geverbaliseerd vertrouwen in kleine VLM's prioriteit moet geven aan error-detection AUROC boven kalibratiefout-metrieken.

De auteurs merken op dat hun bevindingen specifiek zijn voor de klasse van ~2B parameters en dat de kloof tussen geverbaliseerd en intern vertrouwen op grotere schaal een openstaande vraag blijft. Daarnaast is de studie beperkt tot een enkele dataset (Food101) en synthetische degradaties die realistische artefacten benaderen.