💬 NLP

Model Confidence Under Answer-Preserving Attacks: An Informativeness-Manipulability Frontier

Dit artikel toont aan dat betrouwbaarheidsmetingen in ingezette visie-taal-systemen zeer kwetsbaar zijn voor antwoordbehoudende aanvallen, wat bewijst dat ze fungeren als integriteitgevoelige in plaats van robuuste toezichtsignalen die gemanipuleerd kunnen worden om onjuiste antwoorden te accepteren of de algehele nauwkeurigheid tot onder het basisniveau te verlagen.

Oorspronkelijke auteurs: Reza Khanmohammadi, Ivan Brugere, Simerjot Kaur, Charese H. Smiley, Kundan Thind, Mohammad M. Ghassemi

Gepubliceerd 2026-08-10

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Reza Khanmohammadi, Ivan Brugere, Simerjot Kaur, Charese H. Smiley, Kundan Thind, Mohammad M. Ghassemi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de kapitein bent van een ruimteschip, maar je kunt de sterren of de bediening niet zien. In plaats daarvan heb je een zeer slimme robot-co-piloot die naar de instrumenten kijkt en zegt: "Ik weet voor 90% zeker dat we op het juiste pad zitten," of "Ik ben slechts voor 50% zeker, misschien moeten we stoppen." Je vertrouwt op de vertrouwensscore van de robot om te beslissen of je doorvaart of pauzeert om een mens om hulp te vragen. Dit is hoe veel moderne AI-systemen vandaag de dag werken: ze geven je niet alleen een antwoord; ze geven je een "vertrouwensscore" om te vertellen hoeveel je dat antwoord moet vertrouwen.

Maar hier komt het lastige deel: wat als iemand de robot zou kunnen misleiden om van mening te veranderen over hoe zeker hij is, zonder het antwoord zelf te veranderen? Het is alsof een goochelaar een weegschaal doet doorslaan van "zwaar" naar "licht", terwijl het gewicht op de weegschaal precies hetzelfde blijft. Als de vertrouwensscore van de robot het enige is dat je behoedt voor een slechte beslissing, en die score kan worden vervalst, dan zit er een gat in je vangnet. Dit artikel duikt precies in dat gat en stelt een angstaanjagende maar belangrijke vraag: Kunnen we deze AI-robots misleiden om te liegen over hun zelfvertrouwen, terwijl ze precies hetzelfde blijven zeggen?

De onderzoekers in deze studie besloten een spel met hoge inzet te spelen van "zoek de zwakte" met verschillende krachtige vision-language modellen (AI die afbeeldingen kan zien en vragen kan beantwoorden). Hun doel was om te zien of ze een minuscule, bijna onzichtbare verandering aan een afbeelding konden aanbrengen die de vertrouwensscore van de AI wild uiteen zou laten slaan, zelfs als het definitieve antwoord van de AI volkomen identiek bleef, tot aan elke letter en spatie aan toe. Ze behandelden de vertrouwensscore van de AI als een breekbaar glazen raam: ze wilden zien of ze het glas (het vertrouwen) konden verbrijzelen zonder het frame (het antwoord) te breken.

Wat ze ontdekten, is dat het glas veel breekbaarder is dan iedereen hoopte. Met behulp van een methode genaamd "answer-preserving attacks" (antwoordspecifieke aanvallen) slaagden ze erin de interne vertrouwensscores van de AI in bijna elke test die ze uitvoerden te manipuleren. Sterker nog, ze ontdekten dat ze voor veel van de geteste AI-modellen het systeem konden misleiden om een foutief antwoord te accepteren alsof het correct was, of een correct antwoord te verwerpen alsof het fout was, simpelweg door de afbeelding net genoeg aan te passen om de vertrouwensmeter te misleiden.

Het meest verrassende deel van hun ontdekking is dat dit niet alleen over de afbeelding zelf gaat. De onderzoekers lieten zien dat ze ook de interne hersenen van de AI (de verborgen toestanden) direct konden "duwen", zoals het een gedachte in een specifieke richting duwen, en hetzelfde resultaat konden bereiken zonder de afbeelding zelfs maar aan te raken. Dit suggereert dat het probleem niet alleen een glitch is in hoe de AI afbeeldingen ziet, maar een dieper liggend probleem met hoe de AI zijn eigen zekerheid berekent.

Ze testten ook verschillende "verdedigingsstrategieën"—manieren om de vertrouwensscore robuuster te maken, zoals het toevoegen van ruis aan de afbeelding of het trainen van de AI om minder gevoelig te zijn voor veranderingen. Helaas werkten geen van deze verdedigingen goed genoeg om de truc te stoppen. In hun simulaties, wanneer ze deze gemanipuleerde vertrouwensscores gebruikten om beslissingen in de echte wereld te nemen, presteerde het systeem zelfs slechter dan wanneer ze de vertrouwensscore simpelweg volledig hadden genegeerd en elk antwoord hadden geaccepteerd.

Dus, wat betekent dit voor de toekomst? Het artikel concludeert dat we de interne vertrouwensscore van de AI niet blindelings kunnen vertrouwen als een veiligheidssignaal, vooral als de persoon die de AI de data voert, probeert te misleiden. De vertrouwensscore is "integriteit-gevoelig", wat betekent dat het gemakkelijk gecorrumpeerd kan worden. De auteurs suggereren dat als we deze vertrouwensscores willen gebruiken om belangrijke beslissingen te nemen, we nieuwe, externe manieren moeten bouwen om ze te verifiëren, in plaats van te vertrouwen op de AI om ons te vertellen hoe zeker hij is. Het is een herinnering aan het feit dat in de wereld van AI, alleen omdat een robot zegt "ik ben er zeker van", betekent dat nog niet dat hij dat ook echt is.

Technische Samenvatting: Modelvertrouwen onder Antwoord-behoudende Aanvallen

Probleemstelling
Toegepaste Vision-Language Models (VLM's) maken vaak gebruik van interne betrouwbaarheidsscores om downstream-beslissingen te sturen, zoals het accepteren van een antwoord, het overdragen aan een mens, of het onthouden van een antwoord. De kritieke foutmodus die in dit werk wordt onderzocht, treedt op wanneer een adversariële perturbatie de betrouwbaarheidsscore voldoende verandert om een downstream-beslissing om te gooien, terwijl de gegenereerde antwoordstring byte-identiek blijft aan het origineel. Het artikel onderzoekt of model-interne betrouwbaarheidsaflezingen robuust toezicht kunnen bieden wanneer het gemonitorde gedrag (het antwoord) vaststaat, maar de input (de afbeelding) adversarieel wordt verstoord. In tegen tegenstelling tot eerder werk op classificatiesystemen die een enkele voorspellings-token behouden, richt deze studie zich op het behoud van volledige, variabel lengte variërende gegenereerde antwoorden.

Methodologie en Dreigingsmodel
De auteurs evalueren zeven betrouwbaarheidskanalen over vier VLM's (InternVL3.5-2B, Gemma-3-12B, Molmo2-4B, LLaVA-OneVision-7B) en drie benchmarks (GQA, VQAv2, POPE). Het primaire dreigingsmodel is white-box, image-only, en antwoord-behoudend.

Aanvalsvoorwaarden: Aanvallen gebruiken Projected Gradient Descent (PGD) onder een $L_\infty$ -budget (standaard 8/255) om de inputafbeelding te verstoren. De optimalisatie is zodanig beperkt dat de uitgebrachte token op elke antwoordpositie de argmax blijft met een veiligheidsmarge ( $\tau_{safe} = 1.0$ logit), en het uiteindelijke geregenereerde antwoord via greedy decoding byte-identiek moet zijn aan het schone antwoord.
Betrouwbaarheidskanalen: De studie test vijf belangrijke kanalen:
1. Answer-span token waarschijnlijkheid.
2. $P(IK)$ en SAPLMA (afgelezen bij prompt-eind en antwoord-eind tokens).
3. CCPS (meten van stabiliteit onder interne perturbatie).
4. CCPS-D (een differentieerbare surrogaat getraind op CCPS-features).
- Verbalized confidence en self-consistency worden gerapporteerd als aanvullend, maar uitgesloten van de belangrijkste tellingen vanwege een gebrek aan estimator-specifieke gerichte aanvallen of zwakke schone discriminatie.
Evaluatiemetrieken: De primaire metriek is de Area Under the Receiver Operating Characteristic (AUROC) voor het discrimineren van correcte versus incorrecte antwoorden. De studie meet ook de "excess-destruction ratio" (hoeveel de aanval de prestaties degradeert ten opzichte van de theoretische vloer) en de impact op deployment-beslissingen (acceptatie-/defer-ratio's).

Belangrijke Theoretische Bijdragen
Het artikel leidt twee theoretische eindpunten af met betrekking tot de robuustheid van betrouwbaarheidsaflezingen onder antwoordbehoud:

Answer-String Ceiling (Propositie 1): Onder Aanname 1 (dat bereikbare scorebereiken voor verschillende afbeeldingen die hetzelfde antwoord produceren, elkaar overlappen), is elke "onbeweegbare" readout (één die niet kan worden verstoord) effectief een functie van de antwoordstring alleen. Bij consequentie kan de discriminatie niet hoger zijn dan de answer-string prior ( $c^*$ ), gedefinieerd als $Pr(Y=1 | A=a(x))$. De gecombineerde operationele waarde van deze prior over de benchmarks is 0.617.
Uniform Amplitude Certificate (Propositie 3): Zonder te vertrouwen op Aanname 1, stellen de auteurs vast dat als de manipuleerbare amplitude (de maximale scoreverplaatsing) voor elk item begrensd is door een drempelwaarde $\gamma$ , de discriminatie gegarandeerd boven de answer-string vloer blijft, mits de schone scheiding tussen correcte en incorrecte paren groter is dan $2\gamma$ . De mediane drempelwaarde $\gamma^*$ over de studie is 0.065.

Experimentele Resultaten
De empirische evaluatie weerlegt de mogelijkheid van robuuste, onbeweegbare readouts onder het bestudeerde budget:

Certificaat Weerlegging: De per item haalbare perturbaties geproduceerd door directe of surrogaat-gerichte aanvallen overschrijden de uniforme amplitude-drempel ( $\gamma^*$ ) in alle 84 estimator-per-cel combinaties. Dit demonstreert dat geen van de geteste readouts aan de vereiste uniforme grens voldoet.
Vloerinstorting: Coördinatie-gebaseerde, correctness-label-bewuste aanvallen drijven de adversariële AUROC naar of onder de operationele answer-string vloer in alle 60 deployed-channel cellen. Van de 59 cellen die boven de vloer begonnen, stortten alle 59 in naar of onder de vloer. De schone AUROC (0.72–0.78) daalde naar 0.13–0.26, met een mediane excess-destruction ratio van 3.74.
Manipulatie op Representatieniveau: Het effect is niet uniek voor adversariële afbeeldingen. Het injecteren van een richting, geëxtraheerd uit de door de aanval geïnduceerde hidden-state drift, direct in de representatie van het model (zonder afbeelding-perturbatie), slaagde erin de betrouwbaarheidsscores te verplaatsen en antwoorden te behouden op ten minste 86% van de items. Dit bevestigt dat de kwetsbaarheid op representatieniveau bestaat.
Beperkingen van Defensie:
- Beperkte Probes: Probes beperkt tot de "antwoord-gekoppelde" subspace (COUPLED) slaagden er niet in robuustheid te bieden wanneer ze direct werden aangevallen, hoewel ze enige weerstand toonden tegen transfer-aanvallen.
- Perturbatie Stabiliteit: Het meten van betrouwbaarheid via stabiliteit (CCPS) voorkwam geen scoremanipulatie; surrogaat-gerichte aanvallen veroorzaken aanzienlijk AUROC-verlies.
- Input Purificatie & Smoothing: JPEG-preprocessing en randomized smoothing faalden om een nuttig uniform certificaat te vestigen of de instorting van discriminatie te voorkomen.
- Disagreement Monitors: Een disagreement monitor gebaseerd op meerdere kanalen bood geen consistent robuust signaal en presteerde vaak slechter dan de answer-string prior.

Impact op Deployment
In een confidence-gated simulatie corrumpeerden de aanvallen succesvol de acceptatie-beslissingen:

Wrong-to-Accept: Tot 84.8% van de voorheen afgewezen foutieve antwoorden werd geaccepteerd onder een getransfereerde token-waarschijnlijkheid aanval.
Correct-to-Abstain: Tot 27.4% van de voorheen geaccepteerde correcte antwoorden werd nieuw uitgesteld (deferred).
Netto Accuraatheid: Na herweging naar natuurlijke correctheidsprevalentie, viel de geaccepteerde accuratesheid van de aangevallen gate onder de "no-gate" baseline (alle antwoorden accepteren) in 8 van de 12 cellen onder transfer-aanvallen en alle 12 onder directe aanvallen.

Betekenis en Claims
Het artikel concludeert dat onder het specifieke dreigingsmodel van white-box, image-only, antwoord-behoudende aanvallen, model-interne betrouwbaarheid een integriteit-gevoelig signaal is in plaats van een intrinsiek robuust toezichtmechanisme.

De studie beweert niet dat betrouwbaarheid nutteloos is, noch sluit het onafhankelijk getrainde externe verifieerders of toekomstige gecertificeerde constructies uit.
Het demonstreert echter dat de specifiek momenteel ingezette betrouwbaarheidsaflezingen in VLM's verplaatsbaar zijn binnen de antwoord-behoudende set.
De bevindingen impliceren dat voor een confidence-gated systeem dat betrouwbaar moet zijn wanneer de input-pad onbetrouwbaar is, de score zelf beschermd, gecertificeerd of onafhankelijk geverifieerd moet worden, aangezien het interne signaal alleen geen robuustheid kan garanderen tegen adversariële manipulatie die de output-tekst behoudt.

Technische Samenvatting: Modelvertrouwen onder Antwoord-behoudende Aanvallen

Meer zoals dit