Technische Samenvatting: Tone-Pressure Contrastive Decoding (TPCD)

1. Probleemstelling

Vision-Language Models (VLM's) vertonen een specifieke foutmodus die bekend staat als druk-geïnduceerde hallucinatie (pressure-induced hallucination). Wanneer gebruikers leidende, dwingende of hoog-druk prompts gebruiken, vervangen modellen onzekerheid vaak door concrete, ononderbouwde beweringen. Dit manifesteert zich als het lezen van onleesbare tekst, het rapporteren van onbepaalde tijden, of het bevestigen van de aanwezigheid van afwezige objecten.

Hoewel "veilige" prompting (neutrale omschrijvingen) een deel hiervan kan mitigeren, faalt dit vaak wanneer het model nog steeds zwak bewijs omzet in een concreet antwoord. Omgekeerd kan volledige contrastieve decoding (het aftrekken van een negatieve tak van een veilige tak) leiden tot overmatige weigering (over-refusal), waarbij geldige positieve antwoorden worden onderdrukt. De kernuitdaging die in dit werk wordt geïdentificeerd, is label-vrije routing: bepalen wanneer druksubtractie moet worden toegepast zonder de gegronde positieve antwoorden te beschadigen, met gebruikmaking van enkel modeloutputs in plaats van externe grondwaarheid-labels.

2. Methodologie

Tone-Pressure Contrastive Decoding (TPCD)

TPCD is een variant van contrastieve decoding die specifiek is ontworpen voor druk-geïnduceerde hallucinatie. Voor een afbeelding $I$ en vraag $q$ wordt de VLM uitgevoerd onder twee instructie-omsluitingen:

1. Veilig Neutraal ($s_0$): Vraagt om antwoorden gebaseerd alleen op zichtbaar bewijs.
2. Hoge Druk ($s_+$): Eist een zelfverzekerd antwoord en ontmoedigt onzekerheid.

Bij elke decoding-stap $t$ worden de logits gecombineerd als:
$$\tilde{\ell}_t = (1 + \alpha)\ell^0_t - \alpha\ell^+_t$$
waarbij $\ell^0_t$ en $\ell^+_t$ respectievelijk de veilige en de druk-logits zijn. De parameter $\alpha$ is ingesteld op 2.0. Dit mechanisme straft tokens af die door druk meer worden gepromoot dan door de veilige omschrijving, terwijl tokens die door beide takken worden ondersteund, behouden blijven.

Label-vrije Gate-mechanismen

Omdat volledige TPCD te conservatief is (het laat de positieve accuratesse instorten), stelt het artikel verschillende gates voor om te beslissen tussen het druk-antwoord ($y_+$) en het TPCD-antwoord ($y_{TPCD}$). Deze gates vertrouwen uitsluitend op oppervlaktevorm-outputs en discrepantie tussen de takken, waardoor de noodzaak voor grondwaarheid-labels wordt vermeden:

• Surface-Rule Commitment Gate: Wordt geactiveerd als de druk-tak een concrete toezegging produceert (bijv. een specifieke tijd, een naam, of een bevestigend "ja"). Beperking: Dit is tautologisch voor bepaalde categorieën, aangezien het dezelfde predicaten gebruikt als de benchmark-scorer.
• Branch-Disagreement Gate: Wordt alleen geactiveerd als de druk-tak een toezegging doet, maar de veilige neutrale tak ($y_0$) dat niet doet.
• Task-Prior/Disagreement Gate: Een hybride die TPCD forceert bij specifieke categorieën (tijd en menselijke intentie) waar veilige neutralisatie bekend staat als falend, anders terugvalt op branch-discrepantie.
• Answer-Disagreement Router: Een categorie-prior-vrije regel die wordt geactiveerd als $y_+$ een toezegging doet, $y_0$ zich onthoudt of verschilt, en $y_{TPCD}$ zelf geen toezegging meer doet.

Experimenteel Protocol

De studie maakt gebruik van de tone-matters benchmark (800 voorbeelden over 8 visueel onbepaald bepaalde categorieën).

• Design Split: LLaVA-1.5-7B wordt gebruikt om de gate-regels te definiëren.
• Held-Out Validatie: GLM-4.6V en Llama-3.2-Vision worden gebruikt als held-out modelfamilies om vaste regels te testen zonder her-tuning.
• Metrieken: Attack Success Rate (ASR) voor negatieven en Positive Accuracy (target recovery) voor een bijbehorende set van 780 positieve controles.

3. Belangrijkste Resultaten

Prestaties op LLaVA-1.5-7B (Design Model)

• Pressure Baseline: 66,75% ASR.
• Safe Neutralization: Vermindert ASR naar 9,88% maar behoudt enkele hallucinaties.
• Full TPCD: Vermindert ASR drastisch naar 0,50% maar laat de positieve accuratesse instorten naar 15,56% door overmatige weigering.
• Task-Prior/Disagreement Gate: Behaalt de beste afweging op de design-set, waarbij ASR wordt verminderd naar 1,63% terwijl 54,44% positieve accuratesse behouden blijft (gelijk aan de veilige baseline).

Cross-Model Transfer (GLM en Llama)

Wanneer vaste regels afgeleid van LLaVA worden toegepast op GLM-4.6V en Llama-3.2-Vision:

• Safe Neutralization: Geaggregeerde ASR van 10,98%.
• Task-Prior/Disagreement: Vermindert de geaggregeerde ASR naar 4,90% met 73,78% positieve accuratesse.
• Answer-Disagreement Router: Een categorie-prior-vrije regel die de ASR vermindert naar 6,93% terwijl 79,94% positieve accuratesse wordt behaald.
• Branch Disagreement: Vermindert ASR naar 9,67% met 79,94% positieve accuratesse.

Mechanisme Diagnostiek (POPE)

Een eerste-token diagnostiek op de POPE-benchmark laat zien dat druk de "ja"-marge vergroot voor zowel ware als valse positieven. Echter, generieke verstoorde instructie-takken (zoals ICD) isoleren niet hetzelfde commitment-signaal als de druk-tak, wat bevestigt dat TPCD specifiek is voor toon-geïnduceerde bias.

4. Bijdragen

1. Formulering van Commitment Bias: Het artikel frameert druk-geïnduceerde hallucinatie als een commitment-bias en introduceert TPCD als een gerichte variant van contrastieve decoding, verschillend van generieke instructie-verstoorde methoden.
2. Operationele Label-vrije Gates: Het evalueert en karakteriseert verschillende routing-strategieën die uitsluitend gebruikmaken van modeloutputs (oppervlakteregels, discrepantie) om hallucinatie te mitigeren zonder externe labels.
3. Cross-Model Bewijsvoering: Het levert volledige bewijsvoering (n=800 negatieven, n=780 positieven) over drie modelfamilies, waarmee wordt aangetoond dat druksubtractie een levensvatbaar mitigatie-signaal is dat overdraagbaar is, hoewel optimale routing model-afhankelijk is.
4. Karakterisering van Beperkingen: Het werk identificeert expliciet de "Label-Free Gating Bottleneck", waarbij wordt getoond dat huidige gates geen onafhankelijk gevalideerde grounding-detectoren zijn, maar vaak vertrouwen op oppervlaktevormen of categorie-priorities.

5. Betekenis en Claims

Het artikel sluit af met een bescheiden en nauwe claim:

• Druk is een nuttig instrument: De druk-responsverdeling legt de commitment-bias effectief bloot en dient als een levensvatbare negatieve tak voor contrastieve decoding.
• Mitigatie is mogelijk maar imperfect: Eenvoudige routing-regels kunnen de ASR aanzienlijk verminderen ten opzichte van veilige neutralisatie, terwijl de positieve accuratesse op held-out modellen behouden blijft.
• Geen algemene oplossing: De huidige gates zijn geen onafhankelijk gevalideerde, grounding-bewuste detectoren. Het zijn post-hoc, op oppervlaktevorm gebaseerde systemen die vaak steunen op categorie-specifieke priors.
• Toekomstige Richting: De primaire bottleneck blijft de ontwikkeling van een grounding-bewuste router die onafhankelijk kan bepalen wanneer visueel bewijs zwak genoeg is om de druk-geïnduceerde commitment te subtraheren, in plaats van te vertrouwen op heuristieken op basis van oppervlaktevorm.

De auteurs benadrukken dat dit een karakteriseringsartikel is dat de belofte en niet-universaliteit van druksubtractie aantoont, in plaats van een voltooide, inzetbare algemene router.