Technische Samenvatting: Leren wanneer te vertrouwen via Selective Context Preference Optimization

Probleemstelling

Large Language Models (LLM's) vertrouwen steeds vaker op externe signalen (bijv. opgehaalde documenten, hints van de gebruiker of antwoordsleutels) om hun redenering te conditioneren. Echter, een enkel misleidend signaal kan een model ertoe brengen een correct antwoord op te geven, zelfs als het model over de interne kennis beschikt om het probleem op te lossen.

Huidige evaluatieparadigma's behandelen robuustheid vaak als "weerstand"—het trainen van modellen om externe context te negeren. De auteurs stellen dat dit een gebrekkig doel is. Een model dat alle context onvoorwaardelijk negeert, lijkt robuust in adversariële settings, maar faalt in nuttige scenario's waarin de context correct is of waarin het moet onderscheid maken tussen relevante en irrelevante informatie. Het kernprobleem is niet louter het weerstaan van slechte signalen, maar het leren van selectief vertrouwen: het vermogen om misleidende signalen te verwerpen terwijl zuivere redenering behouden blijft, te profiteren van correcte context, en onbewogen te blijven door irrelevante context.

Bestaande benchmarks evalueren modellen doorgaans onder een enkele contextconditie, waardoor ze niet in staat zijn om te bepalen of een daling in nauwkeurigheid te wijten is aan de taakmoeilijkheid of aan de vatbaarheid voor specifieke signalen. Bovendien leiden standaard mitigatiestrategieën (bijv. het trainen op alleen misleidende voorbeelden) vaak tot een verslechtering van de prestaties op taken met een schone of correcte context, wat een afruil creëert tussen robuustheid en bruikbaarheid.

Methodologie

1. De MIST Benchmark (Misleading Signal Testbed)

Om selectief vertrouwen te meten, introduceren de auteurs MIST, een door mensen geannoteerde benchmark bestaande uit 1.000 redeneeritems. Elk item wordt gepresenteerd onder vier overeenstemmende condities, waarbij alleen de toegevoegde context varieert terwijl de vraag, de antwoordruimte, het gouden antwoord en het plausibele foute antwoord vast blijven staan:

• Clean (Schoon): Geen toegevoegde context.
• Misleading (Misleidend): De context suggereert een plausibel maar fout antwoord.
• Correct-Context (Correcte Context): De context ondersteunt het gouden antwoord.
• Irrelevant-Context (Irrelevante Context): De context is gerelateerd maar bevat geen antwoorddragende informatie.

Evaluatiemetrieken:

• Condition Accuracies (Conditie-nauwkeurigheden): Prestaties op elk van de vier condities.
• SC2W (Signal-Induced Correct-to-Wrong): Een gekoppelde metriek die conditioneert op items die het model correct beantwoordt in de clean conditie. Het meet het percentage van deze items dat naar een fout antwoord flipt wanneer een misleidend signaal wordt geïntroduceerd. Dit isoleert signaal-geïnduceerde fouten van inherente modelbeperkingen.

2. SCOPE (Selective Context Preference Optimization)

De auteurs stellen SCOPE voor, een trainingsframework ontworpen om te optimaliseren voor selectief vertrouwen zonder de prestaties op niet-adversariële condities op te offeren.

• Data Constructie: Voor elk item waar het basismodel correct is op de schone prompt maar fout op de misleidende prompt, wordt een contrafeitelijk voorkeurspaar geconstrueerd:
  • Chosen ($r^+$): Het correcte antwoord van het model (uit de schone conditie of een diagnostische fallback).
  • Rejected ($r^-$): Het foutieve antwoord van het model volgend op het misleidende signaal.
• Gebalanceerde Objectief: In tegen tegenstelling tot standaard Direct Preference Optimization (DPO), dat wellicht alleen op misleidende paren traint (wat een algemene wantrouwen aanleert), optimaliseert SCOPE één enkel objectief over vier gebalanceerde voorkeursets:
  1. Misleading ($D_{mis}$): De voorkeur geven aan de waarheid boven misleidende signalen.
  2. Clean ($D_{clean}$): Redenering behouden wanneer geen signaal aanwezig is.
  3. Correct-Context ($D_{cor}$): Correctheid handhaven wanneer context nuttig is.
  4. Irrelevant-Context ($D_{irr}$): Robuust blijven tegen afleidende maar niet-misleidende tekst.
• Optimalisatie: De methode gebruikt een standaard full-completion DPO-loss. De nieuwheid ligt volledig in de overeenstemmende, gebalanceerde constructie van de voorkeursdata. De gewichten voor de vier condities zijn vastgesteld (25% elk voor de vier sets, waarbij correct en irrelevant gecombineerd worden in een niet-adversariële component), wat ervoor zorgt dat het model leert de context te wegen op basis van de bruikbaarheid ervan in plaats van deze volledig te verwerpen.

Belangrijkste Resultaten

Universele Vatbaarheid

Over 23 modellen heen, inclus\u0020in frontier propriëtaire modellen (GPT-5.5, Claude Opus, Gemini) en open-weight modellen (Qwen, Llama, DeepSeek), is de vatbaarheid voor misleidende signalen universeel.

• Het vervangen van een schone context door een plausibele misleidende context veroorzaakt een significante daling in nauwkeurigheid voor elk geëvalueerd model.
• Zelfs modellen met een hoge schone nauwkeurigheid (bijv. GPT-5.5 op 96,0%) lijden onder een niet-nul SC2W (10,5%), wat aangeeft dat ze nog steeds correcte antwoorden ombuigen wanneer ze worden misleid.

Effectiviteit van SCOPE

Experimenten op Qwen3-4B en Llama-3.2-3B laten zien dat SCOPE beter presteert dan alternatieve mitigatiestrategieën:

• Reductie in SC2W: SCOPE vermindert SC2W met ongeveer de helft (bijv. van 35,0% naar 16,3% op Qwen3-4B) vergeleken met het basismodel.
• Preservering van Controles: In tegenstelling tot "Standard-DPO" (getraind op alleen misleidende paren) of "Prompt-Defense", behoudt of verbetert SCOPE de nauwkeurigheid op de clean, correct-context en irrelevant-context condities. Standard-DPO verbeterde bijvoorbeeld de misleidende nauwkeurigheid, maar zorgde voor een instorting van de correct-context nauwkeurigheid op Llama-3.2-3B.
• Zero-Shot Transfer: Modellen getraind met SCOPE op de MIST benchmark transfereren effectief naar externe benchmarks (GSM-IC, GSM-Plus, en sycophancy tests) zonder verdere tuning. SCOPE verbetert of behoudt de nauwkeurigheid op deze taken terwijl de bias-following rates vergelijkbaar blijven met de basismodellen, terwijl concurrerende methoden vaak nauwkeurigheid opofferen voor weerstand.

Ablatie en Mechanisme

• Noodzaak van Matching: Het verwijderen van de gematchte pairing of het gebruik van willekeurige paren verslechtert de prestaties aanzienlijk, wat bevestigt dat de contrafeitelijke structuur cruciaal is.
• Noodzaak van Controles: Het verwijderen van de clean, correct-context of irrelevant-context paren uit de training leidt tot een verlies van balans; modellen kunnen meer resistent worden maar falen in het benutten van nuttige context of verslechteren in schone redenering.
• Menselijke Audit: Een door mensen geassisteerde audit bevestigt dat de deterministische automatische scoring (SC2W en conditie-nauwkeurigheden) sterk correleert met menselijke semantische correctheidsoordelen (Spearman $\rho \geq 0,97$ voor de meeste metrieken).

Betekenis en Claims

Het artikel betoogt dat robuustheid tegen misleidende context het verkeerde doel is als dit ten koste gaat van bruikbaarheid. Een model dat elk signaal wantrouwt, is niet te onderscheiden van een model dat signalen correct beoordeelt, tenzij de evaluatie signalen bevat die het waard zijn om te vertrouwen.

• Herformulering van het Doel: De auteurs stellen voor om het evaluatie- en trainingsparadigma te verschuiven van "weerstand" naar selectief vertrouwen.
• Meetbaarheid: MIST en SC2W bieden de eerste directe, gecontroleerde meting van het vermogen van een model om onderscheid te maken tussen nuttige, misleidende en irrelevante context binnen dezelfde redeneertaak.
• Methodologische Bijdrage: SCOPE laat zien dat selectief vertrouwen geleerd kan worden door voorkeursparen te balanceren over alle contexttypen binnen een standaard DPO-framework, zonder dat er complexe nieuwe loss-functies of architecturen nodig zijn.
• Beperkingen: De auteurs merken op dat MIST een gecontroleerde, tekstuele diagnose is en de prevalentie in de praktijk niet meet. Besmetting van publieke benchmarks kan niet volledig worden uitgesloten, hoewel de SC2W-metriek dit verzacht door te conditioneren op clean-correct gedrag. De methode is getest op twee modelfamilies, waardoor bredere architecturen ongetest blijven.

Concluderend stelt dit werk vast dat betrouwbare redeneermodellen beoordeeld moeten worden op hun vermogen om te leren wanneer ze moeten vertrouwen, in plaats op hun vermogen om simpelweg externe informatie te negeren.