Second Guess: Detecting Uncertainty Through Abstention and Answer Stability in Small Language Models

Technische Samenvatting: Second Guess: Het Detecteren van Onzekerheid door Abstentie en Antwoordstabiliteit in Kleine Taalmodellen

Probleemstelling
Grote Taalmodellen (LLMs) genereren vaak zelfverzekerde maar onjuiste antwoorden in plaats van af te zien van een antwoord wanneer ze onzeker zijn. Dit probleem is bijzonder acuut voor Kleine Taalmodellen (SLMs), hier gedefinieerd als transformer-gebaseerde generatieve modellen met minder dan 10 miljard parameters. SLMs worden steeds vaker ingezet in rand- en mobiele omgevingen, waar computatierestricties en autonome werking (vaak zonder directe menselijke toezicht) een betrouwbare detectie van onzekerheid vereisen. Bestaande methoden om abstentie mogelijk te maken, ondervinden aanzienlijke beperkingen: trainingsgebaseerde benaderingen vereisen toegang tot modelgewichten en hertraining; prompt-gebaseerde methoden die vertrouwen op zelfgerapporteerde zekerheid falen vaak omdat modellen hun eigen prestaties niet nauwkeurig inschatten; en steekproefgebaseerde consensusmethoden leiden tot onaanvaardbare computerkosten die ongeschikt zijn voor SLMs met beperkte middelen.

Methodologie: Second Guess
Het artikel stelt "Second Guess" voor, een lichtgewicht, parameter-vrije prompttechniek die is ontworpen voor meerkeuzevraagbeantwoording (MCQA) en geen toegang vereist tot interne modeltoestanden of parameters. De methode maakt gebruik van de empirische inzichten dat modellen met stabiele kennis consistente antwoorden geven, ongeacht de beschikbare opties, terwijl onzekere modellen onstabiel gedrag vertonen wanneer een optie "Ik weet het niet" wordt toegevoegd.

De techniek omvat twee doorlopen per vraag:

1. Originele Prompt: Het model krijgt de standaardset van vier antwoordkeuzes ($C = \{c_1, c_2, c_3, c_4\}$), wat leidt tot antwoord $R_1$.
2. Aangevulde Prompt: Een optie "Ik weet het niet" wordt op een willekeurige positie in de keuzeset ingevoegd ($C' = \{c_1, c_2, c_3, c_4, \text{"Ik weet het niet"}\}$), en het model wordt opnieuw gevraagd om een antwoord, wat leidt tot antwoord $R_2$.

De uiteindelijke output $R$ wordt bepaald door de twee antwoorden te vergelijken:

• Als $R_1 = R_2$, wordt het originele antwoord behouden.
• Als $R_1 \neq R_2$ (ongeacht wat het nieuwe antwoord is), wordt de output geclassificeerd als een abstentie ("Ik weet het niet").

Deze benadering behandelt antwoordverschillen tussen de twee prompts effectief als een signaal van onzekerheid, waarbij slechts twee queries per vraag nodig zijn.

Experimentele Opzet
De auteurs hebben Second Guess geëvalueerd op vier instructie-aangepaste SLMs (variërend van 2B tot 8B parameters: Mistral-7B, Llama-3.1-8B, IBM Granite-3.3-2B en Qwen3-4B) over vier MCQA-benchmarks: CommonsenseQA, QASC, MMLU-Pro en SuperGPQA. De evaluatie omvatte zowel basismodellen als modellen die zijn fijngefineerd met Low-Rank Adaptation (LoRA).

De methode werd vergeleken met verschillende baselines:

• Originele Prompt: Standaard MCQA zonder aanvulling.
• Aangevulde Prompt: Een single-pass-benadering waarbij "Ik weet het niet" vanaf het begin is opgenomen.
• Zelfevaluatie: Een twee-stappenstrategie waarbij het model zijn eigen antwoord verifieert.
• Entropiedrempelwaarde: Een post-hoc-methode die outputs met hoge entropie omzet in abstenties.

Belangrijkste Resultaten
De evaluatie gebruikte drie metrieken: Precisie, Foutpercentage en Gecombineerd Risico (een combinatie van onjuiste antwoorden en gevallen waarin het model afziet van een antwoord ondanks dat het oorspronkelijk het juiste antwoord had).

1. Reductie van Gecombineerd Risico: Second Guess behaalde de hoogste verbetering van het gecombineerde risico van 10,81% over alle basismodellen en datasets heen, en presteerde beter dan de beste baseline (Zelfevaluatie met 7,69%) terwijl hetzelfde aantal queries (twee) werd gebruikt.
2. Robuustheid tegen Fijnfining: Op fijngefineerde modellen behield Second Guess een verbetering van het gecombineerde risico van 8%. In tegenstelling hiermee degradeerden entropie-gebaseerde methoden aanzienlijk op fijngefineerde modellen, omdat de toegenomen zelfverzekerdheid van het model token-entropie minder informatief maakte voor onzekerheidsdetectie.
3. Omgekeerd Verband met Basisprestaties: Het artikel identificeert een omgekeerd verband tussen de basisnauwkeurigheid van een model en de verbetering die wordt behaald met Second Guess. Modellen met een lagere basisnauwkeurigheid (bijvoorbeeld Llama op SuperGPQA met ~32% nauwkeurigheid) zagen de meest significante risicoreducties (ruim 25%), terwijl goed presterende modellen bescheiden of geen winst zagen.
4. Mechanisme van Verbetering: Analyse van antwoordtransities onthulde dat de risicoreductie voornamelijk voortkomt uit het detecteren van optiewisseling in plaats van de expliciete selectie van "Ik weet het niet". Modellen die onzeker waren, neigden naar het wisselen tussen onjuiste opties wanneer de optie "Ik weet het niet" werd toegevoegd, in plaats van consequent het abstentie-token te selecteren.

Betekenis en Beweringen
Het artikel beweert dat Second Guess een praktische, toegankelijke oplossing biedt voor het verbeteren van de betrouwbaarheid van SLMs in veiligheidskritieke en autonome contexten. De betekenis ervan ligt in het feit dat het:

• Parameter-vrij is: Het vereist geen hyperparameter-tuning of toegang tot modelgewichten.
• Computatie-efficiënt is: Het vereist slechts twee doorlopen, waardoor het levensvatbaar is voor black-box SLMs en randapparaten waar steekproefgebaseerde methoden te kostbaar zijn.
• Effectief is voor minder presterende modellen: Het richt zich specifiek op de betrouwbaarheidskloof in kleinere, minder capabele modellen waar foutreductie het meest kritiek is.

De auteurs merken beperkingen op en erkennen dat de bruikbaarheid van de methode afneemt naarmate de modelgrootte en basisprestaties toenemen, en dat de evaluatie Chain-of-Thought (CoT)-redenering niet omvatte, wat de baseline-capaciteiten kan veranderen. Het werk stelt echter vast dat gedragsinstabiliteit (antwoordwisseling) een robuust, detecteerbaar signaal van onzekerheid is dat kan worden benut om abstentie te induceren zonder complexe architecturale wijzigingen.