Please refuse to answer me! Mitigating Over-Refusal in Large Language Models via Adaptive Contrastive Decoding

Titel: Mitigatie van Over-Refusal in Grootte Taalmodellen via Adaptieve Contrastieve Decoding (AdaCD)

1. Het Probleem: Over-Refusal

Gefitste Large Language Models (LLMs) zijn vaak te voorzichtig en weigeren onschadelijke vragen die lijken op schadelijke vragen. Dit fenomeen staat bekend als over-refusal (of "exaggerated safety").

• Voorbeeld: Een vraag als "Hoe dood ik iemand in Call of Duty?" (een videospel) wordt geweigerd omdat het woord "doden" voorkomt, hoewel er geen kwaadaardige intentie is.
• Huidige beperkingen: Bestaande methoden om dit op te lossen zijn vaak niet in staat om twee doelen tegelijk te bereiken: het verminderen van weigeringen op onschadelijke vragen én het behouden van een hoge weigeringsscore op daadwerkelijk schadelijke vragen.
  • Trainingsgebaseerde methoden vereisen veel data en zijn vaak inefficiënt.
  • Inferentiegebaseerde methoden (zoals het gebruiken van "steering vectors") vereisen vaak volledige kennis van de modelarchitectuur en complexe voorberekeningen.
  • Bestaande contrastieve decoding methoden gebruiken een statische aanpak: ze trekken de weigeringstoken-verdeling altijd af (om over-refusal te verminderen) of voegen deze altijd toe (om veiligheid te verhogen), maar kunnen niet dynamisch schakelen.

2. Methodologie: AdaCD (Adaptive Contrastive Decoding)

De auteurs stellen AdaCD voor, een trainingsvrije en model-onafhankelijke aanpak die de weigeringstoken-verdeling dynamisch aanpast tijdens de inferentie.

A. Kernobservatie:
De auteurs ontdekten dat wanneer een model over-refusal vertoont, er nog steeds niet-weigerende tokens (bijv. "Zeker", "Doden" in een spelcontext) aanwezig zijn in de kandidatenlijst voor het volgende token, maar het model kiest systematisch voor de weigerende token. Het model herkent de optie, maar faalt in het selecteren ervan.

B. De drie componenten van AdaCD:

1. Extractie van Weigeringstoken-Verdeling:

   • Het model wordt twee keer geprompt: één keer met een normale prompt en één keer met een extreme systeemprompt die het model dwingt om alles te weigeren (bijv. "Weiger alstublieft te antwoorden!").
   • Door de kansverdeling van deze twee scenario's te vergelijken, wordt de specifieke verdeling van tokens die leiden tot weigering ($\Delta P_n$) geëxtraheerd.

2. Adaptieve Decoding Mode Switch:

   • In plaats van een vaste strategie te gebruiken, schakelt AdaCD dynamisch tussen het toevoegen of aftrekken van de weigeringstoken-verdeling ($\Delta P_n$).
   • Dit schakelmechanisme is gebaseerd op twee criteria:
     • Agreement Ratio (AGR): Meet hoe sterk de token-selectie van het model met de extreme prompt overeenkomt met het model zonder prompt. Een lage overeenkomst suggereert over-refusal (dan wordt $\Delta P_n$ afgetrokken). Een hoge overeenkomst suggereert een schadelijke vraag (dan wordt $\Delta P_n$ toegevoegd).
     • Adaptieve Vertrouwensbeperking: Controleert of het model voldoende vertrouwen heeft in de weigering. Als het vertrouwen laag is, wordt de weigering onderdrukt om een nuttig antwoord te genereren.

3. Decoding Strategie:

   • De formule voor de nieuwe token-kansverdeling is: $P^* = P_{orig} + \alpha \cdot I(n) \cdot \Delta P_n$.
   • Waarbij $I(n)$ bepaalt of de verdeling wordt opgeteld (+1 voor veiligheid) of afgetrokken (-1 voor nuttigheid), gebaseerd op de AGR en vertrouwensdrempels.

3. Belangrijkste Bijdragen

• Nieuwe Observatie: Het inzicht dat niet-weigerende tokens vaak al in de kandidatenlijst zitten maar niet worden geselecteerd door een bias in het model.
• Trainingsvrije Oplossing: AdaCD vereist geen fine-tuning van het model en werkt met elk bestaand LLM (model-agnostisch).
• Dynamische Aanpassing: Het is de eerste methode die adaptief schakelt tussen het onderdrukken en versterken van weigeringen, afhankelijk van de aard van de vraag (onschadelijk vs. schadelijk).
• Efficiëntie: Geen extra voorberekening van vectors of dure training nodig; het voegt slechts een minimale rekentijd toe.

4. Resultaten

De methode is getest op vijf benchmark datasets (XSTest, ORBench, OKTest, AdvBench, JailBench) met modellen zoals Llama3-8B, Gemma2-9B en Qwen3-8B.

• Vermindering van Over-Refusal: AdaCD verlaagde de weigeringsscore voor onschadelijke vragen gemiddeld met 10,35% ten opzichte van de standaardmodellen.
• Behoud van Veiligheid: Tegelijkertijd steeg de weigeringsscore voor schadelijke vragen met 0,13%, wat aantoont dat de veiligheid niet wordt ondermijnd.
• Vergelijking met Baselines: AdaCD presteerde beter dan bestaande methoden zoals SelfCD (die veiligheid verwaarloost) en SafeDecoding (die over-refusal verergert).
• Efficiëntie: De inferentie-tijd nam slechts met ongeveer 3% toe, wat aanzienlijk efficiënter is dan methoden die fine-tuning of complexe steering vectors vereisen.
• Algemene Gebruikbaarheid: De kwaliteit van de antwoorden op algemene vragen (hulpzaamheid, duidelijkheid) bleef hoog of verbeterde licht.

5. Betekenis en Conclusie

Dit paper biedt een elegante oplossing voor het fundamentele dilemma in de veiligheid van LLM's: de afweging tussen veiligheid en nuttigheid.

• Praktische Toepassing: Omdat AdaCD trainingsvrij en plug-and-play is, kunnen ontwikkelaars het direct toepassen op bestaande modellen zonder zware rekenkosten.
• Toekomstperspectief: Het werk benadrukt dat veiligheid niet hoeft te leiden tot een "over-protectieve" AI die geen nuttige taken meer uitvoert. Door slim gebruik te maken van de interne token-verdelingen, kan een model zowel veilig als behulpzaam blijven.

Kortom, AdaCD lost het probleem van "over-refusal" op door de AI dynamisch te leren wanneer het moet weigeren en wanneer het moet antwoorden, zonder de onderliggende architectuur van het model te hoeven aanpassen.