SafeConstellations: Mitigating Over-Refusals in LLMs Through Task-Aware Representation Steering

Probleemstelling: Over-Refusals in LLMs

Grote Taalmodellen (LLMs) vertonen steeds vaker een fenomeen genaamd "over-refusal" (overmatige weigering). Hierbij weigeren veiligheidsmechanismen onschadelijke instructies die lijken op schadelijke inhoud, zelfs als de intentie van de gebruiker goed is. Dit gebeurt vaak in productieomgevingen waar prompts uit externe bronnen worden gehaald (bijv. RAG-pipelines of klantenservice-systemen).

• Voorbeeld: Een vertaalservice weigert een historisch document over een oorlog te vertalen omdat het woord "oorlog" als schadelijk wordt geïnterpreteerd, of een sentimentanalyse weigert een review te analyseren die de uitdrukking "killer good" bevat.
• Het Kernprobleem: Bestaande veiligheidsaanpassingen zijn vaak "task-agnostisch". Ze reageren op de tekstinhoud zonder rekening te houden met de specifieke NLP-taak (zoals vertalen, sentimentanalyse of cryptanalyse). Dit leidt tot nutteloosheid in toepassingen die specifiek op deze taken zijn gebaseerd, terwijl ze toch veilig moeten blijven voor echt schadelijke inputs.

Methodologie: SafeConstellations

De auteurs stellen SafeConstellations voor, een methode voor inference-time steering (sturing tijdens het afleiden) die de interne representaties van het model dynamisch aanpast op basis van de herkende taak.

1. Het Concept van "Constellations" (Sterrenbeelden)
Het paper stelt dat LLMs in de inbeddingsruimte (embedding space) distincte patronen volgen naarmate representaties door de lagen van het model reizen.

• Elke NLP-taak (bijv. vertaling, sentimentanalyse) heeft een consistente "baan" of traject door de lagen van het model.
• Binnen deze taak-specifieke baan vertonen "weigeringen" (refusals) en "niet-weigeringen" (non-refusals) voorspelbare verschuivingen.
• Deze patronen worden "constellations" genoemd. Ze zijn stabiel over verschillende inputvariaties heen en reflecteren primair de taak en niet alleen de tekstinhoud.

2. Technische Implementatie
De methode werkt in twee fasen:

• Fase 1: Voorbereiding (Offline)

  • Er wordt een dataset gebruikt om voor elke taak de gemiddelde vectoren (centroïden) te berekenen voor zowel de gewenste respons (target) als de weigering (refusal) op verschillende lagen.
  • Er worden stuurvectoren ($v_t$) gedefinieerd als het verschil tussen de centroïde van de gewenste respons en die van de weigering: $v_t = c_{t,tar} - c_{t,ref}$.
  • Alleen de meest effectieve lagen (waar de scheiding tussen weigering en niet-weigering het grootst is) worden geselecteerd en opgeslagen in een "Task Embeddings Store".

• Fase 2: Inference-Time Sturing (Online)

  • Bij een nieuwe prompt wordt eerst de intentie van de taak bepaald door de huidige trajecten te vergelijken met de opgeslagen task-embeddings.
  • Als de prompt wordt geïdentificeerd als een benigne taak (bijv. vertaling) en het model neigt naar een weigering, wordt sturing toegepast.
  • Dynamische Laagselectie: De methode selecteert dynamisch een kleine subset van lagen (meestal 4 lagen) waar de sturing het meest effectief is, gebaseerd op hoe dicht de huidige representatie bij de "weigering-manifold" ligt.
  • Sturing: De interne representaties ($h^{(\ell)}$) in deze geselecteerde lagen worden verschoven in de richting van de gewenste taak-traject:
    $$\tilde{h}^{(\ell)} = h^{(\ell)} + \lambda^{(\ell)} \frac{v^{(\ell)}_{\hat{t}}}{\|v^{(\ell)}_{\hat{t}}\|}$$
  • Sturing wordt niet toegepast als de taak niet benigne is of als de vertrouwensscore te laag is, waardoor echte veiligheidsweigeringen behouden blijven.

Belangrijkste Bijdragen

1. Nieuw Benchmark Dataset: Een dataset van 1.047 samples voor het meten van taak-specifieke over-refusals, inclusief gevoelige teksten verpakt in verschillende NLP-taken (sentimentanalyse, vertaling, cryptanalyse, RAG-QA).
2. Mechanistisch Inzicht: Het aantonen dat taak-identiteit wordt gecodeerd in consistente interne trajecten ("constellations") die onderscheiden kunnen worden van tekstinhoud.
3. SafeConstellations Methode: Een voorwaartse, conditionele stuurmethode die over-refusals reduceert zonder de algemene bruikbaarheid (utility) van het model te schaden.
4. Evaluatie: Uitgebreide tests op meerdere model-families (LLaMA, Qwen, Claude, GPT-4o).

Resultaten

De experimenten tonen aanzienlijke verbeteringen aan:

• Reductie van Over-Refusals: SafeConstellations reduceert de over-refusal rate met tot 73% (bij LLaMA-3.1-8B) en 63% (bij Qwen1.5-7B) ten opzichte van de baselines.
• Behoud van Utility: In tegenstelling tot andere methoden die de prestaties kunnen verstoren, blijft de prestatie op de MMLU-benchmark (een maatstaf voor algemene kennis) onveranderd of zelfs licht verbeterd.
• Selectiviteit: De methode slaagt erin om weigeringen op benigne taken (zoals het vertalen van een zin over "hoe men een persoon kan doden" in een historische context) te voorkomen, terwijl het wel weigert op echt schadelijke prompts (zoals jailbreak-pogingen).
• Efficiëntie: De methode voegt slechts een minimale latentie toe (ongeveer 0,2 seconden voor korte antwoorden) en vereist geen hertraining van het model.

Betekenis en Conclusie

SafeConstellations biedt een principieel antwoord op het dilemma tussen veiligheid en bruikbaarheid in LLMs. In plaats van een globale "veiligheidsknop" te gebruiken die vaak te agressief is, gebruikt deze methode de interne mechanica van het model om taak-specifieke interventies toe te passen.

• Kerninzicht: Veiligheid hoeft niet ten koste te gaan van nut als het model begrijpt wat de gebruiker probeert te doen (de taak) en niet alleen wat er staat (de tekst).
• Toekomstperspectief: Hoewel de methode momenteel beperkt is tot modellen waar toegang tot de interne lagen mogelijk is (niet voor gesloten API's zonder toegang tot hidden states), biedt het een nieuwe richting voor "mechanistic interpretability" in veiligheidsmaatregelen. Het benadrukt dat over-refusals vaak het gevolg zijn van een gebrek aan taak-context in de veiligheidslogica, en dat dit opgelost kan worden door gerichte sturing in de representatieruimte.