Over-Refusal and Representation Subspaces: A Mechanistic Analysis of Task-Conditioned Refusal in Aligned LLMs

Probleemstelling

Gefitste (aligned) grote taalmodellen (LLMs) zijn getraind om schadelijke verzoeken te weigeren. Echter, ze vertonen vaak over-afwijzing (over-refusal): ze weigeren ook veilige instructies die oppervlakkig lijken op schadelijke verzoeken (bijvoorbeeld een vertaling van een zin over het maken van een giftig gas).
Bestaande methoden om dit te verhelpen, zoals het "sturen" (steering) of verwijderen (ablation) van een globale afwijzingsrichting (geëxtraheerd via Difference-in-Means over schadelijke en veilige voorbeelden), werken slechts incidenteel voor over-afwijzing. Deze methoden verstoren vaak het bredere veiligheidsmechanisme zonder het probleem van over-afwijzing volledig op te lossen. De auteurs stellen dat dit komt omdat de geometrie van de representaties voor beide typen afwijzing fundamenteel verschilt, maar dit onderscheid nog niet mechanistisch is onderzocht.

Methodologie

De auteurs analyseren de representatie-geometrie van het model LLaMA-3.1-8B-Instruct op een dataset van 270 voorbeelden verdeeld over vijf NLP-taken (Sentimentanalyse, Vertaling, RAG-QA, Herformulering en Cryptanalyse). Ze onderscheiden twee categorieën:

1. Harmful-Refusal: Correcte afwijzing van schadelijke instructies.
2. Over-Refusal: Foutieve afwijzing van veilige, maar gevoelige instructies.

De analyse omvat de volgende technieken:

• Geometrische Analyse: Berekening van de "Difference-in-Means" (DIM) richtingen voor beide afwijzingstypen in de residu-stroom (residual stream) van elke transformer-laag.
• Clustering en PCA: Visualisatie van activaties om te zien of afwijzingsvoorbeelden in een aparte ruimte vallen of binnen de clusters van de specifieke taak.
• Linear Probing: Trainen van logistische regressie-classificatoren op de activaties van elke laag om te testen of taakidentiteit en het type afwijzing lineair scheidbaar zijn.
• Causale Patching (Causal Patching): Het vervangen van de output van specifieke attention-heads door die van een niet-afwijzend voorbeeld om te testen of een enkele head causaal verantwoordelijk is voor de afwijzing.
• Vergelijking van Interventies: Het toepassen van globale ablatie versus taak-geconditioneerde sturing (task-conditioned steering) om de effectiviteit te meten.

Belangrijkste Bijdragen

1. Universele vs. Taak-afhankelijke Geometrie: De auteurs tonen aan dat de richting voor harmful-refusal taak-agnostisch is en kan worden gevangen door één enkele globale vector die convergeert in de middenlagen van het netwerk. Daarentegen is over-refusal taak-afhankelijk; de afwijzingsrichtingen liggen binnen de bestaande clusters van de specifieke taak en variëren per taak.
2. Hoog-dimensionale Subruimte: Over-afwijzing beslaat een hogere-dimensionale subruimte dan harmful-refusal. Dit betekent dat er geen enkele lage-rang vector bestaat die over-afwijzing over alle taken heen kan vangen.
3. Vroege Scheidbaarheid: Lineaire probing toont aan dat de twee typen afwijzing al vanaf de vroege lagen van de transformer representatief van elkaar te onderscheiden zijn, lang voordat de taak-specifieke structuren volledig gevormd zijn.
4. Distributie van het Circuit: Circuit-analyse (patching) toont aan dat er geen enkele "bottleneck" attention-head is die verantwoordelijk is voor afwijzing. In plaats daarvan is het gedrag gedistribueerd over late, taak-specifieke heads.

Resultaten

• Globale Ablatie is Onvoldoende: Het verwijderen van de globale afwijzingsrichting verlaagt de harmful-refusal rate aanzienlijk (van 68% naar 20%), maar heeft een veel minder sterk effect op over-refusal. De suppressie-ratio (reductie over-refusal / reductie harmful-refusal) is lager dan 1, wat betekent dat de interventie de veiligheid meer verstoort dan het probleem oplost.
• Taak-geconditioneerde Sturing werkt: Een methode die specifiek ingrijpt binnen de taak-afhankelijke subruimte (Safe-Constellations) elimineert over-refusal volledig (van 55% naar 0%) terwijl het de harmful-refusal mechanismen beter behoudt (suppression ratio > 1).
• Geen Enkele Causale Head: Causale patching toonde aan dat geen enkele attention-head een flip-rate van 50% bereikte. Dit bevestigt dat afwijzing een gedistribueerd fenomeen is dat niet door het verwijderen van één component kan worden opgelost.
• Geometrische Overlap: Er is slechts een partiële overlap (cosine similariteit ~0.47) tussen de globale harmful-refusal vector en de gemiddelde over-refusal vector, wat verklaart waarom globale interventies slechts incidenteel werken.

Betekenis en Conclusie

De studie biedt een mechanistische verklaring voor waarom bestaande methoden voor het corrigeren van over-afwijzing falen: ze proberen een taak-afhankelijk, hoog-dimensionaal probleem op te lossen met een universeel, laag-dimensionaal instrument.

De kernconclusie is dat globale afwijzing effectief is omdat het een universeel signaal is, maar over-afwijzing inherent verbonden is met de geometrie van de specifieke taak. Daarom zijn taak-geconditioneerde ingrepen (tijdens training, fine-tuning of via gerichte sturing in de residu-stroom) noodzakelijk om over-afwijzing effectief en selectief te verhelpen zonder de algehele veiligheid van het model te ondermijnen. De vroege scheidbaarheid suggereert ook dat er potentie is voor lichtgewicht, inference-time interventies die gebaseerd zijn op vroege laag-probes.