Technische Samenvatting: De Weigerings–Naleving Trade-off

Probleemstelling

Huidige veiligheidsevaluaties voor Large Language Models (LLM's) vertrouwen zwaar op weigeringspercentages als een proxy voor veiligheid. Dit artikel betoogt dat weigeringspercentages een slechte metriek zijn omdat ze er niet in slagen twee duidelijke en grotendeels onafhankelijke foutmodi te vatten: over-weigeringsgedrag (het afwijzen van onschuldige prompts) en schadelijke naleving (het genereren van onveilige inhoud in reactie op adversariële prompts).

Bestaande benchmarks behandelen doorgaans slechts één van deze modi in isolatie. Toxiciteitsbenchmarks (bijv. ToxiGen) beoordelen onveilige generatie zonder rekening te houden met onschuldige weigeringspercentages, terwijl over-weigeringsbenchmarks (bijv. XSTest, OR-Bench) fout-positieven meten zonder de kwetsbaarheid voor adversariële input te evalueren. Bov�elijke worden geobserveerde weigeringspercentages kunnen worden verward door toxiciteitsimbalansen binnen evaluatiedatasets, wat vergelijkingen tussen demografische groepen onbetrouwbaar maakt. Het artikel stelt dat hoge weigeringspercentages geen lage schadelijke naleving impliceren, en dat modellen uit verschillende ecosystemen fundamenteel verschillende kalibratiestrategieën hanteren die niet worden gevangen door enkelvoudige cijfermatige veiligheidssamenvattingen.

Methodologie

De auteurs voerden een grootschalige empirische audit uit van 21 instructie-getunede open-weight LLM's over vier veiligheidsbenchmarks: OR-Bench, XSTest, ToxiGen en BOLD. De studie bestrijkt meerdere modelfamilies (Llama, Qwen, DeepSeek, Mistral, etc.), generaties, schalen en regionale ecosystemen (VS, China, Europa, Midden-Oosten, India, Korea, Japan).

Evaluatiekader

1. Output Classificatie: Responsies werden geclassificeerd in drie categorieën:
   • Weigering (SR): Het model weigert interactie.
   • Veilige Naleving (SC): Het model reageert behulpzaam zonder schade.
   • Onveilige Naleving (SU): Het model produceert schadelijke, discriminerende of onveilige inhoud.
2. Metrieken:
   • Over-weigeringspercentage (ORR): $P(SR | T_B)$, de waarschijnlijkheid van het weigeren van een onschuldige prompt.
   • Schadelijk Nalevingspercentage (HCR): $P(S_{unsafe} | T_T)$, de waarschijnlijkheid van het genereren van onveilige inhoud bij een toxische prompt.
   • Toxiciteit-gecorrigeerde Weigeringskloof ($\Delta$): Een metriek ontworpen om de gevoeligheid van een model voor demografische attributen te isoleren van de samenstelling van de dataset door te marginaliseren over de benchmark-toxiciteitsverdeling.
3. LLM-als-een-Judge: Om genuanceerde gedragingen (bijv. gedeeltelijke weigeringen, veiligheidsvoorafgaande responsen) te behandelen, gebruikten de auteurs een multi-judge pijplijn met twee verschillende modellen (Llama-3.3-70B-Instruct en Qwen2.5-32B-Instruct) om circulaire bias te mitigeren. Primaire analyses maakten gebruik van een binaire abstractie (Veilig vs. Onveilig) om stabiliteit te garanderen.
4. Experimentele Opstelling: Alle modellen werden geëvalueerd met greedy decoding op NVIDIA A100 GPU's, waarbij meer dan 7,1 miljoen prompt-respons paren en 14,3 miljoen judge annotaties werden gegenereerd.

Belangrijkste Resultaten

1. De Orthogonaliteit van Veiligheidsfoutmodi

De studie vond dat over-weigeringsgedrag en schadelijke naleving bijna ongecorreleerd zijn ($r = -0,032$). De neiging van een model om onschuldige prompts te weigeren, geeft vrijwel geen informatie over de kwetsbaarheid voor adversariële inputs.

• Conservatieve Ecosystemen: Modellen zoals Llama-3-8B en Falcon3-7B vertonen een hoge ORR (bijv. respectievelijk 11,12% en 9,47%) maar een zeer lage HCR (0,30% en 0,00%). Zij geven prioriteit aan veiligheid ten koste van bruikbaarheid.
• Permissieve Ecosystemen: Modellen zoals DeepSeek-R1-7B vertonen een extreem lage ORR (0,26%) maar een hoge HCR (29,71%), waarbij behulpzaamheid wordt behouden terwijl aanzienlijke schadelijke naleving wordt getolereerd.
• Gebalanceerde Ecosystemen: Qwen-2.5-7B behaalde lage waarden op beide metrieken (ORR 0,80%, HCR 0,16%).
• Fout-positieven: Hoge weigeringspercentages garanderen geen robuustheid; Airavata-7B vertoonde een ORR van 40,70% en had desondanks nog steeds een HCR van 11,70%, wat aangeeft dat ononderscheiden interventie geen vervanging kan zijn voor gerichte veiligheidshandhaving.

2. Stabiliteit binnen Modelfamilies

Weigerings- en nalevinggedrag is stabiel binnen modelfamilies over generaties en schalen heen, wat suggereert dat post-training doelstellingen (bijv. RLHF-policies, veiligheid-fine-tuning data) het veiligheidsgedrag meer vormen dan architectuur of modelgrootte.

• Llama Familie: Over generaties heen (Llama-2 naar Llama-3.1) bleef de HCR nabij nul terwijl de ORR licht toenam, waardoor een hoog-interventie profiel werd behouden.
• Qwen Familie: Behield een lage ORR over generaties heen terwijl de HCR licht verbeterde.
• Implicatie: Een enkel model-snapshot is redelijk representatief voor het veiligheidsprofiel van zijn ecosysteem, mits de post-training lineage consistent blijft.

3. Ongelijke Demografische Bescherming

Demografische bescherming is zeer ongelijkmatig en vaak onzichtbaar voor geaggregeerde metrieken.

• Over-bescherming: Modellen beschermen prominente raciale en religieuze groepen vaak overmatig (bijv. Joods, Latino, Moslim), waarbij ze onschuldige prompts die deze identiteiten noemen weigeren. Bijvoorbeeld: Llama-3.1-8B weigerde 16,32% van de onschuldige prompts die naar de Joodse demografie verwezen.
• Onder-bescherming: Modellen zijn aanzienlijk kwetsbaarder voor aanvallen gericht op handicaps. Airavata-7B vertoonde een HCR van 8,99% voor prompts over mentale handicaps, de hoogste groepsspecifieke HCR die werd waargenomen.
• Samenstellingseffecten: Ruwe weigeringspercentages vertekenen deze verschillen vaak door de frequentie van demografische groepen in toxische subsets. De toxiciteit-gecorrigeerde kloof ($\Delta$) onthulde dat samenstellingseffecten sommige demografische weigeringsschattingen opblazen.

4. Gevoeligheid voor Benchmark en Evaluator Keuze

• Benchmark Structuur: Over-weigeringspercentages variëren aanzienlijk op basis van benchmark-ontwerp. Modellen vertoonden een hogere ORR op XSTest (structurele pairing) vergeleken met OR-Bench (semantische ambiguïteit), wat aangeeft dat lexicale oppervlaktekenmerken zelfs wanneer de intentie onschuldig is, weigering kunnen triggeren.
• Evaluator Afhankelijkheid: Over-weigeringsbevindingen waren zeer stabiel over de twee judge-modellen ($r = 0,990$). Echter, oordelen over schadelijke naleving waren sterk judge-afhankelijk voor grensgevallen ($r = 0,356$), met name met betrekking tot gedeeltelijke disclaimers of indirecte hulpverlening. Dit suggereert dat enkelvoudige judge-audits nalevingsschattingen kunnen produceren die de kalibratie van de evaluator reflecteren in plaats van de intrinsieke eigenschappen van het model.

Betekenis en Bijdragen

Het artikel levert drie primaire bijdragen aan het veld van LLM-veiligheidsevaluatie:

1. Gezamenlijke Audit van Foutmodi: Het gaat verder dan evaluatie op basis van enkel weigeringspercentages door gezamenlijk zowel over-weigeringsgedrag als schadelijke naleving te meten over 21 modellen en vier benchmarks, waarmee wordt aangetoond dat dit orthogonale foutmodi zijn die verschillende mitigatiestrategieën vereisen.
2. Cross-Ecosysteem Karakterisering: Het onthult dat veiligheidsgedrag meer wordt gedreven door post-training doelstellingen dan door architectuur, wat leidt tot fundamenteel verschillende kalibratiestrategieën over ecosystemen heen (conservatief versus permissief).
3. Demografische en Robuustheidsanalyse: Het legt systematische tekortkomingen in demografische bescherming bloot, waarbij wordt aangetoond dat modellen zichtbare identiteitsgroepen overbeschermen terwijl ze falen in de bescherming tegen aanvallen gericht op handicaps. Het benadrukt ook de noodzaak van heterogene evaluator-ensembles en het aanpassen voor dataset-samenstelling om eerlijke vergelijkingen te waarborgen.

De auteurs concluderen dat robuuste veiligheidsaudits een gezamenlijke evaluatie vereisen van beide foutmodi, gedisaggregeerde demografische rapportage (gecorrigeerd voor toxiciteitssamenstelling), en het gebruik van meerdere benchmarks en evaluator-ensembles om de valkuilen van enkelvoudige metriek- of enkelvoudige judge-beoordelingen te vermijden.