Are Aligned Large Language Models Still Misaligned?

Probleemstelling

Bestaande benchmarks voor het meten van misalignement (wanorde) in Large Language Models (LLMs) evalueren doorgaans slechts één dimensie tegelijk: veiligheid (safety), waarden (value) of cultuur (cultural). In de praktijk moeten modellen echter gelijktijdig voldoen aan al deze eisen binnen één enkele interactie.

• Het tekort: Bestaande methoden (zoals INSECURE CODE, VALUEACTIONLENS en CULTURAL HERITAGE) evalueren dimensies geïsoleerd. Dit leidt tot een onvolledig beeld, omdat modellen die goed presteren op één dimensie vaak falen wanneer ze geconfronteerd worden met complexe, gecombineerde scenario's waarin veiligheid, normatieve waarden en culturele context elkaar beïnvloeden.
• De kernvraag: Zelfs "gealigneerde" modellen vertonen misalignement wanneer ze moeten voldoen aan meerdere, soms tegenstrijdige, eisen tegelijkertijd.

Methodologie: Mis-Align Bench

De auteurs introduceren Mis-Align Bench, een unificerend benchmarkkader dat misalignement analyseert onder gelijktijdige (joint) voorwaarden van veiligheid, waarden en cultuur. De aanpak bestaat uit twee fasen:

Fase I: Constructie van het SAVACU-dataset

Het team heeft een nieuw dataset genaamd SAVACU (Safety, Value, Cultural Aligned/Unaligned) ontwikkeld, bestaande uit 382.424 voorbeelden over 112 domeinen.

1. Taxonomie en Classificatie: Prompts uit het LLM-PROMPT-DATASET worden herclassificeerd in 14 veiligheidsdomeinen (gebaseerd op BEAVERTAILS), 56 waardedomeinen (gebaseerd op VALUECOMPASS) en 42 culturele domeinen (gebaseerd op UNESCO). Hiervoor wordt Mistral-7B-Instruct-v0.3 gebruikt.
2. Expansie en Deduplicatie: Om data-schaarste in "long-tail" domeinen (minder dan 100 prompts) te voorkomen, worden extra prompts gegenereerd met Llama-3.1-8B-Instruct. Om duplicaten te voorkomen, wordt een SimHash-gebaseerde vingerafdruktechniek toegepast met een Hamming-afstandsdrempel ($\tau=10$).
3. Response Generatie met Rejection Sampling: Voor elke prompt worden kandidaat-antwoorden gegenereerd. Een tweestapsproces (geautomatiseerde filtering en feedback-gestuurde resampling) zorgt ervoor dat voor elke prompt een gealigneerd antwoord (voldoet aan alle drie de dimensies) en een misalignerend antwoord (schendt minstens één dimensie) beschikbaar zijn.

Fase II: Benchmarking

Verschillende soorten modellen worden getest op het SAVACU-dataset in een zero-shot setting:

• Generiek gealigneerde modellen: (bijv. MARL-FOCAL, TRINITYX) die expliciet zijn getraind voor HHH-doelen (Helpful, Harmless, Honest).
• Dimensie-specifieke modellen: Basismodellen die apart zijn gefinetuned op slechts één dimensie (alleen veiligheid, alleen waarden, of alleen cultuur).
• Open-weight modellen: Modellen zonder expliciete alignering (bijv. Gemma-7B, DeepSeek-7B).

Evaluatiemetrics:

• Coverage (Cov): Het percentage misalignerende outputs dat correct wordt gedetecteerd.
• False Failure Rate (FFR): Het percentage correcte (gealigneerde) outputs dat ten onrechte als misalignerend wordt afgekeurd.
• Alignment Score (AS): Het harmonisch gemiddelde van Coverage en (1 - FFR).

Belangrijkste Bijdragen

1. Mis-Align Bench: Het eerste unified benchmarkkader dat misalignement systematisch evalueert onder gelijktijdige beperkingen van veiligheid, waarden en cultuur.
2. SAVACU Dataset: Een groot, gebalanceerd dataset van 382k+ voorbeelden met gepaarde gealigneerde en misalignerende antwoorden, specifiek ontworpen om interacties tussen domeinen te testen.
3. Empirisch Bewijs: Het aantonen dat optimalisatie voor één dimensie leidt tot een "val van de val" (trade-off) in gelijktijdige scenario's.

Resultaten en Analyse

De experimentele resultaten onthullen een scherp inzicht in de beperkingen van huidige aligneringstechnieken:

• De "Single-Dimension" Valstrik: Modellen die gespecialiseerd zijn in één dimensie (bijv. alleen veiligheid) bereiken een zeer hoge Coverage (tot 97,6%) op hun specifieke taak. Echter, onder gelijktijdige condities leiden ze tot een False Failure Rate (FFR) van meer dan 50%. Dit betekent dat ze vaak correcte antwoorden onterecht verwerpen omdat ze te strikt zijn op hun specifieke dimensie en de andere dimensies negeren. Hun Alignment Score daalt hierdoor aanzienlijk (63%–66%).
• Generieke Modellen: Algemene, goed gealigneerde modellen presteren het meest robuust met een hoge Alignment Score (81%–81,6%) door een betere balans tussen detectie en het vermijden van valse negatieven.
• Open-Weight Modellen: Deze modellen hebben een lage FFR (ze zijn conservatief en keuren weinig af), maar missen ook veel echte misalignementen (lage Coverage), wat resulteert in een gemiddelde prestatie.
• Cross-Domein Interactie: De analyse toont aan dat misalignement vaak ontstaat door de interactie tussen domeinen (bijv. veiligheid + cultuur), en niet door fouten in geïsoleerde domeinen. Dimensie-specifieke modellen falen hier het meest omdat ze de contextuele flexibiliteit missen die nodig is om meerdere normen tegelijk te respecteren.

Significantie en Conclusie

Het paper concludeert dat misalignement in LLMs fundamenteel interactief is en niet kan worden opgelost door dimensies apart te optimaliseren.

• Implicatie: Het trainen van modellen op één specifieke dimensie (bijv. alleen veiligheid) kan leiden tot een schijnbare verbetering, maar resulteert in real-world scenario's in een gebrek aan nuance en een verhoogde kans op onterechte afkeuringen van nuttige antwoorden.
• Toekomst: Er is behoefte aan aligneringstechnieken die rekening houden met de complexe wisselwerking tussen veiligheid, ethische waarden en culturele context. De auteurs waarschuwen dat overmatige focus op één dimensie kan leiden tot "over-enforcement" van normen, wat legitieme expressie onderdrukt.

Samenvattend biedt Mis-Align Bench een noodzakelijk instrument om de nuance van LLM-gedrag in de echte wereld te meten, waar modellen moeten navigeren in een web van gelijktijdige, soms tegenstrijdige, menselijke verwachtingen.