Technische Samenvatting: Veiligheidsmetingen voor gefinetunede LLM's moeten geworteld zijn in capaciteit

Probleemstelling

Het aanpassen van fundamentele Large Language Models (LLM's) aan specifieke gebruikerstaken of stijlen via supervised fine-tuning (SFT) of domeinadaptatie tast vaak de veiligheidsfuncties van de oorspronkelijke modellen aan. Recent onderzoek wijst uit dat zelfs fine-tuning op onschuldige datasets onbedoeld de veiligheidsmaatregelen kan verslechteren. Hoewel diverse mitigatiemethoden (bijv. SafeLoRA, SaLoRA) zijn voorgesteld om veiligheid tijdens fine-tuning te behouden, lijden eerdere evaluaties van deze methoden aan significante beperkingen:

1. Willekeurige experimentele instellingen: Eerdere werken definiëren vaak empirische instellingen (hyperparameters, doelwitte lagen) zonder deze te verankeren aan specifieke capaciteitsdoelen, wat leidt tot inconsistente vergelijkingen.
2. Broosheid van evaluatie: Automatische veiligheidsbeoordelingen blijken steeds minder betrouwbaar, vooral wanneer modellen incoherente outputs genereren.
3. Inconsistente conclusies: De beoordeling of fine-tuning de veiligheid verbetert of verslechtert, varieert drastisch afhankelijk van de keuze van de veiligheidsbenchmark en het specifieke veiligheids-evaluatiemodel.

De auteurs stellen dat zonder het verankeren van fine-tuningexperimenten in verifieerbare capaciteitsdoelen, het onmogelijk is om betekenisvolle conclusies te trekken over de impact op de veiligheid of om mitigatiestrategieën eerlijk te vergelijken.

Methodologie

De auteurs voeren een multidimensionale evaluatie uit met de focus op de wisselwerking tussen capaciteit (taakprestaties en generatie-coherentie) en veiligheid.

Experimentele opzet

• Modellen: Vier open-source instruction-tuned LLM's werden gebruikt: Llama-3.2-1B, Llama-3.1-8B, Qwen-3-4B en Qwen-3-8B.
• Fine-tuning taken: Om verifieerbare capaciteitsmetingen te garanderen, hebben de auteurs vier datasets geselecteerd met objectieve correctheidsmetrieken:
  • GSM8k: Wiskundige woordproble tops voor de basisschool.
  • ARC: Wetenschappelijke meerkeuzevragen voor de basisschool.
  • Science10k: Science QA-paren met redenering.
  • BoolQ: Leesbegrip met boolean (ja/nee) antwoorden.
  • Noot: Een subset van de Stanford Alpaca-dataset werd ook gebruikt voor algemene instructievolgende vergelijkingen.
• Fine-tuning methode: Low-Rank Adaptation (LoRA) werd toegepast met variërende hyperparameters (rank $\{16, 64\}$, target layers $\{[qv], [all-linear]\}$).
• Mitigatiemethode: De studie analyseert specifiek SafeLoRA, een training-vrije methode die LoRA-gewichtupdates projecteert op een "veiligheidssubruimte" (gedefinieerd als het verschil in gewicht tussen gealigneerde en niet-gealigneerde modellen) indien de gelijkenissscore onder een drempelwaarde valt.

Evaluatiedimensies

1. Capaciteit: Gemeten via nauwkeurigheid op de testsplits van de fine-tuning datasets.
2. Coherentie: Gemeten via de perplexiteit van gegenereerde outputs met behulp van een GPT-2 model. Hoge perplexiteit duidt op incoherente generaties.
3. Veiligheid: Geëvalueerd met een uitgebreide set van 1.840 veiligheidsprompts afgeleid van vier benchmarks (SORRY-Bench, BeaverTails-Eval, BeaverTails-Intent, XSTest).
   • Judges: Twee verschillende evaluatoren werden ingezet om robuustheid te testen:
     • LlamaGuard-8B: Een content safety classifier die schadelijkheidspercentages uitvoert.
     • SORRY-Bench Evaluator (Mistral-7b): Een gefinetuned model dat weigering versus naleving beoordeelt.

Belangrijkste resultaten

1. Coherentie en falen van automatische beoordeling

Fine-tuning op taken met beperkte outputformaten (bijv. meerkeuze of ja/nee) veroorzaakte overfitting, wat resulteerde in incoherente generaties bij het presenteren van veiligheidsprompts.

• Modellen die gefinetuned zijn op ARC en BoolQ genereerden vaak enkelvoudige karakters of zinloze reacties op veiligheidsvragen.
• Cruciale bevinding: Automatische veiligheidsjudges (specifiek LlamaGuard) interpreteerden deze incoherente outputs vaak foutief als "onveilig" of "schadelijk". Het papier demonstreert dat een gebrek aan capaciteit (incoherentie) vaak wordt misgeclassificeerd als een gebrek aan veiligheid door automatische evaluatoren.

2. Instabiliteit van veiligheidsbenchmarks

De conclusies over veiligheidsverslechtering of -verbetering zijn zeer gevoelig voor de keuze van de benchmark en de evaluator.

• Benchmark Variantie: Voor hetzelfde model checkpoint (bijv. Llama-8B gefinetuned op GSM8k), kan de ene benchmark (SORRY-Bench) een significante veiligheidsverbetering ten opzichte van het basismodel aangeven, terwijl een andere (BeaverTails-Intent) een verslechtering aangeeft.
• Evaluator Divergentie: Er is vaak een zwakke of tegengestelde correlatie tussen "schadelijkheid" (LlamaGuard) en "naleving" (SORRY-Bench). Kleinere modellen vertoonden bijzonder divergente trends tussen deze twee metrieken.

3. Veiligheid-capaciteit trade-offs (SafeLoRA Analyse)

De studie vergeleek standaard LoRA met SafeLoRA:

• Llama Modellen: SafeLoRA verbeterde over het algemeen de veiligheid (verlaagde schadelijkheid) maar verminderde consequent de modelcapaciteit (nauwkeurigheid). Op de Science10k dataset verlaagde het veiligste SafeLoRA checkpoint de nauwkeurigheid met bijna 10% vergeleken met het beste standaard LoRA checkpoint.
• Qwen Modellen: De resultaten waren gemengd. Op GSM8k verbeterde SafeLoRA zowel de veiligheid als de nauwkeurigheid. Echter, op Science10k veroorzaakte SafeLoRA een duidelijke degradatie in zowel veiligheid als nauwkeurigheid.
• Coherentie Mitigatie: Op ARC en BoolQ leek SafeLoRA de coherentie-degradatie die bij standaard LoRA fine-tuning werd waargenomen te mitigeren, waarschijnlijk door de alignment-gewichten te behouden die vrije vorm generatie ondersteunen.

Betekenis en Claims

Het artikel claimt dat het vakgebied van LLM-veiligheid een paradigmaverschuiving vereist van willekeurige empirische instellingen naar capaciteit-gegronde evaluaties.

• Gronding is essentieel: Het verankeren van fine-tuning aan specifieke, verifieerbare capaciteitsdoelen is noodzakelijk om willekeurige keuzes te vermijden en een consistente vergelijking van mitigatiemethoden mogelijk te maken.
• Validiteit van meting: Veiligheidsmetrieken zijn broos. Het paper betoogt dat zonder het meten van coherentie (bijv. via perplexiteit) en het gebruik van meerdere evaluatoren, veiligheidsbeoordelingen onbetrouwbaar zijn. Incoherente outputs kunnen veiligheidsscores kunstmatig opblazen of, omgekeerd, onterecht als schadelijk worden aangemerkt.
• Contextuele Interpretatie: De auteurs concluderen dat de effectiviteit van veiligheidsbehoudende methoden zoals SafeLoRA niet absoluut is; het varieert aanzienlijk op basis van de modelarchitectuur, de specifieke fine-tuning taak en de gebruikte meetinstrumenten. Daarom moeten onderzoekers en praktijkgebruikers welgedefinieerde, gegronde en valide meetmethodologieën hanteren om de veiligheid van gefinetunede modellen accuraat te beoordelen.

De auteurs stellen expliciet dat hun bevindingen de noodzaak benadrukken voor verder onderzoek naar de mechanismen van veiligheidshervatting in latere trainingsepochs en de ontwikkeling van meer intrinsieke maten van veiligheidsgedrag (bijv. via mechanistische interpreteerbaarheid) in plaats van uitsluitend te vertrouwen op externe benchmarking.