Technische Samenvatting: Refusal-Teacher-Guided Finetuning voor Veilige FaaS

Probleemstelling

Het artikel behandelt de kwetsbaarheid van Finetuning-as-a-Service (FaaS) voor schadelijke finetuning-aanvallen. In dit scenario dienen gebruikers aanpassingsgegevens in die een mengeling bevatten van onschadelige prompts en schadelijke prompts (bijv. instructies voor het genereren van onveilige inhoud). Als een provider een Large Language Model (LLM) finetuned op deze gegevens, kan de veiligheidsafstemming (safety alignment) van het model verslechteren, wat leidt tot schadelijke outputs.

De auteurs identificeren een kritiek gebrek in de gangbare tweestaps-pipeline die wordt gebruikt om dit risico te beperken:

1. Alignment-fase: Pre-trained modellen worden afgestemd met veiligheidsgegevens.
2. Finetuning-fase: Het resulterende veiligheid-afgestemde model wordt gefinetuned op gebruikersgegevens.

Het artikel betoogt dat deze aanpak suboptimaal is omdat veiligheid-afgestemde gewichten een zwakke initialisatie vormen voor het leren van downstream-taken. Dit leidt tot een afruil waarbij het model ofwel lijdt onder slechte taakprestaties, ofwel de veiligheidsafstemming verliest na de gebruikers-finetuning. Bovendien introduceert het direct finetunen van een base model op zowel gebruikersgegevens als veiligheidsgegevens (zonder een specifiek mechanisme) gradiëntconflicten tussen veiligheids- en nutsobjectieven, wat de training destabiliseert.

Methodologie: Refusal-Teacher-Guided Finetuning

Om deze beperkingen te overwinnen, stellen de auteurs een paradigmaverschuiving voor: in plaats van veiligheid-afgestemde gewichten te finetunen, stellen zij het finetunen van base-gewichten onder expliciete veiligheids-leraar-begeleiding (safety-teacher guidance) voor. Dit wordt geïmplementeerd via het Refusal-Teacher (Ref-Teacher)-geleide finetuning-framework, dat uit twee fasen bestaat:

1. Teacher Preparatie Fase

Het doel is om een veiligheid-afgestemde teacher-model te trainen dat in staat is om schadelijke van onschadelijke prompts te onderscheiden en zachte weigeringslabels (soft refusal labels) te genereren.

• Refusal Feature: Het framework maakt gebruik van de "refusal feature", een vector die het weigeringsgedrag van veiligheid-afgestemde LLM's codeert. Het wordt gedefinieerd als het gemiddelde verschil tussen de feature-representaties van schadelijke en onschadelijke prompts op een specifieke laag $l$.
• Trainingsdoel: De Ref-Teacher wordt getraind met een gecombineerde loss:
  • Safety-Alignment Loss ($L_{align}$): Standaard supervised fine-tuning loss die schadelijke prompts koppelt aan weigeringsreacties en onschadelijke prompts aan behulpzame reacties.
  • Regularization Loss ($L_{regul}$): Een loss-term die een duidelijkere scheiding afdwingt tussen de features van schadelijke en onschadelijke prompts ten opzichte van de refusal feature. Het duwt de cosinusgelijkenis van schadelijke features naar 1 en onschadelijke features naar -1.
• Dynamische Update: Omdat er aanvankelijk mogelijk geen pre-aligned model beschikbaar is om de refusal feature te extraheren, werkt het framework de refusal feature dynamisch bij tijdens de training door prompt-features in buffers te accumuleren.

2. Finetuning Fase

Het base LLM wordt gefinetuned op gebruikersgegevens en veiligheids-afstemmingsgegevens onder de bevroren begeleiding van de Ref-Teacher. Deze fase maakt gebruik van twee complementaire mechanismen:

• Alignment Distillatie: In plaats van harde labels genereert de Ref-Teacher zachte weigeringslabels (soft refusal labels). Het base model wordt getraind om de veilige gedrag van de Ref-Teacher te matchen op de veiligheids-afstemmingsgegevens met behulp van een KL-divergentie loss. Dit biedt rijkere supervisie en gladdere loss-oppervlakken, wat gradiëntconflicten tussen veiligheid en nut verzacht.
• Data Filtering: De Ref-Teacher gebruikt zijn refusal feature om prompts in de gebruikersgegevens te classificeren. Prompts met een hoge cosinusgelijkenis met de refusal feature (hoger dan een drempelwaarde $\tau$) worden geïdentificeerd als schadelijk en uitgesloten van de supervised fine-tuning loss (gewogen door een binaire indicator $\omega_i = 0$). Dit voorkomt dat schadelijke samples het trainingsproces destabiliseren.

De totale doelfunctie combineert de gefilterde supervised loss voor gebruikers-taken en de alignment distillation loss voor veiligheid:
$$L_{ft} = \frac{1}{N_{user}} \sum \omega_i \cdot \ell(x_i, y_i) + \alpha T^2 \cdot \frac{1}{N_{safety}} \sum KL(p^T_{t,i} || p^T_{s,i})$$

Belangrijkste Bijdragen

1. Paradigmaverschuiving: Het artikel daagt de standaard tweestaps-pipeline (Safety-Align $\to$ Finetune) uit en toont aan dat dit een suboptimale veiligheid en nut oplevert. Het stelt voor om over te stappen naar base-weight finetuning onder teacher-begeleiding.
2. Ref-Teacher Framework: De introductie van een framework dat een teacher-model dynamisch traint om tegelijkertijd Alignment Distillation (via soft labels) en Data Filtering (via refusal features) uit te voeren.
3. Mitigatie van Gradiëntconflicten: Door het combineren van soft label distillatie en data filtering, vermindert de methode effectief de gradiëntconflicten tussen veiligheids- en nutsobjectieven, wat leidt tot een stabielere training.
4. Geen Pre-aligned Vereiste: De teacher-preparatie fase maakt het mogelijk om de refusal features en discriminerende representaties binnen één enkel trainingsproces te berekenen, waardoor de afhankelijkheid van een bestaand veiligheid-afgestemd model wordt weggenomen.

Experimentele Resultaten

Het framework werd geëvalueerd in diverse settings, inclusief variërende verhoudingen van schadelijke prompts ($p$), omvang van gebruikersgegevens, downstream-taken (GSM8K, SST2, AGNEWS, AlpacaEval) en modelarchitecturen (Llama3-8B, Gemma2-9B, Qwen2-7B).

• Veiligheid en Nut Afruil: De voorgestelde methode behaalde consistent de laagste Harmful Score (HS) en de hoogste Finetuning Accuracy (FA) over alle schadelijke ratio's vergeleken met baselines (bijv. RepNoise, Vaccine, Booster, LDIFS, SafeInstruct).
• Robuustheid: Zelfs met hoge ratio's van schadelijke data ($p=0.5$), behield de methode een lage HS (bijv. 0,9% voor de Ref-Teacher variant versus 71,3% voor standaard SFT) terwijl een hoge taaknauwkeurigheid behouden bleef.
• Generalisatie: De aanpak generaliseerde goed over verschillende onschadelijke taakdatasets en model-backbones.
• Ablatie-studies:
  • Alignment Distillation (AD) alleen: Verminderde gradiëntconflicten maar slaagde er niet in de veiligheid te verbeteren als schadelijke prompts aanwezig bleven.
  • Data Filtering alleen: Verwijderde effectief schadelijke prompts en verminderde conflicten, maar liep het risico op overfitting en lagere nauwkeurigheid door een verminderd datavolume.
  • Combinatie: De synergie van beide componenten was noodzakelijk om optimale veiligheid en nut te bereiken.
• Loss Gladheid: Alignment distillatie verminderde de gradiënt Lipschitz-schatting, wat wijst op een gladder loss-oppervlak en verbeterde trainingsstabiliteit.

Betekenis en Claims

Het artikel claimt dat veiligheid-afgestemde gewichten niet voldoende zijn als initialisatie voor downstream adaptatie wanneer gebruikersgegevens schadelijke prompts kunnen bevatten. De auteurs betogen dat de standaard tweestaps-pipeline een knelpunt creëert waarbij veiligheids- en nutsobjectieven elkaar verstoren.

De betekenis van dit werk ligt in het aantonen dat het finetunen van base-gewichten onder expliciete veiligheids-teacher-begeleiding een superieur paradigma is. Door de handhaving van veiligheid (via de teacher) te ontkoppelen van de base model-initialisatie, behoudt het framework het aanpassingsvermogen van het base model terwijl het dynamisch veiligheid afdwingt. Deze aanpak lost effectief de spanning op tussen het behouden van veiligheid-afstemming en het bereiken van een hoge prestatie op gebruikersspecifieke taken, zelfs in de aanwezigheid van schadelijke finetuning-aanvallen. De auteurs benadrukken dat hun methode geen pre-aligned model nodig heeft om te starten, wat het een praktische oplossing maakt voor FaaS-providers.