Technische Samenvatting: GradShield – Finetuning met Behoud van Alignering

1. Probleemstelling

Grote Taalmodellen (LLM's) worden steeds vaker gefinetuned op domeinspecifieke datasets om de bruikbaarheid voor downstream-taken te verbeteren. Dit proces introduceert echter een kritieke veiligheidskwetsbaarheid: zelfs kleine hoeveelheden schadelijke data (ofwel expliciet kwaadaardig of impliciet schadelijk) kunnen ervoor zorgen dat een model zijn veiligheidsalignering catastrofale vergeet, wat leidt tot het genereren van onveilige inhoud.

Bestaande mitigatiestrategieën ondervinden aanzienlijke beperkingen:

• Contentfilters: Standaard tools voor contentmoderatie detecteren vaak geen "impliciete" schadelijkheid, waarbij data er onschuldig uitziet maar de veiligheidsalignering tijdens het trainen ondermijnt.
• Aanpassingen achteraf: Methoden die proberen modellen na finetuning opnieuw te aligneren, hebben vaak moeite om de afweging te vinden tussen het behoud van bruikbaarheid en het herstellen van veiligheid.
• Invloedfuncties: Klassieke invloedfuncties, die de impact van trainingspunten meten, vertrouwen op informatie van de tweede orde (inversie van de Hessian-matrix) en zijn computationally onhaalbaar voor niet-convexe LLM's.

De kernuitdaging is om schadelijke datapunten tijdens het finetuning-proces te identificeren en te verwijderen zonder voorafgaande kennis van de samenstelling van de dataset, terwijl de bruikbaarheid van het model behouden blijft.

2. Methodologie: GradShield

GradShield is een principiële filtermethode die is ontworpen om LLM's tijdens finetuning te beschermen door datapunten te identificeren en te verwijderen die de veiligheidsalignering verslechteren. De aanpak bestaat uit drie hoofdcomponenten:

A. Finetuning Implicit Harmfulness Score (FIHS)

GradShield introduceert een metriek genaamd de Finetuning Implicit Harmfulness Score (FIHS) om de impact van een specifiek datapunt op de veiligheidsalignering van het model te kwantificeren.

• Theoretische Basis: FIHS is afgeleid van het "leave-one-out"-principe, waarbij het verschil in veiligheidsscores wordt gemeten tussen een model dat is gefinetuned op de volledige dataset en een model dat is gefinetuned op de dataset waarbij een specifiek punt $x_f$ is uitgesloten.
• Gradientbenadering: Het direct berekenen van leave-one-out-scores is computationeel onuitvoerbaar. GradShield benadert dit met een eerste-orde gradientformulering. De FIHS voor een datapunt $x_f$ wordt berekend als het inproduct van:
  1. De gradientupdate die door $x_f$ wordt veroorzaakt op de modelgewichten tijdens finetuning ($\nabla_\theta L(\theta, x_f)$).
  2. De gradient van een differentieerbare proxy-veiligheidsscore, geëvalueerd op een vastgehouden veiligheidsprobing datapunt ($\nabla_\theta S(F_\theta(x_s))$).
• Proxy-veiligheidsscore: Omdat standaard veiligheidsmetrieken (zoals de Attack Success Rate) niet-differentieerbaar zijn, gebruikt GradShield een proxy gebaseerd op de logits van specifieke tokens. De veiligheidsscore wordt gedefinieerd als het verschil tussen de logit van een veilig weigerend token (bijvoorbeeld "Ik") en een compliance-token (bijvoorbeeld "Zeker"). Empirische analyse toont aan dat de frequentie van "Ik" daalt en die van "Zeker" stijgt naarmate de veiligheidsalignering verslechtert, waardoor dit een robuust signaal is.
• Efficiëntie: Het berekenen van FIHS vereist slechts één gradientpass per datapunt, met een kostenplaatje dat vergelijkbaar is met één epoch finetuning. De methode is robuust ten opzichte van de keuze van het probing datapunt; één datapunt is voldoende om een betrouwbare score te berekenen.

B. Adaptieve Drempelwaarde

Omdat de verdeling van schadelijke data in door gebruikers geüploade datasets onbekend is, is een vaste drempelwaarde onpraktisch. GradShield hanteert een adaptieve drempelwaarde-strategie die dynamisch de cutoff voor filtering bepaalt:

1. Verdelingsmodellering: Het algoritme past de berekende FIHS-scores aan op een enkele Gaussische verdeling of een tweecomponenten Gaussische Mixture Model (GMM), waarbij het model met de hogere log-likelihood wordt geselecteerd.
2. Binaire zoekopdracht met heuristieken: Het systeem gebruikt een heuristische gok in combinatie met een binaire zoekopdracht om een optimale drempelwaarde te vinden. Het past de drempelwaarde iteratief aan op basis van de veiligheids- en bruikbaarheidsscores van het model dat is gefinetuned op de gefilterde subset.
   • Als de veiligheidsscore onder de tolerantie ligt, wordt de drempelwaarde verlaagd om meer data te verwijderen.
   • Als de bruikbaarheidsscore onder de tolerantie daalt, wordt de drempelwaarde verhoogd om meer data te behouden.
3. Convergentie: In typische scenario's is één zoekiteratie voldoende. Zelfs bij hoge verhoudingen van schadelijke data (tot 90%) convergeert de methode binnen twee iteraties.

C. Algorithmische Stroom

Het proces (Algoritme 1) begint met het controleren van de veiligheid van het model dat is gefinetuned op de ruwe data. Als de veiligheidsscore al acceptabel is, vindt er geen filtering plaats. Zo niet, dan worden FIHS-scores berekend voor alle datapunten. De adaptieve drempelwaarde-lus filtert vervolgens de dataset en herhaalt de finetuning van het model totdat aan de veiligheids- en bruikbaarheidsbeperkingen is voldaan of totdat het verzoek wordt afgewezen.

3. Belangrijkste Bijdragen

• FIHS-metriek: Een computationeel efficiënte, op eerste-orde gradients gebaseerde metriek die de leave-one-out-invloed van datapunten op veiligheidsalignering benadert, specifiek toegespitst op het niet-convexe optimalisatielandschap van LLM's.
• Differentieerbare Proxy: Het gebruik van token-logits ("Ik" versus "Zeker") als een differentieerbare proxy voor veiligheidsalignering, waardoor gradientgebaseerde analyse mogelijk is zonder niet-differentieerbare veiligheidsbeoordelaars te vereisen.
• Adaptieve Filtering: Een drempelwaarde-mechanisme dat werkt zonder voorafgaande kennis van de verdeling van schadelijkheid in de dataset, waardoor het geschikt is voor API-aanbieders die te maken hebben met diverse gebruikersuploads.
• Theoretische Rechtvaardiging: Een bewijs (Stelling 3.1) dat aantoont dat de voorgestelde op gradients gebaseerde FIHS een geldige benadering is van de leave-one-out-maatstaf voor schadelijkheid onder standaard aannames (differentieerbare veiligheidsscore, begrenste gradients, kleine leersnelheid).

4. Experimentele Resultaten

De auteurs evalueerden GradShield in meerdere scenario's met behulp van Llama-3.1-8B-Instruct, Llama-3.2-3B-Instruct, Llama-2-7B-chat en Qwen2.5-7B-Instruct.

• Expliciet Schadelijke Data: Op datasets met expliciete schadelijke queries (LATharm, Anthropic Redteaming) verlaagde GradShield de Attack Success Rate (ASR) van ongeveer 0,98 (zonder verdediging) naar 0,01, terwijl hoge bruikbaarheidsscores behouden bleven. Het presteerde aanzienlijk beter dan baselines zoals OpenAI Moderation, LlamaGuard en SafeLoRA.
• Impliciet Schadelijke Data: Op "Identity Shift"-datasets (eruitziende als onschadelijke data die subtiel de veiligheid ondermijnt) verlaagde GradShield de ASR van 0,75 naar 0,01. Baseline-methoden faalden grotendeels om deze impliciete schade te detecteren.
• Robuustheid tegen Vergiftigingsverhoudingen: GradShield behield de veiligheid (ASR < 0,06) zelfs wanneer de trainingsdataset tot 90% schadelijke datapunten bevatte, mits twee rondes adaptieve drempelwaarde werden gebruikt.
• Generalisatie: De methode toonde consistente prestaties over verschillende modelarchitecturen (Llama- en Qwen-families) en diverse bruikbaarheidstaken (samenvatting, nieuwsclassificatie, wiskundig redeneren).
• Computationele Efficiëntie: De overhead van het berekenen van FIHS bedraagt ongeveer 25% van een standaard finetuning-taak van 4 epochs. In onschadelijke gevallen (waar de veiligheid al hoog is) is de overhead verwaarloosbaar omdat geen filtering vereist is.

5. Betekenis en Beweringen

De paper beweert dat GradShield een praktische en effectieve oplossing biedt voor de afweging tussen "veiligheid en bruikbaarheid" bij LLM-finetuning. De primaire betekenis ligt in:

1. Aanpakken van Impliciete Schade: In tegenstelling tot contentfilters die vertrouwen op expliciete trefwoorden, detecteert GradShield de consequente schadelijkheid van datapunten op basis van hun gradientimpact op veiligheidsalignering.
2. Operationele Haalbaarheid: Door slechts één gradientpass te vereisen en een adaptieve drempelwaarde te gebruiken, is het ontworpen voor implementatie in de echte wereld door modelproviders die gebruikersdatasets niet handmatig kunnen cureren.
3. Behoud van Alignering: De methode zorgt ervoor dat modellen hun veiligheidstraining niet "catastrofaal vergeten", waarbij een ASR consistent onder de 6% wordt gehouden (vaak onder de 1%) over diverse en verontreinigde datasets.

De auteurs benadrukken dat GradShield is ontworpen om alignering tijdens het finetuning-proces te behouden in plaats van modellen te repareren die al zijn gecompromitteerd. Het gaat ervan uit dat het initiële referentiemodel goed is gealigneerd en dat een betrouwbare veiligheidsbeoordelingsfunctie beschikbaar is.