CNT: Safety-oriented Function Reuse across LLMs via Cross-Model Neuron Transfer

Titel: Safety-oriented Function Reuse across LLMs via Cross-Model Neuron Transfer (CNT)

1. Het Probleem

Grote Taalmodellen (LLMs) vereisen vaak aanpassingen om te voldoen aan veranderende veiligheidsvereisten (bijv. het toevoegen van veiligheidsuitlijning of het verwijderen van vooroordelen). Bestaande methoden hebben echter aanzienlijke nadelen:

• Fine-tuning/Retraining: Vereist het verzamelen van specifieke datasets en is rekenkundig duur.
• Knowledge Editing: Is voornamelijk gericht op het corrigeren van bestaande feitelijke kennis, niet op het toevoegen van nieuwe functionaliteit.
• Model Fusion: Werkt vaak op modelniveau en vereist specifieke, vaak niet-beschikbare, taakgerichte modellen.

Er is een dringende behoefte aan een post-hoc methode (na het trainen) die veiligheidsfunctionaliteit kosteneffectief kan hergebruiken vanuit bestaande open-source modellen, zonder nieuwe data te verzamelen of het model opnieuw te trainen.

2. Methodologie: Cross-Model Neuron Transfer (CNT)

CNT is een post-hoc methode die veiligheidsgerichte functionaliteit hergebruikt door een minimale subset van neuronen (gewichten) over te dragen van een "donor" (open-source) LLM naar een "ontvanger" (target) LLM. De methode werkt op het niveau van individuele neuronen en ondersteunt zowel het toevoegen als het verwijderen van functionaliteit.

De kerncomponenten van CNT zijn:

• A. Selectie van het Donor Model (NTRR):
  Om compatibiliteit te garanderen, wordt de Neural Transfer Rejection Rate (NTRR) gebruikt. Dit is een metriek die de output-similariteit kwantificeert tussen een donor en een ontvanger door willekeurige gewichten over te dragen en de KL-divergentie te meten. Een lagere NTRR duidt op betere compatibiliteit.

• B. Constructie van Low-Noise Probing Request Pairs:
  Om de specifieke neuronen te lokaliseren die verantwoordelijk zijn voor een doel-functie, worden paren van verzoeken gegenereerd:

  • F-req (With-function): Een prompt die de doel-functie activeert.
  • Fl-req (Function-less): Een gegenereerde variant die qua structuur, context en onderwerp identiek is aan de F-req, maar de doel-functie niet activeert.
    Dit minimaliseert ruis en zorgt ervoor dat activatieverschillen puur toe te schrijven zijn aan de doel-functie.

• C. Path-wise Function Gap Attribution:
  Omdat traditionele gradiëntmethoden niet werken tussen twee onafhankelijk getrainde modellen, gebruikt CNT een virtuele interpolatiepad tussen de gewichten van de donor ($\theta_d$) en de ontvanger ($\theta_r$).

  • Er wordt een lineair pad gedefinieerd: $\theta^{(k)} = \theta_r + \frac{k}{N}(\theta_d - \theta_r)$.
  • Door integratie langs dit pad worden attributiescores ($A_i$) berekend voor elke gewichtsverandering. Dit identificeert welke gewichtsverschillen het meest bijdragen aan het verschil in functionaliteit.

• D. Gewichtsverplaatsing (Transfer):
  De gewichten met de hoogste attributiescores worden geselecteerd en overgebracht van de donor naar de ontvanger.

  • Functie Toevoegen: Gewichten van een veilig donormodel worden overgeheveld om veiligheid toe te voegen aan een onveilig model.
  • Functie Verwijderen: Gewichten van een model dat de functionaliteit niet heeft, worden overgeheveld om de ongewenste functionaliteit in het doelmodel te onderdrukken (in plaats van ze te verwijderen/prunen).

3. Belangrijkste Bijdragen

1. Nieuwe Benadering: CNT introduceert een raamwerk voor het hergebruiken van veiligheidsfunctionaliteit zonder supervisie of hertraining, door neuronen over te dragen tussen open-source modellen.
2. Dualiteit: Het ondersteunt zowel het toevoegen (bijv. veiligheidsuitlijning) als het verwijderen (bijv. jailbreaks of vooroordelen) van functionaliteit.
3. Efficiëntie: Het vereist geen nieuwe datasets; alleen een kleine set van proefverzoeken (probing requests) is nodig.
4. Uitgebreide Validatie: De methode is getest op 7 populaire LLMs (van 3B tot 16B parameters, inclusief Dichte en MoE-architecturen) over drie scenario's: veiligheidsdisalignement, uitlijningverbetering en bias-verwijdering.

4. Resultaten

De experimentele resultaten tonen aan dat CNT superieur is aan bestaande baselines (zoals LoRA, Model Surgery, en ActSVD):

• Functieverwijdering (Disalignment):

  • CNT slaagde er gemiddeld in om de weigering op schadelijke verzoeken (Refusal Rate) met 81,6% te verlagen.
  • Het verhoogde het percentage schadelijke output (Harmful Rate) met 76,8%.
  • Belangrijk: Dit werd bereikt met een minimale degradatie van de algemene prestaties (MMLU daalde slechts met 1,37 punten).
  • In vergelijking met pruning (het verwijderen van neuronen) is CNT effectiever: pruning faalde vaak om de functionaliteit volledig te verwijderen en veroorzaakte grotere schade aan de algemene prestaties.

• Functietoevoeging (Alignment Enhancement):

  • CNT verbeterde de uitlijning (Refusal Accuracy) met gemiddeld 40,84% op twee testmodellen.
  • De algemene prestaties (MMLU) bleven stabiel of verbeterden licht (+0,26), terwijl LoRA en Model Surgery vaak prestatieverlies vertoonden.

• Bias Verwijdering:

  • CNT verlaagde de Stereotype Score (SS) aanzienlijk (van 77,47 naar 64,73) terwijl de algemene taalvaardigheid behouden bleef.

• Efficiëntie:

  • De methode is zeer spaarzaam: er worden slechts 0,012% tot 0,24% van de totale gewichten overgedragen.
  • De doorlooptijd is laag (ongeveer 1,5 uur op een A800 GPU voor 128 proefverzoeken).

5. Betekenis en Conclusie

CNT vertegenwoordigt een paradigmaverschuiving in de beveiliging en aanpassing van LLMs: van het bouwen van nieuwe functionaliteit naar het hergebruiken van bestaande functionaliteit uit het open-source ecosysteem.

• Praktische Toepasbaarheid: Het biedt een oplossing voor situaties waar hertraining onmogelijk is of waar geen gelabelde data beschikbaar is.
• Mechanistisch Inzicht: De studie toont aan dat functionaliteit in LLMs niet uniform verdeeld is, maar dat specifieke neuronen in de middelste lagen cruciaal zijn voor veiligheidsuitlijning.
• Superioriteit boven Pruning: Het paper demonstreert dat het vervangen van activatiepatronen (via transfer) effectiever is dan het verwijderen van parameters (pruning), omdat het de modelintegriteit beter behoudt en "residu-activaties" voorkomt.

Kortom, CNT biedt een krachtige, kosteneffectieve en generieke methode om de veiligheid en het gedrag van LLMs post-hoc te sturen door slimme, gerichte herschikking van neurale gewichten.