CNT: Safety-oriented Function Reuse across LLMs via Cross-Model Neuron Transfer

1. Il Problema

La diffusione capillare dei Large Language Models (LLM) ha reso urgente la necessità di metodi post-hoc (dopo l'addestramento) per adattare i modelli a requisiti di sicurezza in evoluzione. Tuttavia, le soluzioni attuali presentano limiti significativi:

• Fine-tuning/Retraining: Richiede la raccolta di dataset specifici e costosi, rendendo il processo oneroso e lento.
• Knowledge Editing: È efficace per correggere conoscenze interne o fatti errati, ma fatica ad acquisire nuove funzionalità o comportamenti complessi.
• Model Fusion: Spesso richiede modelli addestrati su compiti specifici che non sono facilmente disponibili nell'ecosistema open-source.

Il problema centrale è quindi: come riutilizzare funzionalità di sicurezza esistenti da modelli open-source per adattarli a un modello target, senza raccogliere nuovi dati o riaddestrare il modello?

2. Metodologia: Cross-Model Neuron Transfer (CNT)

Gli autori propongono CNT, un metodo post-hoc che trasferisce un sottoinsieme minimo di neuroni da un modello "donatore" (open-source) a un modello "ricevente" (target). L'approccio si basa sull'analogia del trapianto d'organo: invece di costruire la sicurezza da zero, si "innesta" la funzionalità esistente.

Il processo si articola in quattro fasi principali:

A. Selezione del Modello Donatore (NTRR)

Poiché i modelli devono avere la stessa architettura, il metodo introduce il Neural Transfer Rejection Rate (NTRR). Questo metrico quantifica la compatibilità tra donatore e ricevente trasferendo casualmente una piccola frazione di pesi e misurando la divergenza KL (Kullback-Leibler) nelle distribuzioni di output. Un NTRR più basso indica una maggiore compatibilità e una migliore probabilità di successo nel trasferimento.

B. Costruzione di Richieste di Sonda a Basso Rumore (Low-noise Probing)

Per isolare i neuroni responsabili di una specifica funzione di sicurezza, il metodo genera coppie di richieste:

• F-req (With-function): Richieste che attivano fortemente la funzione target (es. richieste dannose per testare la sicurezza).
• Fl-req (Function-less): Richieste generate tramite LLM commerciali che mantengono struttura, contesto e argomento identici alla F-req, ma rimuovono gli elementi che attivano la funzione target.
  Questa differenza controllata minimizza le attivazioni irrilevanti, permettendo di localizzare con precisione i neuroni legati alla funzione specifica.

C. Attribuzione del Gap Funzionale (Path-wise Function Gap Attribution)

Poiché i modelli sono addestrati indipendentemente, non esiste un percorso di ottimizzazione continuo per calcolare i gradienti tradizionali. CNT risolve questo problema utilizzando l'integrazione di percorso:

1. Si definisce un percorso lineare virtuale tra i pesi del ricevente ($\theta_r$) e quelli del donatore ($\theta_d$).
2. Si calcola l'attribuzione dei pesi integrando i gradienti lungo questo percorso.
3. Si ottiene un punteggio di attribuzione per ogni peso, indicando quanto la differenza tra i pesi contribuisca al divario funzionale ($\Delta g$).

D. Trasferimento dei Pesi

Vengono selezionati e trasferiti solo i pesi con i punteggi di attribuzione più alti (tipicamente lo 0.012% - 0.24% del totale). Questo permette due operazioni:

• Aggiunta di Funzioni: Iniettare capacità di sicurezza mancanti nel modello target.
• Rimozione di Funzioni: Sostituire i neuroni responsabili di comportamenti indesiderati (es. bias o allineamento debole) con quelli di un modello "neutro" o sicuro, sopprimendo il comportamento indesiderato.

3. Contributi Chiave

• Nuovo Framework Post-Hoc: CNT è il primo metodo che permette il riutilizzo di funzionalità di sicurezza tra modelli LLM open-source senza bisogno di dati supervisionati o riaddestramento.
• Dualità Operativa: Supporta sia l'aggiunta che la rimozione di funzionalità, superando i limiti delle tecniche di editing che spesso si limitano alla correzione di conoscenze.
• Efficienza e Precisione: Trasferisce una frazione minima di pesi, preservando l'integrità generale del modello e le sue capacità originali.
• Validazione Estensiva: Sperimentazione su 7 modelli LLM popolari (inclusi Llama3, Mistral, Yi, DeepSeek) con architetture dense e MoE (Mixture-of-Experts).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su tre scenari principali: disallineamento di sicurezza (jailbreak), potenziamento dell'allineamento e rimozione dei bias.

• Rimozione di Funzioni (Disallineamento):

  • CNT ha ridotto il tasso di rifiuto (Refusal Rate) del 99% nei modelli target, rendendoli vulnerabili agli attacchi (simulando un attacco di successo).
  • Ha aumentato il tasso di risposte dannose (Harmful Rate) del 76.8% e il punteggio su HarmBench del 77.13%.
  • Impatto sulle prestazioni: Il degrado delle capacità generali (misurato su MMLU) è stato minimo, con una diminuzione media di soli 1.37 punti, superando significativamente le baseline come ActSVD-OP e RD.

• Aggiunta di Funzioni (Miglioramento Allineamento):

  • CNT ha migliorato l'accuratezza dell'allineamento (Refusal Accuracy) del 40.84% in media.
  • Ha mantenuto o leggermente migliorato le prestazioni generali (MMLU +0.26), dimostrando di non degradare il modello.

• Confronto con le Baseline:

  • CNT ha superato metodi basati su LoRA (che richiedono dati etichettati) e tecniche di editing come Model Surgery (che spesso producono risposte incoerenti o "garbled" invece di rifiuti chiari).
  • Nel caso della rimozione dei bias (bias removal), CNT ha ridotto il Stereotype Score da 77.47 a 64.73, mantenendo l'ICAT score (bilanciamento tra bias e capacità linguistica) molto più alto rispetto a metodi basati su gradienti o trasferimento casuale.

5. Significato e Implicazioni

Il paper dimostra che le funzionalità di sicurezza (e non solo) sono localizzabili e trasferibili a livello di neuroni specifici.

• Efficienza dei Risorse: Elimina la necessità di costosi dataset di addestramento per l'allineamento o la rimozione di bias, rendendo la sicurezza adattabile in tempo reale.
• Sicurezza e Difesa: Dimostra che è possibile "disallineare" un modello sicuro trasferendogli neuroni da un modello non sicuro, evidenziando una nuova superficie di attacco. Di conseguenza, suggerisce che i difensori dovrebbero distribuire le computazioni critiche su più neuroni per rendere il trasferimento più difficile.
• Generalità: La capacità di funzionare su diverse architetture (Dense e MoE) e scale di parametri suggerisce che i meccanismi di sicurezza sono più universali e modulari di quanto si pensasse.

In sintesi, CNT rappresenta un passo avanti significativo verso un'ingegneria delle funzionalità dei LLM modulare, economica e altamente efficace, spostando il paradigma dalla "costruzione da zero" al "riutilizzo intelligente" di componenti neurali esistenti.