DART: Mitigating Harm Drift in Difference-Aware LLMs via Distill-Audit-Repair Training

1. Il Problema: "Harm Drift" e Cecità Identitaria

Le attuali grandi lingue (LLM) allineate per la sicurezza tendono a sviluppare una "cecità identitaria" (identity-blindness). Anche quando le differenze demografiche sono fattualmente corrette (es. incidenza di malattie basata sull'ascendenza) o giustificate contestualmente (es. preferenze religiose nell'assunzione), i modelli rifiutano di riconoscerle, fornendo risposte errate, rifiuti eccessivi o risposte generiche di "trattamento uguale".

Il paper identifica un fenomeno critico chiamato Harm Drift (Deriva del Danno):

• Quando si esegue un fine-tuning per migliorare l'accuratezza nella classificazione delle differenze (distinguere quando il trattamento differenziale è giustificato), il modello impara a dare la risposta corretta (es. "Sì, in questo caso la differenza conta").
• Tuttavia, durante questo processo, le spiegazioni (rationales) generate dal modello diventano progressivamente più dannose. Il modello potrebbe elaborare contenuti tossici, introdurre presupposti problematici o fallire nel segnalare danni che la versione di base aveva correttamente identificato.
• In sintesi: l'accuratezza decisionale migliora, ma la sicurezza del ragionamento peggiora.

2. Metodologia: Il Framework DART

Per risolvere questo conflitto tra accuratezza e sicurezza, gli autori propongono DART (Distill–Audit–Repair Training), una pipeline multi-stadio che separa l'ottimizzazione dell'accuratezza dalla mitigazione del danno.

Fase I: Distillazione (Distill)

• Obiettivo: Migliorare l'accuratezza decisionale.
• Processo: Un modello "studente" (es. Llama-3-8B) viene fine-tuned utilizzando le spiegazioni (rationales) generate da un modello "insegnante" più capace (es. DeepSeek-Chat).
• Meccanismo: L'insegnante genera spiegazioni condizionate all'etichetta corretta (ground-truth). Lo studente impara a imitare questo ragionamento.
• Risultato: Si ottiene un modello intermedio ($M_{int}$) con alta accuratezza, ma che soffre di harm drift (le sue spiegazioni sono più tossiche di quelle della base).

Fase II: Audit (Controllo)

• Obiettivo: Identificare i casi di harm drift.
• Processo: Si confrontano le uscite del modello base ($M_0$) e del modello distillato ($M_{int}$) sugli stessi prompt.
• Rilevamento:
  1. Classificatore di tossicità: Segnala casi in cui la differenza di tossicità tra $M_{int}$ e $M_0$ supera una soglia.
  2. LLM-as-Judge: Un modello LLM valuta le coppie di risposte per confermare se $M_{int}$ ha introdotto contenuti dannosi, normalizzato pregiudizi o mancato di identificare rischi reali che $M_0$ aveva colto.
• Classificazione: I casi rilevati vengono stratificati per gravità (Mild, Moderate, Severe, Extreme).

Fase III: Riparazione Mirata (Repair)

• Obiettivo: Correggere i casi dannosi senza perdere l'accuratezza guadagnata.
• Processo:
  1. Per i casi di drift identificati, l'insegnante genera una alternativa sicura ($r_{safe}$) che mantiene la conclusione corretta ma rimuove il contenuto dannoso.
  2. Viene eseguita una ri-sampling pesata per gravità: i casi più gravi vengono sovracampionati (es. 4x per casi "Extreme", 1x per "Mild") durante il fine-tuning.
  3. Lo studente viene addestrato su un dataset misto (dati originali di distillazione + casi riparati) per imparare a mantenere l'accuratezza riducendo il danno.

Politica di Spiegazione all'Inferenza

• Viene introdotta una politica di prompting strutturato che vincola la generazione delle spiegazioni in base al tipo di risposta (es. risposte "NO" devono essere brevi e non elaborare differenze; risposte "YES" devono fornire giustificazioni contestuali ma senza ripetere contenuti tossici).

3. Risultati Chiave

Gli esperimenti sono stati condotti su otto benchmark (descrittivi e normativi) e su 280 query reali aperte (medicina, diritto, politica, educazione).

• Accuratezza: Su Llama-3-8B-Instruct, l'accuratezza complessiva è passata dal 39.0% al 68.8% (+29.8 punti percentuali).
  • Il miglioramento più drastico è stato sui casi di "trattamento uguale" (EQUAL), passando dal 11.3% al 72.6%, risolvendo il problema del rifiuto eccessivo.
• Mitigazione del Danno: I casi di harm drift sono stati ridotti del 72.6%.
• Generalià: Il metodo funziona su diverse famiglie di modelli (Llama, Qwen, Mistral, Gemma) e scala con la capacità del modello.
• Query Aperte: Nelle query reali, la pertinenza della differenza demografica è migliorata dal 39.8% al 77.5%, mentre i rifiuti inutili sono crollati dal 34.3% al 3.0%.
• Valutazione Esterna: Su benchmark di sicurezza esterni (BOLD, HateCheck, ecc.), DART mantiene o migliora la sicurezza, riducendo i tassi di rifiuto (abstention) e la tossicità, sebbene alcuni classificatori di odio mostrino un aumento dei punteggi dovuto alla loro fragilità nel riconoscere risposte contestuali corrette che citano gruppi demografici per confutare affermazioni dannose.

4. Contributi Principali

1. Identificazione dell'Harm Drift: Il paper definisce e caratterizza un nuovo fenomeno in cui il miglioramento dell'accuratezza tramite fine-tuning aumenta il danno nelle spiegazioni, distinto dalla semplice degradazione della sicurezza nelle risposte.
2. Pipeline DART: Propone un approccio a stadi (Distill-Audit-Repair) che risolve il compromesso accuratezza-sicurezza, evitando l'ottimizzazione congiunta che porta a compromessi subottimali.
3. Validazione Empirica: Dimostra che accuratezza e sicurezza non sono in conflitto se esistono meccanismi espliciti di rilevamento e riparazione, fornendo un framework replicabile per l'allineamento dei modelli su task sensibili.

5. Significato e Implicazioni

Il lavoro di DART è significativo perché sfida la narrativa secondo cui la sicurezza dei modelli LLM richieda necessariamente una cecità alle differenze demografiche. Dimostra che è possibile addestrare modelli a riconoscere quando le differenze sono rilevanti (per motivi legali, fattuali o etici) senza generare contenuti tossici o stereotipi.

L'approccio evidenzia che l'ottimizzazione congiunta di accuratezza e sicurezza (ad esempio tramite regolarizzazione della tossicità durante l'addestramento) è spesso inefficace; invece, un approccio modulare e sequenziale che prima massimizza le capacità e poi corregge miratamente i fallimenti etici è superiore. Questo ha implicazioni cruciali per l'uso degli LLM in ambiti ad alto rischio come la medicina, la giurisprudenza e le politiche pubbliche, dove la negazione delle differenze demografiche può portare a errori gravi e ingiustizie.