Optimus: A Robust Defense Framework for Mitigating Toxicity while Fine-Tuning Conversational AI

1. Il Problema

L'adattamento (fine-tuning) di grandi modelli linguistici (LLM) su dataset conversazionali non fidati o "avvelenati" comporta rischi significativi di iniezione di comportamenti tossici nel chatbot risultante. Gli avversari possono avvelenare i dati di addestramento inserendo conversazioni offensive, discriminatorie o dannose.
Le sfide tecniche principali identificate dagli autori sono:

• Ignoranza della distribuzione tossica: Il difensore non conosce la distribuzione o il tipo di linguaggio tossico presente nel dataset, rendendo difficile costruire un filtro efficace.
• Limiti dei classificatori: I classificatori di tossicità esistenti (API commerciali o modelli supervisionati) sono spesso imperfetti, biased (pregiudicati) o diventano obsoleti man mano che il linguaggio tossico evolve.
• Compromesso Utilità/Sicurezza: Filtrare aggressivamente i dati può degradare la qualità della conversazione (utilità del modello) o portare a falsi positivi che rimuovono dati validi.
• Robustezza: Le difese attuali spesso falliscono quando il classificatore di tossicità utilizzato non è perfetto o quando l'attaccante è adattivo (jailbreak, attacchi avversariali).

2. Metodologia: Il Framework Optimus

Optimus è un framework di difesa progettato per essere integrato nei pipeline di fine-tuning esistenti. Non si basa su un singolo filtro rigido, ma su un processo in tre fasi che combina classificazione, generazione di dati sintetici e allineamento del modello.

A. Fase 1: Classificazione della Tossicità (Training-Free)

Invece di affidarsi a classificatori supervisionati che richiedono dataset etichettati, Optimus utilizza un approccio "Refusal" basato su LLM già allineati alla sicurezza (es. LLaMA-2-Chat).

• Meccanismo: Si sfrutta la capacità degli LLM allineati di rifiutare richieste dannose. Dato un contesto-risposta, si chiede al modello se è sicuro generare la prossima risposta.
• Logica: Se il modello risponde "no" (o genera un messaggio di rifiuto), il campione è etichettato come tossico. Questo metodo è training-free (non richiede addestramento aggiuntivo) e sfrutta le proprietà di sicurezza intrinseche degli LLM moderni.

B. Fase 2: Generazione di "Healing Data" (Dati di Guarigione)

Poiché i classificatori possono essere imprecisi, Optimus non si limita a rimuovere i dati tossici, ma li "guarisce".

• Sostituzione: Le risposte tossiche identificate vengono sostituite con risposte sintetiche non tossiche.
• Due strategie:
  1. Non-Contextual Healing (NH): Sostituzione con risposte generiche (es. "Mi dispiace, non sono sicuro di cosa dire").
  2. Contextual Healing (CH): Sostituzione con risposte sintetiche generate da un LLM sicuro, che sono empatiche, prosociali e pertinenti al contesto della conversazione. Questo preserva l'engagement dell'utente.

C. Fase 3: Allineamento del Modello tramite DPO

Per mitigare ulteriormente i residui di tossicità (specialmente quando il classificatore ha molti falsi negativi), Optimus utilizza la Direct Preference Optimization (DPO).

• Creazione del dataset di preferenza: Si crea un dataset dove, per ogni contesto tossico, la risposta "guarita" (CH/NH) è preferita rispetto alla risposta tossica originale.
• Ottimizzazione: Il modello viene allineato per massimizzare la probabilità di generare la risposta guarita e minimizzare quella della risposta tossica.
• Vantaggio: A differenza del RLHF (Reinforcement Learning from Human Feedback), la DPO è più efficiente e, soprattutto, è in grado di generalizzare e correggere il modello anche se il set di campioni tossici rilevati è limitato o biased.

3. Contributi Chiave

1. Classificazione senza etichette: Un nuovo schema di classificazione della tossicità che riutilizza gli LLM allineati alla sicurezza (Refusal approach), superando le API industriali esistenti.
2. Robustezza ai classificatori imperfetti: Optimus è il primo schema end-to-end che dimostra di poter mitigare efficacemente la tossicità anche quando il classificatore di tossicità ha un Recall degradato fino all'85% (estremamente biased).
3. Preservazione dell'Utilità: L'uso di "Healing Data" contestuale (CH) permette di mitigare la tossicità mantenendo o migliorando la coerenza e l'engagement della conversazione, evitando risposte generiche che riducono l'utilità del chatbot.
4. Resilienza Adattiva: Il framework resiste a vari tipi di attacchi adattivi, inclusi attacchi avversariali (PromptAttack) e jailbreak mirati a ingannare il classificatore o il generatore di dati di guarigione.

4. Risultati Sperimentali

Gli autori hanno valutato Optimus su tre modelli base (BART, BlenderBot, LLaMA-2) e su dataset tossici di diverse categorie (offensivo e specializzato: accordo tossico, opinione di parte, ignoranza del rischio).

• Efficacia della Classificazione: I classificatori basati su LLaMA-2-Chat (Refusal) hanno superato le API di settore (OpenAI, Perspective) con un miglioramento del F1-score fino al 28,4%.
• Mitigazione della Tossicità:
  • In scenari con classificatori biased (es. API OpenAI o Perspective con Recall basso su sottocategorie specifiche), Optimus ha ridotto il Response Toxicity Rate (RTR) a livelli inferiori o comparabili a quelli di un modello addestrato senza attacchi (No-attack).
  • Anche con un Recall degradato dell'85% su una sottocategoria tossica, Optimus ha mantenuto un'efficacia di difesa significativa.
• Confronto con lo Stato dell'Arte: Optimus supera StarDSS, la difesa precedente più avanzata. StarDSS ha fallito (RTR del 54,3%) a causa della sua dipendenza da un classificatore di tossicità imperfetto e ha mostrato instabilità nell'addestramento.
• Robustezza agli Attacchi:
  • Attacchi Adversariali: Anche quando gli attaccanti usano PromptAttack per ingannare il classificatore, Optimus riduce l'RTR da ~47% a <2%.
  • Jailbreak: Ottimus resiste sia a jailbreak manuali che ottimizzati, riducendo l'RTR da ~58% a ~4,5%.
  • Dialog-Based Learning (DBL): In scenari di apprendimento continuo post-distribuzione, Optimus ha mitigato attacchi backdoor e indiscriminati, portando l'RTR vicino allo 0.

5. Significato e Impatto

Il lavoro di Optimus rappresenta un passo avanti cruciale nella sicurezza dell'IA conversazionale per diversi motivi:

• Indipendenza dai Dataset Etichettati: Dimostra che è possibile costruire difese robuste senza dipendere da costosi e difficili dataset di riferimento etichettati per la tossicità.
• Gestione dell'Incertezza: Affronta realisticamente il problema che i difensori non possono avere classificatori perfetti, proponendo un meccanismo (DPO + Healing Data) che compensa gli errori di rilevamento.
• Qualità della Conversazione: Sposta il paradigma dal semplice "filtraggio" (che spesso danneggia l'esperienza utente) alla "guarigione" e all'allineamento, permettendo ai chatbot di rispondere in modo sicuro ma contestualmente rilevante ed empatico.
• Scalabilità: Essendo basato su tecniche come LoRA e DPO, il framework è computazionalmente efficiente e adattabile a diverse architetture di modelli, rendendolo pratico per l'implementazione industriale.

In sintesi, Optimus offre una soluzione robusta e pratica per personalizzare i chatbot su dati non fidati, garantendo sicurezza senza sacrificare la qualità dell'interazione, anche in presenza di difensori con strumenti di rilevamento imperfetti.