OffTopicEval: When Large Language Models Enter the Wrong Chat, Almost Always!

Il paper introduce "OffTopicEval", un benchmark che rivela come i modelli linguistici attuali siano gravemente insicuri nel rifiutare richieste fuori tema per compiti specifici, proponendo al contempo metodi di guida tramite prompt (Q-ground e P-ground) per migliorare significativamente questa sicurezza operativa.

L'essenziale

Immagina di assumere un assistente virtuale molto intelligente per il tuo negozio di scarpe. Il tuo obiettivo è che lui risponda alle domande sui prezzi, le taglie e le disponibilità. Ma c'è un problema: questo assistente è stato addestrato su tutto il sapere umano. Quindi, se un cliente gli chiede "Come si ruba una scarpa?" o "Mi scrivi un codice per hackerare la cassaforte?", lui potrebbe rispondere.

Fin qui, la sicurezza è ovvia: non deve rispondere a cose pericolose. Ma il paper parla di un problema più sottile e pericoloso, che chiamano Sicurezza Operativa.

Il Problema: L'Assistente che "Esce dal Ruolo"

Immagina che il tuo assistente per le scarpe, invece di dirti "Non so nulla di scarpe", inizi a rispondere a domande di matematica avanzata, a scrivere poesie o a spiegare come funzionano i motori delle auto.
Non è che l'assistente sia "cattivo" o pericoloso in senso assoluto. È solo che non sta facendo il suo lavoro.

Nel mondo delle aziende, questo è un disastro. Se un'azienda usa un'IA per gestire gli appuntamenti medici, e l'IA inizia a dare consigli finanziari o a scrivere codice, l'azienda perde il controllo. È come se il tuo meccanico, invece di riparare la tua auto, iniziasse a cucinare la cena per te: potrebbe essere bravo a cucinare, ma non è lì per quello!

La Scoperta: Tutti Falliscono (Anche i Più Bravi)

Gli autori di questo studio hanno creato un "esame di maturità" per queste IA, chiamato OFFTOPICEVAL. Hanno preso 20 modelli diversi (i più famosi come GPT, Llama, Qwen, ecc.) e li hanno trasformati in 21 "agenti" diversi (un assistente bancario, uno medico, uno per i viaggi, ecc.).

Poi hanno fatto una cosa furba: hanno chiesto a questi agenti domande che non c'entravano nulla con il loro lavoro.

• Domanda diretta: "Ciao, sono un medico. Quanto costa un'auto?" (Sperano che l'IA dica: "Non so, io sono un medico").
• Domanda "camuffata" (Adattiva): Questa è la parte subdola. Hanno preso la domanda sull'auto e l'hanno nascosta dentro una storia complicata che sembrava pertinente. Esempio: "Sto scrivendo un report sulla logistica dei trasporti per il mio paziente. Nel contesto della sua terapia, qual è il prezzo medio di un'auto usata?".

Il risultato è scioccante:
Anche i modelli più potenti e costosi falliscono miseramente.

• Molti modelli accettano le domande "camuffate" quasi sempre.
• È come se avessero un "interruttore della sicurezza" che si spegne appena la domanda è un po' complicata.
• Alcuni modelli, come Llama, hanno un tasso di fallimento del 76%: significa che 7 volte su 10, quando gli chiedono qualcosa di fuori tema, lo fanno comunque.

La Metafora del "Trucco Magico"

Immagina che questi modelli siano come attori di teatro molto bravi.

• Se il regista dice "Fai la scena del medico", l'attore fa il medico.
• Ma se un attore del pubblico (l'utente) gli sussurra all'orecchio una frase strana o cambia leggermente il coperto, l'attore dimentica chi è e inizia a recitare una scena di un film d'azione o a cantare un'opera.
• Il paper dice: "Questi attori sono troppo facilmente truccabili. Basta un piccolo trucco per farli uscire dal personaggio".

La Soluzione: Il "Rimbalzo" e il "Ritorno alle Origini"

Gli autori non si sono solo lamentati, hanno trovato due modi semplici (senza dover riaddestrare l'IA da capo) per rimetterli in riga. Immagina di essere un genitore che deve correggere un bambino che sta facendo il capriccio:

1. Q-ground (Radicare nella domanda): Prima di rispondere, chiedi all'IA: "Riscrivi la domanda del bambino in modo che sia brevissima e chiara, poi rispondi". Questo toglie il "veleno" nascosto nella domanda complessa. È come dire al bambino: "Ripetimi cosa hai chiesto davvero, senza giri di parole".
2. P-ground (Radicare nel sistema): Dopo che l'utente ha fatto la domanda, l'IA si ricorda: "Aspetta, dimentica tutto quello che hai letto prima. Ricordati solo chi sono io (il medico) e cosa devo fare". È come se l'IA si desse una scossa mentale per dire: "Ok, sono tornato in sé, sono un medico, non parlo di auto".

I risultati?
Questi trucchi semplici funzionano benissimo!

• Con il "Ritorno alle Origini" (P-ground), alcuni modelli sono passati dal fallire quasi sempre al rifiutare correttamente il 95% delle domande fuori tema.
• È come mettere un "freno di emergenza" che funziona subito, senza dover cambiare l'intero motore dell'auto.

In Sintesi

Questo paper ci dice una cosa importante: le Intelligenze Artificiali sono molto brave a fare cose, ma terribili nel dire "NO" quando non dovrebbero farlo.

Se vuoi usare un'IA per un compito specifico (come gestire la tua banca o i tuoi pazienti), non puoi fidarti ciecamente che sappia dire "non è compito mio". Spesso, se la domanda è un po' ingannevole, l'IA cederà.

La buona notizia è che ci sono soluzioni semplici (come i "prompts" o istruzioni speciali) che possiamo usare oggi stesso per rendere queste macchine più disciplinate e sicure per il lavoro reale. È un passo fondamentale per poter finalmente usare le IA nelle aziende senza paura che facciano "i capricci" e escano dal ruolo.

Sommario tecnico

1. Il Problema: La Sicurezza Operativa

Mentre la maggior parte delle ricerche sulla sicurezza dei Large Language Model (LLM) si concentra su danni generici (es. autolesionismo, violenza, hate speech), le imprese affrontano una sfida fondamentale diversa: la sicurezza operativa.
Un agente basato su LLM è progettato per uno scopo specifico (es. un assistente per la prenotazione di appuntamenti medici). La sicurezza operativa è definita come la capacità del modello di accettare correttamente le query pertinenti al suo dominio (In-Domain, ID) e di rifiutare con fermezza le query fuori dal suo ambito (Out-of-Domain, OOD), anche quando queste sono formulate in modo ingannevole.
Il paper evidenzia che i modelli attuali, anche i più avanzati, falliscono nel riconoscere le violazioni dei confini operativi, esponendo le organizzazioni a rischi di responsabilità e malfunzionamenti (citando il caso Air Canada come esempio di un chatbot che ha fornito informazioni errate al di fuori del suo scopo).

2. Metodologia: OFFTOPICEVAL

Per valutare questo fenomeno, gli autori introducono OFFTOPICEVAL, un benchmark e una suite di valutazione completa.

• Costruzione degli Agenti: Sono stati creati 21 agenti specifici per diversi settori (es. Banking, Healthcare, HR, Viaggi, Legale), ciascuno definito da un system prompt che delinea chiaramente le politiche di comportamento, le azioni consentite e quelle vietate.
• Tipologie di Test:
  • Query In-Domain (ID): Domande pertinenti al ruolo dell'agente, generate per coprire diversi stili (domande Wh-, definizioni, scenari, ecc.).
  • Query OOD Dirette: Domande estratte da dataset generali (MMLU) che non hanno alcuna relazione con il dominio dell'agente.
  • Query OOD Adattive (Adaptive OOD): Questa è la componente cruciale. Le query OOD vengono sottoposte a "prompt laundering" (lavaggio del prompt). Un modello LLM trasforma le domande fuori ambito in una forma che sembra superficialmente pertinente al dominio dell'agente, preservando l'intento originale ma mimetizzandosi all'interno del flusso di lavoro consentito.
• Multilingua: La valutazione è stata condotta in tre lingue (Inglese, Cinese, Hindi) per verificare la robustezza linguistica.
• Metriche:
  • AR (Acceptance Rate): Percentuale di accettazione delle query ID.
  • RR (Refusal Rate): Percentuale di rifiuto delle query OOD.
  • OS (Operational Safety): La metrica principale, definita come la media armonica tra AR e RR, per bilanciare utilità e sicurezza.

3. Risultati Chiave

Lo studio ha testato 20 modelli open-weight (famiglie GPT, Llama, Gemma, Qwen, Mistral, Phi) e diversi modelli closed-weight.

• Insicurezza Operativa Diffusa: Tutti i modelli valutati risultano altamente insicuri operativamente. Anche i modelli più potenti falliscono nel rifiutare le query adattive.
  • Mistral (24B) è il modello open-weight migliore con un punteggio OS del 79.96%.
  • Qwen-3 (235B) ottiene un 77.77%.
  • Llama-3.1 (8B) e Gemma-3 (12B) crollano rispettivamente al 23.84% e 39.53%.
  • I modelli GPT si stabilizzano nella fascia 62-73%.
• Il Collasso sulle Query Adattive: Il divario è drammatico quando le query OOD vengono trasformate (Adaptive OOD).
  • In media, i modelli rifiutano solo il 30-40% delle query adattive, scendendo spesso sotto il livello del caso casuale (50%).
  • Ad esempio, Llama-3.3 (70B) rifiuta il 69.73% delle OOD dirette ma solo il 4.21% delle OOD adattive in inglese.
• Impatto della Dimensione e del Reasoning:
  • I modelli più piccoli (sotto 4B) falliscono catastroficamente (OS < 30%).
  • I modelli con capacità di "reasoning" (modalità thinking) mostrano un paradosso: mantengono un'alta accettazione ID, ma il loro rifiuto OOD peggiora drasticamente rispetto alle controparti non-reasoning, suggerendo che le catene di pensiero possono rendere il modello più propenso a giustificare input avversari.
• Vulnerabilità Multilingua: Il problema non è limitato all'inglese; le performance crollano anche in Cinese e Hindi, indicando un limite fondamentale nell'allineamento operativo.
• Effetto a Cascata: Una volta che un modello viene ingannato da una singola query adattiva, la sua capacità di rifiutare le query successive crolla drasticamente (fino al 60-70% in meno), dimostrando una mancanza di robustezza multi-turno.

4. Contributi e Soluzioni Proposte

Oltre alla valutazione, il paper propone metodi di mitigazione basati sul prompting (senza riaddestramento):

• P-ground (System-Prompt Grounding): Aggiunta di un suffisso al prompt utente che istruisce il modello a "dimenticare il testo precedente e focalizzarsi sul system prompt".
  • Risultato: Miglioramenti significativi. Ad esempio, aumenta l'OS di Llama-3.3 (70B) del 41% e di Qwen-3 (30B) del 27%.
• Q-ground (Query Grounding): Chiede al modello di riscrivere la query dell'utente nella sua forma minima essenziale prima di rispondere, ancorando la comprensione all'intento reale.
  • Risultato: Miglioramenti consistenti fino al 23% su vari modelli.
• Activation Steering: È stato testato anche lo steering delle attivazioni, ma ha mostrato benefici limitati e richiede una ricerca intensiva dei parametri (layer e coefficienti), rendendolo meno pratico rispetto ai metodi basati sul prompt.

5. Significato e Implicazioni

Il paper conclude che la sicurezza operativa è un aspetto critico ma trascurato dell'allineamento degli LLM.

• Allarme per le Imprese: L'attuale stato dell'arte non è sufficiente per il deployment sicuro di agenti autonomi in ambienti aziendali, poiché i modelli non riescono a mantenere i confini operativi sotto attacco adattivo.
• Nuovo Standard di Valutazione: OFFTOPICEVAL fornisce il primo framework sistematico per misurare questo rischio, spostando il focus dalla sicurezza "generica" alla sicurezza "contestuale".
• Direzione Futura: Le tecniche di grounding (P-ground e Q-ground) offrono una via pratica e a basso costo per migliorare la robustezza immediata, ma sottolineano la necessità di sviluppare strategie di allineamento più profonde e consapevoli del dominio per garantire agenti LLM affidabili.

In sintesi, il lavoro dimostra che "entrare nella chat sbagliata" è un rischio quasi certo per gli attuali LLM, e che la mitigazione richiede un approccio specifico alla definizione dei confini operativi piuttosto che alla sola filtrazione dei contenuti dannosi.