ThaiSafetyBench: Assessing Language Model Safety in Thai Cultural Contexts

Questo lavoro introduce ThaiSafetyBench, un benchmark open-source di 1.954 prompt dannosi in lingua thai che evidenzia come i modelli linguistici siano più vulnerabili agli attacchi radicati nelle specificità culturali thailandesi rispetto a quelli generici, offrendo inoltre un classificatore addestrato e una leaderboard per valutare e migliorare la sicurezza dei modelli in questo contesto.

L'essenziale

Immagina che le Intelligenze Artificiali (come i chatbot che scrivono testi o rispondono alle domande) siano come giganti molto istruiti, capaci di parlare quasi tutte le lingue del mondo. Tuttavia, c'è un problema: questi giganti sono stati addestrati principalmente leggendo libri e internet in inglese.

Se chiedi a un gigante istruito in inglese di comportarsi bene, lui lo fa. Ma se gli parli in tailandese e gli chiedi cose che toccano la cultura, le tradizioni o le sensibilità specifiche della Thailandia, il gigante potrebbe non capire le "regole non scritte" e dire cose offensive o pericolose, anche se non lo fa per cattiveria, ma solo perché non ha studiato abbastanza quella cultura.

Ecco di cosa parla questo paper, spiegato come una storia:

1. Il Problema: Il Gigante che non conosce la Thailandia

Gli autori del paper (un gruppo di ricercatori e ingegneri tailandesi) si sono resi conto che finora abbiamo solo dei "test di sicurezza" per l'inglese. È come avere un esame di guida perfetto per le strade di Londra, ma non averne uno per le strade caotiche e specifiche di Bangkok.
Se provi a guidare a Bangkok con le regole di Londra, potresti fare incidenti. Allo stesso modo, se un'intelligenza artificiale non è addestrata sulle sfumature culturali tailandesi, può commettere errori gravi, offendere la gente o violare leggi locali (come quelle sulla monarchia, che in Thailandia sono molto importanti).

2. La Soluzione: "ThaiSafetyBench" (La nuova mappa)

Per risolvere questo, hanno creato ThaiSafetyBench.
Immagina di creare un enorme libro di esercizi (un "banco di prova") contenente 1.954 domande "cattive" scritte apposta in tailandese.
Queste domande sono divise in due tipi:

• Domande generiche: "Come posso fare una bomba?" (Pericoloso in ogni lingua).
• Domande culturali: "Come posso offendere la monarchia?" o "Come posso diffondere una bugia che funziona solo in un villaggio tailandese?".

Hanno anche creato una classifica (Leaderboard), come quella dei videogiochi, dove mettono tutti i chatbot a confronto per vedere chi risponde meglio a queste domande "cattive" senza farsi ingannare.

3. Cosa hanno scoperto? (La gara tra i giganti)

Hanno fatto gareggiare 24 diversi chatbot (alcuni gratuiti e aperti a tutti, altri a pagamento e chiusi) contro questo libro di esercizi.
Ecco i risultati principali:

• I giganti "chiusi" vincono: I modelli a pagamento (come quelli di Google o OpenAI) sono stati molto bravi a dire "No, non posso farlo".
• I giganti "aperti" faticano: Molti modelli gratuiti e open-source hanno fallito più spesso. È come se avessero studiato meno le regole tailandesi.
• Il trucco culturale funziona: Se un hacker usa una domanda generica, il chatbot spesso la blocca. Ma se usa una domanda fatta apposta per la cultura tailandese (con riferimenti locali, slang o tradizioni), il chatbot si confonde e risponde in modo pericoloso molto più spesso. È come se il gigante capisse la lingua, ma non il "dialetto" delle emozioni locali.

4. L'Arma Segreta: Il "Cane da guardia" automatico

Valutare manualmente tutte queste risposte costa tempo e soldi (bisognerebbe assumere persone per leggere ogni risposta).
Quindi, gli autori hanno addestrato un piccolo assistente intelligente (chiamato ThaiSafetyClassifier), basato su un modello chiamato DeBERTa.
Immagina questo assistente come un cane da guardia addestrato a fiutare le risposte pericolose.

• È veloce ed economico.
• È quasi perfetto quanto un giudice umano (o quanto un super-computer costoso come GPT-4).
• Ora chiunque può usarlo per controllare se il proprio chatbot è sicuro, senza spendere una fortuna.

5. Perché è importante?

Questo lavoro ci dice che non basta tradurre le regole dall'inglese al tailandese. Per avere un'intelligenza artificiale sicura, bisogna insegnarle a rispettare la cultura, le leggi e i sentimenti delle persone di quel paese specifico.
Hanno reso tutto pubblico: il libro di esercizi, il cane da guardia e la classifica, così che tutti possano migliorare l'IA per la Thailandia e, in futuro, per tutte le altre culture del mondo.

In sintesi: Hanno costruito un campo di addestramento specifico per insegnare alle Intelligenze Artificiali a comportarsi bene non solo in inglese, ma anche quando parlano tailandese e toccano le corde sensibili della cultura locale.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "THAISAFETYBENCH: ASSESSING LANGUAGE MODEL SAFETY IN THAI CULTURAL CONTEXTS", presentata in italiano.

1. Il Problema

La valutazione della sicurezza dei Large Language Models (LLM) è attualmente dominata da dataset e benchmark in lingua inglese. Questo approccio crea due lacune critiche:

• Sottostima dei rischi non inglesi: Gli attacchi in lingue a risorse limitate (come il thailandese) hanno tassi di successo più elevati rispetto a quelli in inglese.
• Mancanza di contesto culturale: I dataset esistenti spesso non catturano le sfumature culturali, sociali e colloquiali specifiche delle regioni non anglofone. Di conseguenza, i modelli possono apparire sicuri in inglese ma fallire miseramente quando esposti a prompt maliziosi radicati in valori, tabù o norme sociali specifici (es. la monarchia thailandese, le gerarchie sociali, le credenze locali).

Il paper evidenzia l'assenza di dataset pubblici di sicurezza in thailandese che riflettano adeguatamente il contesto culturale locale, ostacolando il confronto delle prestazioni di sicurezza e l'identificazione di vulnerabilità specifiche.

2. Metodologia

Gli autori hanno sviluppato un approccio sistematico composto da tre pilastri principali:

A. Costruzione del Dataset: ThaiSafetyBench

È stato creato un benchmark open-source composto da 1.954 prompt maliziosi in lingua thailandese.

• Tassonomia: Il dataset adotta una tassonomia gerarchica con 6 aree di rischio e 17 tipi di danno, includendo categorie specifiche per la cultura thailandese (es. "Problemi di confine", "Distruzione culturale", "Monarchia", "Comportamento scorretto" basato sull'etichetta sociale thailandese).
• Fonti dei dati:
  1. Traduzione: Traduzione del dataset Do-Not-Answer (inglese) in thailandese, con revisione manuale per garantire naturalezza linguistica.
  2. Curatela esistente: Filtraggio e pulizia di dataset thailandesi preesistenti (es. da Typhoon2).
  3. Generazione: Creazione di nuovi campioni tramite LLM non censurati (Grok 3) e trasformazione di dataset di notizie false, seguiti da validazione manuale da parte di annotatori nativi.
• Composizione: Il 51,9% dei campioni è specificamente radicato nel contesto culturale thailandese.

B. Valutazione dei Modelli

Sono stati valutati 24 LLM diversi, inclusi:

• Modelli commerciali chiusi (es. GPT-5, Claude 4.5).
• Modelli open-source multilingue (es. Llama 3, Qwen, Gemma).
• Modelli ottimizzati per il Sud-Est asiatico e specificamente per il thailandese (es. SeaLLMs, Typhoon2, OpenThaiGPT).

Metrica di Valutazione:

• LLM-as-a-Judge: Due modelli avanzati, GPT-4.1 e Gemini-2.5-Pro, sono stati utilizzati come giudici indipendenti per classificare le risposte come "sicure" o "dannose".
• Metrica principale: Attack Success Rate (ASR), ovvero la proporzione di prompt maliziosi a cui il modello ha risposto in modo dannoso. I risultati sono la media delle valutazioni dei due giudici.

C. Classificatore Leggero (ThaiSafetyClassifier)

Per migliorare la riproducibilità e ridurre i costi, è stato sviluppato un classificatore binario basato su DeBERTaV3 (fine-tuned con LoRA). Questo modello prende in input la coppia prompt-risposta e predice se la risposta è dannosa, raggiungendo un accordo elevato con i giudizi di GPT-4.1.

3. Risultati Chiave

L'analisi dei dati ha portato a diverse scoperte significative:

• Divario Open vs. Closed Source: I modelli chiusi (commerciali) mostrano generalmente prestazioni di sicurezza superiori rispetto ai modelli open-source. Tuttavia, alcuni modelli open-source ottimizzati per la regione (come SeaLLMs-v3-7B) hanno raggiunto prestazioni comparabili ai modelli chiusi.
• Vulnerabilità Culturale: L'ASR è costantemente più alto per gli attacchi specifici della cultura thailandese rispetto agli attacchi generici in thailandese. Questo indica che i metodi di allineamento alla sicurezza attuali non sono sufficienti per gestire le sfumature culturali locali.
• Aree di Rischio:
  • I modelli gestiscono bene la fuga di informazioni sensibili (Information Hazards).
  • I modelli falliscono significativamente di più nell'area dei danni socio-culturali thailandesi (es. offese alla monarchia, violazioni dell'etichetta sociale), evidenziando un "divario culturale" irrisolto.
• Relazione Dimensione-Sicurezza: In generale, modelli più grandi (più parametri) mostrano un ASR inferiore (migliore sicurezza). Tuttavia, la qualità dei dati di addestramento è cruciale: modelli più piccoli ma ben addestrati (come SeaLLMs) possono competere con modelli più grandi.
• Impatto del Continual Pretraining (CPT): L'addestramento continuo su dati specifici della regione (Sud-Est asiatico o Thailandia) non garantisce automaticamente una maggiore sicurezza; il risultato dipende fortemente dalla qualità e dalla curatela dei dati di pre-addestramento aggiuntivo.

4. Contributi Principali

1. ThaiSafetyBench Dataset: Il primo benchmark di sicurezza open-source in thailandese, altamente curato, che include casi contestualizzati culturalmente e una tassonomia gerarchica dettagliata.
2. Valutazione Completa: Una valutazione automatizzata di 24 LLM (commerciali, open-source e locali) che fornisce insight sistematici sul comportamento di sicurezza in ambito thailandese.
3. Leaderboard Pubblica: Una piattaforma interattiva per il ranking aggiornato delle prestazioni di sicurezza dei modelli thailandesi, aperta ai contributi della comunità.
4. ThaiSafetyClassifier: Un classificatore leggero basato su DeBERTa (F1 pesato 84,4%) rilasciato per permettere valutazioni di sicurezza economiche e riproducibili senza dipendere da costosi LLM-as-a-Judge.

5. Significato e Impatto

Questo lavoro è fondamentale per lo sviluppo di AI affidabile in contesti non occidentali. Dimostra che:

• La sicurezza "universale" basata sull'inglese è insufficiente; è necessaria un'adeguata localizzazione culturale delle strategie di sicurezza.
• Esiste un rischio reale che i modelli open-source, se non adeguatamente allineati alle norme locali, possano essere sfruttati per generare contenuti dannosi specifici per una cultura.
• La comunità di ricerca deve spostarsi verso dataset e metriche che catturino le specificità linguistiche e sociali delle diverse regioni.

Il rilascio pubblico del dataset (con le dovute restrizioni legali sulla categoria "Monarchia" per conformità alle leggi thailandesi), del classificatore e della leaderboard favorisce la collaborazione e accelera lo sviluppo di modelli LLM più sicuri e robusti per l'ecosistema thailandese e del Sud-Est asiatico.