Riepilogo Tecnico: KOTOX – Un Dataset Tossico Coreano per la De-oscificazione e la Detossificazione

Enunciato del Problema

Mentre i Modelli Linguistici di Grande Dimensione (LLM) vengono sempre più implementati in ambienti online, il rilevamento e la rimozione (detossificazione) dei contenuti tossici sono diventati critici. Tuttavia, la ricerca e i dataset esistenti si concentrano principalmente su testi non oscurati. Questa limitazione riduce la robustezza dei modelli quando gli utenti mascherano intenzionalmente espressioni tossiche per eludere la moderazione automatizzata.

La sfida è particolarmente acuta nella lingua coreana a causa della sua morfologia agglutinante e delle proprietà specifiche del sistema di scrittura Hangeul. Queste caratteristiche linguistiche consentono diverse variazioni a livello superficiale – come spostamenti fonologici, sostituzioni visive e perturbazioni degli spazi – che preservano l'intento tossico originale alterando al contempo l'aspetto del testo. Gli approcci attuali all'oscuramento si basano spesso su tecniche semplici (ad esempio, sostituzione con omofoni o inserimento di emoji) e mancano di tassonomie linguisticamente fondate specifiche per il coreano. Inoltre, le risorse esistenti non forniscono contenuti neutri e tossici allineati congiuntamente con le loro varianti oscurate corrispondenti, ostacolando esperimenti unificati sia per la de-oscificazione che per la detossificazione.

Metodologia

1. Costruzione delle Regole di Oscuramento

Gli autori hanno costruito una tassonomia linguisticamente fondata di pattern di oscuramento coreani basata su istanze reali raccolte da piattaforme online (ad esempio, Agoda, Google Maps). Hanno definito cinque categorie di regole di trasformazione:

• Fonologica: Modifica il testo preservando la pronuncia (ad esempio, sostituzione di consonanti/vocali con unità foneticamente simili, risillabazione, liaison).
• Iconologica: Genera oscuramento attraverso la similarità visiva, sostituendo i caratteri con simboli, numeri o script analoghi visivamente (ad esempio, da Hangeul a caratteri CJK o latini, rotazione dei glifi).
• Trascrizione: Trasformazioni tra script diversi che preservano la pronuncia o il significato. Ciò include la sostituzione di espressioni coreane con script stranieri foneticamente equivalenti (latino/CJK) o la traduzione di parole in lingue straniere e la loro riscrittura in Hangeul.
• Sintattica: Perturba la struttura della frase piuttosto che le forme dei caratteri, specificamente attraverso variazioni di spaziatura e riordinamento a livello di sillaba (anagrammi).
• Pragmatica: Inserisce simboli o emoji per alterare il tono percepito e distrarre l'interpretazione automatica senza cambiare il contenuto semantico.

2. Costruzione del Dataset (KOTOX)

Gli autori hanno introdotto KOTOX, il primo dataset di alta qualità a coppie per testi tossici oscurati in coreano. La pipeline di costruzione ha coinvolto:

• Dati Sorgente: Utilizzo del dataset K/DA (coppie neutro-tossico in coreano) come fondamento.
• Filtraggio: Un rigoroso processo di filtraggio manuale da parte di esperti di linguistica coreana ha ridotto 7.555 coppie a 2.294 coppie di alta qualità, affrontando problemi come etichettatura errata, incoerenza semantica e informazioni di identificazione personale (PII).
• Trasformazione: Applicazione delle regole di trasformazione definite per generare controparti oscurate. Per ogni coppia sorgente $(x_n, x_t)$, il dataset fornisce una tupla allineata a quattro vie $(x_n, x_t, \tilde{x}_n, \tilde{x}_t)$, dove $\tilde{x}$ indica la versione oscurata.
• Aumento: Il processo genera tre coppie aumentate per sorgente applicando $k \in \{2, 3, 4\}$ categorie di trasformazione, creando livelli di difficoltà "Facile", "Normale" e "Difficile".
• Validazione: Un meccanismo di controllo di sanità assicura che il testo generato mantenga leggibilità e coerenza semantica, scartando trasformazioni non valide.

Il dataset finale contiene 6.882 campioni (5.505 per l'addestramento, 687 per la validazione, 690 per il test) suddivisi in coppie neutro-tossico e nelle loro varianti oscurate.

3. Compiti di Valutazione

Il documento definisce tre compiti di valutazione per testare la robustezza del modello:

1. Classificazione del Testo Tossico Oscurato: Classificare se un testo oscurato è tossico.
2. De-oscificazione del Testo Neutro: Recuperare il testo neutro originale da un input neutro oscurato.
3. Sanificazione del Testo Tossico Oscurato: Generare una versione de-oscificata e non tossica da un input tossico oscurato (combinando de-oscificazione e detossificazione).

Gli esperimenti sono stati condotti utilizzando più classificatori di tossicità (HateBERT, offensiveRoBERTa, toxicity-xlmr-v2) e LLM istruiti (Qwen2.5, EXAONE 3.5, Bllossom, GPT-4.1) in configurazioni zero-shot, few-shot e con fine-tuning supervisionato (SFT).

Risultati Chiave

Robustezza della Classificazione

• Vulnerabilità di Base: I modelli addestrati su dati originali (non oscurati) hanno mostrato un significativo degrado delle prestazioni quando valutati su testo oscurato. Ad esempio, il punteggio F1 del modello XLM-R è sceso da 95,06 (su dati originali) a 53,66 (su dati oscurati).
• Efficacia di KOTOX: I modelli fine-tuned su KOTOX hanno dimostrato miglioramenti coerenti. L'SFT su KOTOX ha raggiunto le prestazioni più elevate nelle impostazioni oscurate per HateBERT (71,65 F1) e XLM-R (89,57 F1).
• Generalizzazione: L'addestramento su KOTOX ha migliorato le prestazioni anche su input non oscurati, suggerendo che l'apprendimento dei pattern di oscuramento potenzia la robustezza generale. I piccoli modelli basati su encoder fine-tuned su KOTOX hanno raggiunto o superato le prestazioni di GPT-4.1 in configurazioni zero-shot.

De-oscificazione e Sanificazione

• Limitazioni Zero/Few-Shot: Gli LLM pre-addestrati hanno mostrato capacità limitate nel de-oscificare o sanificare testi oscurati in configurazioni zero-shot e five-shot. Sebbene il prompting five-shot abbia migliorato leggermente le metriche, i modelli spesso non sono riusciti a mitigare i contenuti tossici mentre recuperavano la forma del testo.
• Successo del Fine-Tuning: Il fine-tuning supervisionato su KOTOX ha prodotto i migliori risultati sia per la de-oscificazione che per la sanificazione. I modelli fine-tuned hanno mostrato guadagni significativi nel recupero semantico (BERTScore) e nel recupero a livello superficiale (chrF).
• Sfida della Sanificazione: Il compito di sanificazione si è rivelato il più difficile; i modelli hanno spesso avuto successo nella de-oscificazione ma hanno mantenuto il significato tossico nelle configurazioni few-shot. L'SFT è stato essenziale per generare output non tossici.

Analisi delle Regole

• Tassi di Errore: Le trasformazioni fonologiche sono state le più facili per i modelli da gestire (tasso di errore più basso: 0,27). Le trasformazioni sintattiche e pragmatiche hanno prodotto i tassi di errore più alti (0,35 e 0,36), indicando che le perturbazioni strutturali e le interruzioni dei segnali a livello di discorso sono più impegnative per i modelli attuali rispetto alle variazioni a livello superficiale.
• Umano vs Modello: I valutatori umani hanno ottenuto punteggi di de-oscificazione significativamente più alti (BERTScore ~95,64) rispetto a Qwen2.5 fine-tuned (77,90), confermando che, sebbene le regole preservino l'interpretabilità umana, rimangono difficili per gli attuali LLM.

Significato e Affermazioni

Gli autori affermano che KOTOX è il primo dataset a supportare simultaneamente de-oscificazione e detossificazione per la lingua coreana, fornendo coppie neutre, tossiche e le loro controparti oscurate.

• Fondamento Linguistico: A differenza di lavori precedenti basati su perturbazioni semplici, KOTOX è costruito su una tassonomia derivata dalle proprietà specifiche agglutinanti e ortografiche del coreano e dell'Hangeul.
• Robustezza: Il dataset consente l'addestramento di modelli robusti ai contenuti tossici oscurati senza sacrificare le prestazioni su input puliti.
• Disponibilità della Risorsa: Gli autori forniscono il pacchetto di trasformazione per l'oscuramento come strumento open-source, facilitando la generazione riproducibile di testo oscurato per ricerche future.
• Limitazioni: Lo studio è esplicitamente limitato alla lingua coreana e all'Hangeul. Gli autori riconoscono che le regole specifiche potrebbero non generalizzarsi direttamente ad altri contesti linguistici, sebbene il quadro possa essere esteso.

In conclusione, il documento dimostra che gli attuali LLM sono altamente vulnerabili ai pattern di oscuramento specifici del coreano e che l'addestramento su dataset accoppiati di testi oscurati, fondati linguisticamente, è essenziale per costruire tecnologie linguistiche più sicure e robuste per gli ambienti online coreani.