Resumo Técnico: KOTOX – Um Conjunto de Dados Tóxicos Coreano para Desofuscação e Desintoxicação

Declaração do Problema

À medida que os Modelos de Linguagem de Grande Escala (LLMs) são cada vez mais implantados em ambientes online, a detecção e remoção (desintoxicação) de conteúdo tóxico tornaram-se críticas. No entanto, pesquisas e conjuntos de dados existentes focam principalmente em texto não ofuscado. Essa limitação reduz a robustez dos modelos quando usuários disfarçam intencionalmente expressões tóxicas para evadir a moderação automatizada.

O desafio é particularmente agudo na língua coreana devido à sua morfologia aglutinante e às propriedades específicas do sistema de escrita Hangeul. Essas características linguísticas permitem diversas variações de nível superficial — como deslocamentos fonológicos, substituições visuais e perturbações de espaçamento — que preservam a intenção tóxica original enquanto alteram a aparência do texto. Abordagens atuais de ofuscação frequentemente dependem de técnicas simples (por exemplo, substituição por homófonos ou inserção de emojis) e carecem de taxonomias fundamentadas linguisticamente, específicas para o coreano. Além disso, recursos existentes não fornecem conteúdo neutro e tóxico alinhados conjuntamente com suas respectivas variantes ofuscadas, dificultando experimentos unificados tanto para desofuscação quanto para desintoxicação.

Metodologia

1. Construção de Regras de Ofuscação

Os autores construíram uma taxonomia fundamentada linguisticamente de padrões de ofuscação coreana baseada em instâncias do mundo real coletadas de plataformas online (por exemplo, Agoda, Google Maps). Eles definiram cinco categorias de regras de transformação:

• Fonológica: Modifica o texto preservando a pronúncia (por exemplo, substituindo consoantes/vogais por unidades foneticamente similares, ressilabificação, liaison).
• Iconológica: Gera ofuscação através de similaridade visual, substituindo caracteres por símbolos, números ou scripts visualmente análogos (por exemplo, Hangeul para caracteres CJK ou latinos, rotação de glifos).
• Transliteração: Transformações entre scripts que preservam a pronúncia ou o significado. Isso inclui substituir expressões coreanas por scripts estrangeiros foneticamente equivalentes (latino/CJK) ou traduzir palavras para línguas estrangeiras e retranscrevê-las em Hangeul.
• Sintática: Perturba a estrutura da frase em vez das formas dos caracteres, especificamente através de variações de espaçamento e reordenação ao nível de sílabas (anagramas).
• Pragmática: Insere símbolos ou emojis para alterar o tom percebido e distrair a interpretação automática sem alterar o conteúdo semântico.

2. Construção do Conjunto de Dados (KOTOX)

Os autores introduziram o KOTOX, o primeiro conjunto de dados emparelhado de alta qualidade para texto tóxico ofuscado em coreano. O pipeline de construção envolveu:

• Dados de Origem: Utilização do conjunto de dados K/DA (pares neutro-tóxico em coreano) como base.
• Filtragem: Um processo rigoroso de filtragem manual por especialistas em linguística coreana reduziu 7.555 pares para 2.294 pares de alta qualidade, abordando questões como rotulagem incorreta, má formação semântica e informações de identificação pessoal (PII).
• Transformação: Aplicação das regras de transformação definidas para gerar contrapartes ofuscadas. Para cada par de origem $(x_n, x_t)$, o conjunto de dados fornece uma tupla alinhada de quatro vias $(x_n, x_t, \tilde{x}_n, \tilde{x}_t)$, onde $\tilde{x}$ denota a versão ofuscada.
• Aumento: O processo gera três pares aumentados por fonte aplicando $k \in \{2, 3, 4\}$ categorias de transformação, criando níveis de dificuldade "Fácil", "Normal" e "Difícil".
• Validação: Um mecanismo de verificação de sanidade garante que o texto gerado mantenha legibilidade e consistência semântica, descartando transformações inválidas.

O conjunto de dados final contém 6.882 amostras (5.505 para treinamento, 687 para validação, 690 para teste) divididas em neutro-tóxico e suas variantes ofuscadas.

3. Tarefas de Avaliação

O artigo define três tarefas de avaliação para testar a robustez do modelo:

1. Classificação de Texto Tóxico Ofuscado: Classificar se um texto ofuscado é tóxico.
2. Desofuscação de Texto Neutro: Recuperar o texto neutro original a partir de uma entrada neutra ofuscada.
3. Sanitização de Texto Tóxico Ofuscado: Gerar uma versão desofuscada e não tóxica a partir de uma entrada tóxica ofuscada (combinando desofuscação e desintoxicação).

Experimentos foram conduzidos usando múltiplos classificadores de toxicidade (HateBERT, offensiveRoBERTa, toxicity-xlmr-v2) e LLMs ajustados por instrução (Qwen2.5, EXAONE 3.5, Bllossom, GPT-4.1) em configurações zero-shot, few-shot e ajuste fino supervisionado (SFT).

Principais Resultados

Robustez na Classificação

• Vulnerabilidade da Linha de Base: Modelos treinados em dados originais (não ofuscados) mostraram degradação significativa de desempenho ao serem avaliados em texto ofuscado. Por exemplo, a pontuação F1 do modelo XLM-R caiu de 95,06 (em dados originais) para 53,66 (em dados ofuscados).
• Eficácia do KOTOX: Modelos ajustados finamente no KOTOX demonstraram melhorias consistentes. O SFT no KOTOX alcançou o melhor desempenho em configurações ofuscadas para HateBERT (71,65 F1) e XLM-R (89,57 F1).
• Generalização: O treinamento no KOTOX melhorou o desempenho em entradas não ofuscadas também, sugerindo que aprender padrões de ofuscação aumenta a robustez geral. Pequenos modelos baseados em codificadores ajustados finamente no KOTOX aproximaram-se ou superaram o desempenho do GPT-4.1 em configurações zero-shot.

Desofuscação e Sanitização

• Limitações Zero/Few-Shot: LLMs pré-treinados mostraram capacidade limitada de desofuscar ou sanitizar texto ofuscado em configurações zero-shot e five-shot. Embora o prompting five-shot tenha melhorado ligeiramente as métricas, os modelos frequentemente falharam em mitigar o conteúdo tóxico enquanto recuperavam a forma do texto.
• Sucesso do Ajuste Fino: O ajuste fino supervisionado no KOTOX produziu os melhores resultados tanto para desofuscação quanto para sanitização. Modelos ajustados finamente mostraram ganhos significativos na reconstrução semântica (BERTScore) e na recuperação de nível superficial (chrF).
• Desafio da Sanitização: A tarefa de sanitização provou ser a mais difícil; os modelos frequentemente conseguiram a desofuscação, mas mantiveram o significado tóxico em configurações few-shot. O SFT foi essencial para gerar saídas não tóxicas.

Análise de Regras

• Taxas de Erro: Transformações fonológicas foram as mais fáceis para os modelos lidarem (menor taxa de erro: 0,27). Transformações sintáticas e pragmáticas produziram as maiores taxas de erro (0,35 e 0,36), indicando que perturbações estruturais e interrupções de sinais em nível de discurso são mais desafiadoras para os modelos atuais do que variações de nível superficial.
• Humano vs. Modelo: Avaliadores humanos alcançaram pontuações de desofuscação significativamente mais altas (BERTScore ~95,64) em comparação com o Qwen2.5 ajustado finamente (77,90), confirmando que, embora as regras preservem a interpretabilidade humana, elas permanecem difíceis para os LLMs atuais.

Significado e Alegações

Os autores afirmam que o KOTOX é o primeiro conjunto de dados a suportar simultaneamente desofuscação e desintoxicação para a língua coreana, fornecendo pares neutros, tóxicos e suas respectivas contrapartes ofuscadas.

• Fundamentação Linguística: Diferentemente de trabalhos anteriores que dependem de perturbação simples, o KOTOX é construído sobre uma taxonomia derivada das propriedades aglutinantes e ortográficas específicas do coreano e do Hangeul.
• Robustez: O conjunto de dados permite o treinamento de modelos que são robustos a conteúdo tóxico ofuscado sem sacrificar o desempenho em entradas limpas.
• Disponibilidade de Recursos: Os autores fornecem o pacote de transformação de ofuscação como uma ferramenta de código aberto, facilitando a geração reproduzível de texto ofuscado para pesquisas futuras.
• Limitações: O estudo é explicitamente limitado à língua coreana e ao Hangeul. Os autores reconhecem que as regras específicas podem não se generalizar diretamente para outros contextos linguísticos, embora o framework possa ser estendido.

Em conclusão, o artigo demonstra que os LLMs atuais são altamente vulneráveis a padrões de ofuscação específicos do coreano e que o treinamento em conjuntos de dados emparelhados ofuscados e fundamentados linguisticamente é essencial para construir tecnologias de linguagem mais seguras e robustas para ambientes online coreanos.