Resumen Técnico: KOTOX – Un Conjunto de Datos Tóxicos Coreano para la Desofuscación y la Desintoxicación

Enunciado del Problema

A medida que los Modelos de Lenguaje Grande (LLM) se implementan cada vez más en entornos en línea, la detección y eliminación (desintoxicación) de contenido tóxico se han vuelto críticas. Sin embargo, la investigación y los conjuntos de datos existentes se centran principalmente en texto no ofuscado. Esta limitación reduce la robustez de los modelos cuando los usuarios disfrazan intencionalmente expresiones tóxicas para evadir la moderación automatizada.

El desafío es particularmente agudo en el idioma coreano debido a su morfología aglutinante y a las propiedades específicas del sistema de escritura Hangeul. Estas características lingüísticas permiten diversas variaciones a nivel superficial, como cambios fonológicos, sustituciones visuales y perturbaciones de espaciado, que preservan la intención tóxica original mientras alteran la apariencia del texto. Los enfoques actuales de ofuscación a menudo dependen de técnicas simples (por ejemplo, sustitución de homófonos o inserción de emojis) y carecen de taxonomías fundamentadas lingüísticamente específicas para el coreano. Además, los recursos existentes no proporcionan contenido neutral y tóxico alineado conjuntamente con sus variantes ofuscadas correspondientes, lo que dificulta la experimentación unificada tanto para la desofuscación como para la desintoxicación.

Metodología

1. Construcción de Reglas de Ofuscación

Los autores construyeron una taxonomía fundamentada lingüísticamente de patrones de ofuscación coreana basada en instancias del mundo real recopiladas de plataformas en línea (por ejemplo, Agoda, Google Maps). Definieron cinco categorías de reglas de transformación:

• Fonológica: Modifica el texto preservando la pronunciación (por ejemplo, reemplazar consonantes/vocales con unidades fonéticamente similares, resilabificación, enlace).
• Iconológica: Genera ofuscación a través de la similitud visual, sustituyendo caracteres por símbolos, números o scripts visualmente análogos (por ejemplo, de Hangeul a caracteres CJK o latinos, rotación de glifos).
• Transliteración: Transformaciones entre scripts que preservan la pronunciación o el significado. Esto incluye sustituir expresiones coreanas por scripts extranjeros fonéticamente equivalentes (latino/CJK) o traducir palabras a idiomas extranjeros y retranscribirlas en Hangeul.
• Sintáctica: Perturba la estructura de la oración en lugar de las formas de los caracteres, específicamente a través de variaciones de espaciado y reordenamiento a nivel de sílaba (anagramas).
• Pragmática: Inserta símbolos o emojis para alterar el tono percibido y distraer la interpretación automática sin cambiar el contenido semántico.

2. Construcción del Conjunto de Datos (KOTOX)

Los autores introdujeron KOTOX, el primer conjunto de datos emparejado de alta calidad para texto tóxico ofuscado en coreano. El proceso de construcción implicó:

• Datos de Origen: Utilizar el conjunto de datos K/DA (pares neutral-tóxico en coreano) como base.
• Filtrado: Un proceso riguroso de filtrado manual por expertos en lingüística coreana redujo 7.555 pares a 2.294 pares de alta calidad, abordando problemas como etiquetado incorrecto, falta de corrección semántica e información de identificación personal (PII).
• Transformación: Aplicar las reglas de transformación definidas para generar contrapartes ofuscadas. Para cada par de origen $(x_n, x_t)$, el conjunto de datos proporciona una tupla alineada de cuatro vías $(x_n, x_t, \tilde{x}_n, \tilde{x}_t)$, donde $\tilde{x}$ denota la versión ofuscada.
• Aumento: El proceso genera tres pares aumentados por fuente aplicando $k \in \{2, 3, 4\}$ categorías de transformación, creando niveles de dificultad "Fácil", "Normal" y "Difícil".
• Validación: Un mecanismo de verificación de coherencia asegura que el texto generado mantenga la legibilidad y la consistencia semántica, descartando transformaciones inválidas.

El conjunto de datos final contiene 6.882 muestras (5.505 de entrenamiento, 687 de validación, 690 de prueba) divididas en neutral-tóxico y sus variantes ofuscadas.

3. Tareas de Evaluación

El artículo define tres tareas de evaluación para probar la robustez del modelo:

1. Clasificación de Texto Tóxico Ofuscado: Clasificar si un texto ofuscado es tóxico.
2. Desofuscación de Texto Neutral: Recuperar el texto neutral original a partir de una entrada neutral ofuscada.
3. Desintoxicación de Texto Tóxico Ofuscado: Generar una versión desofuscada y no tóxica a partir de una entrada tóxica ofuscada (combinando desofuscación y desintoxicación).

Se realizaron experimentos utilizando múltiples clasificadores de toxicidad (HateBERT, offensiveRoBERTa, toxicity-xlmr-v2) y LLMs ajustados por instrucciones (Qwen2.5, EXAONE 3.5, Bllossom, GPT-4.1) en configuraciones de cero ejemplos (zero-shot), pocos ejemplos (few-shot) y ajuste fino supervisado (SFT).

Resultados Clave

Robustez en la Clasificación

• Vulnerabilidad de la Línea Base: Los modelos entrenados con datos originales (no ofuscados) mostraron una degradación significativa del rendimiento al evaluar texto ofuscado. Por ejemplo, la puntuación F1 del modelo XLM-R bajó de 95.06 (en datos originales) a 53.66 (en datos ofuscados).
• Eficacia de KOTOX: Los modelos ajustados finamente en KOTOX demostraron mejoras consistentes. El SFT en KOTOX logró el mejor rendimiento en configuraciones ofuscadas para HateBERT (71.65 F1) y XLM-R (89.57 F1).
• Generalización: El entrenamiento en KOTOX mejoró el rendimiento en entradas no ofuscadas también, lo que sugiere que aprender patrones de ofuscación mejora la robustez general. Los pequeños modelos basados en codificadores ajustados finamente en KOTOX se acercaron o superaron el rendimiento de GPT-4.1 en configuraciones de cero ejemplos.

Desofuscación y Desintoxicación

• Limitaciones de Cero/Pocos Ejemplos: Los LLMs preentrenados mostraron capacidad limitada para desofuscar o desintoxicar texto ofuscado en configuraciones de cero y cinco ejemplos. Aunque la indicación de cinco ejemplos mejoró ligeramente las métricas, los modelos a menudo fallaron en mitigar el contenido tóxico mientras recuperaban la forma del texto.
• Éxito del Ajuste Fino: El ajuste fino supervisado en KOTOX produjo los mejores resultados tanto para la desofuscación como para la desintoxicación. Los modelos ajustados mostraron ganancias significativas en la reconstrucción semántica (BERTScore) y la recuperación a nivel superficial (chrF).
• Desafío de Desintoxicación: La tarea de desintoxicación resultó ser la más difícil; los modelos a menudo tuvieron éxito en la desofuscación pero mantuvieron el significado tóxico en configuraciones de pocos ejemplos. El SFT fue esencial para generar salidas no tóxicas.

Análisis de Reglas

• Tasas de Error: Las transformaciones fonológicas fueron las más fáciles para los modelos de manejar (tasa de error más baja: 0.27). Las transformaciones sintácticas y pragmáticas arrojaron las tasas de error más altas (0.35 y 0.36), lo que indica que las perturbaciones estructurales y las interrupciones de señales a nivel de discurso son más desafiantes para los modelos actuales que las variaciones superficiales.
• Humano vs. Modelo: Los evaluadores humanos lograron puntuaciones de desofuscación significativamente más altas (BERTScore ~95.64) en comparación con Qwen2.5 ajustado finamente (77.90), confirmando que, aunque las reglas preservan la interpretabilidad humana, siguen siendo difíciles para los LLMs actuales.

Significado y Afirmaciones

Los autores afirman que KOTOX es el primer conjunto de datos que respalda simultáneamente la desofuscación y la desintoxicación para el idioma coreano, proporcionando pares neutral, tóxico y sus contrapartes ofuscadas.

• Fundamentación Lingüística: A diferencia de trabajos anteriores que dependen de perturbaciones simples, KOTOX se basa en una taxonomía derivada de las propiedades aglutinantes y ortográficas específicas del coreano y el Hangeul.
• Robustez: El conjunto de datos permite el entrenamiento de modelos que son robustos ante contenido tóxico ofuscado sin sacrificar el rendimiento en entradas limpias.
• Disponibilidad de Recursos: Los autores proporcionan el paquete de transformación de ofuscación como una herramienta de código abierto, facilitando la generación reproducible de texto ofuscado para futuras investigaciones.
• Limitaciones: El estudio está explícitamente limitado al idioma coreano y al Hangeul. Los autores reconocen que las reglas específicas pueden no generalizarse directamente a otros contextos lingüísticos, aunque el marco podría extenderse.

En conclusión, el artículo demuestra que los LLMs actuales son altamente vulnerables a patrones de ofuscación específicos del coreano y que el entrenamiento en conjuntos de datos emparejados de ofuscación fundamentados lingüísticamente es esencial para construir tecnologías lingüísticas más seguras y robustas para los entornos en línea coreanos.