Exploring the Capability Boundaries of LLMs in Mastering of Chinese Chouxiang Language

Resumen Técnico: Explorando los Límites de Capacidad de los LLMs en el Dominio del "Lenguaje Chouxiang" Chino

1. Planteamiento del Problema

A pesar del éxito generalizado de los Modelos de Lenguaje Grande (LLMs) en tareas de procesamiento de lenguaje natural (PLN), su capacidad para comprender y manejar el Lenguaje Chouxiang (o "Lenguaje Abstracto") sigue siendo inexplorada.

• Contexto: El Lenguaje Chouxiang es una variante subcultural única de Internet en China, originada alrededor de 2015. Surgió inicialmente para evadir la censura y expresar sentimientos negativos, pero ha evolucionado hacia un código subcultural neutral y altamente simbólico utilizado por la juventud china.
• Complejidad: Este lenguaje transforma oraciones estándar mediante sustitución homofónica, analogías visuales (emojis, descomposición de caracteres), traducciones literales y referencias dialectales o de memes. Crea un espacio semántico no estándar que es altamente inteligible dentro de su comunidad pero opaco para los modelos entrenados principalmente en datos occidentales o lenguaje estándar.
• Brecha de Investigación: La literatura existente se centra en la detección de lenguaje tóxico o perturbado, ignorando las funciones neutrales y positivas de este lenguaje. Además, existe un sesgo occidental en los benchmarks actuales que no evalúa adecuadamente las variantes lingüísticas subculturales no occidentales.

2. Metodología

Los autores introducen Mouse, un benchmark especializado diseñado para evaluar sistemáticamente las capacidades de los LLMs en el Lenguaje Chouxiang.

• Construcción del Dataset (Mouse):

  • Contiene 1,099 instancias de evaluación (CXEI) recolectadas de redes sociales (Baidu Tieba, Bilibili, Weibo) y construidas manualmente.
  • Taxonomía Formalizada: Se define el lenguaje en dos dimensiones:
    1. Componentes Representacionales: Homofónicos (sustitución fonética), Visuales (emojis, estructura de caracteres) y Semánticos (literalismo simbólico, dialectos).
    2. Intenciones: Clasificadas en 8 categorías (Comentarios, Expresión Emocional, Declaración General, Referencia Sexualizada, Humor/Memes, Identidad de Grupo, Urgencia, Otros).
  • Cada instancia incluye el texto original, una referencia en chino estándar, componentes, intención y una etiqueta de toxicidad.

• Tareas de Evaluación (6 tareas):

  1. Traducción (TR): Decodificar el Chouxiang a chino estándar. Se evalúa con un juez LLM (LLM-as-a-Judge) basado en coherencia semántica.
  2. Clasificación de Componentes Representacionales (RC): Identificar si el texto contiene elementos homofónicos, visuales o semánticos.
  3. Reconocimiento de Intención (IR): Clasificar el propósito pragmático del mensaje.
  4. Detección de Toxicidad (TD): Distinguir entre agresión velada y humor/ironía benigna.
  5. Selección de Significado (MS): Identificar el significado correcto entre múltiples opciones.
  6. Completado de Huecos (CC): Seleccionar la opción más natural en un contexto conversacional.

• Configuración Experimental:

  • Se evaluaron 14 LLMs, incluyendo modelos de código abierto (Qwen3, Mistral) y comerciales (GPT-5.2, DeepSeek-V3.2, Doubao-Seed-1.8).
  • Se utilizaron métricas robustas: Precisión, F1 Macro, Precisión Equilibrada (Balanced Accuracy) y el Coeficiente de Correlación de Matthews (MCC) para detectar alucinaciones.

3. Contribuciones Clave

1. Formalización de una Subcultura: Presentan el Lenguaje Chouxiang a la comunidad de PLN como un fenómeno lingüístico complejo, más allá de la simple detección de toxicidad.
2. Benchmark Mouse: Crean el primer estándar de evaluación específico para este lenguaje, cubriendo seis tareas NLP y una taxonomía detallada de componentes y intenciones.
3. Análisis de Limitaciones: Proporcionan un análisis exhaustivo de por qué los LLMs de última generación (SOTA) fallan en este dominio, destacando la brecha entre el conocimiento cultural y la capacidad de razonamiento lógico-lingüístico.

4. Resultados Principales

• Rendimiento General Deficiente: Los LLMs SOTA muestran limitaciones claras en la mayoría de las tareas, especialmente en aquellas que requieren descifrar la lógica de transformación del lenguaje (Traducción, Clasificación de Componentes, Reconocimiento de Intención).
• Paradoja de la Escala: En la serie Qwen3, se observó un comportamiento contra-intuitivo donde el modelo de 32B parámetros rindió peor que el de 14B en varias tareas, sugiriendo un efecto de "sobre-pensamiento" (overthinking) que genera alucinaciones en contextos implícitos.
• Detección de Toxicidad vs. Componentes: Los modelos tienen un rendimiento significativamente mejor (aprox. 15% más alto) en la detección de toxicidad que en la identificación de componentes representacionales. Esto indica un sesgo en el entrenamiento hacia la detección de contenido dañino, ignorando la estructura lingüística subyacente.
• Alucinaciones (MCC): El análisis del Coeficiente de Correlación de Matthews (MCC) revela que los modelos pequeños y algunos grandes tienden a realizar adivinanzas aleatorias (MCC cercano a 0 o negativo) en tareas complejas, en lugar de inferir pragmáticamente.
• Evaluación Humana vs. LLM: Los humanos familiarizados con la cultura Chouxiang alcanzan una precisión del 95% en tareas de completado, superando a todos los LLMs. Los humanos no familiarizados rinden similar a los LLMs, lo que confirma que la tarea requiere conocimiento cultural específico y no solo razonamiento lógico.
• Impacto del Camuflaje: La toxicidad camuflada degrada significativamente la calidad de la traducción. La camuflaje homofónico es el factor que más afecta el rendimiento, mientras que el visual es el más difícil de descifrar para los modelos actuales.

5. Significado e Implicaciones

• Necesidad de Benchmarks Culturalmente Conscientes: El estudio demuestra que los modelos actuales tienen un sesgo occidental y carecen de la capacidad para navegar en subculturas digitales no occidentales, lo cual es crucial para la equidad en la IA.
• Más allá de la Toxicidad: Se destaca la importancia de estudiar el lenguaje de Internet no solo como un problema de seguridad (toxicidad), sino como un sistema de comunicación social complejo con funciones humorísticas, de identidad y emocionales.
• Futuro de la Investigación: Mouse proporciona una base para desarrollar sistemas de PLN más inclusivos y robustos capaces de entender la dinámica evolutiva de los lenguajes de Internet y la integración multicultural.

En conclusión, el paper establece que, aunque los LLMs son potentes en tareas generales, aún carecen de la "inteligencia cultural" necesaria para dominar variantes lingüísticas subculturales complejas como el Chouxiang, revelando una brecha significativa entre la capacidad de procesamiento de texto y la comprensión pragmática cultural.