Exploring the Capability Boundaries of LLMs in Mastering of Chinese Chouxiang Language

1. O Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham alcançado sucesso notável em tarefas linguísticas gerais, seu desempenho em Língua Chouxiang (ou "Linguagem Abstrata"), uma variante subcultural distintiva da internet chinesa, permanece pouco explorado.

• Contexto: A Língua Chouxiang evoluiu de um mecanismo para evadir censura e expressar sentimentos negativos (por volta de 2015) para um código subcultural neutro e altamente simbólico, amplamente utilizado pela juventude chinesa.
• Complexidade: Ela transforma sentenças padrão em expressões que misturam texto, emojis e elementos metafóricos através de substituições homofônicas, analogias visuais e traduções semânticas literais.
• Lacuna na Pesquisa: A maioria dos estudos de NLP foca em detectar toxicidade ou linguagem perturbada, ignorando as funções neutras e positivas dessa linguagem. Além disso, os benchmarks existentes tendem a ser centrados no Ocidente, falhando em capturar nuances de subculturas não ocidentais complexas.

2. Metodologia

Os autores introduzem o Mouse, um benchmark especializado projetado para avaliar a proficiência dos LLMs na Língua Chouxiang.

A. Taxonomia e Definição

A linguagem foi formalizada em duas dimensões principais:

1. Componentes Representacionais:
   • Homofônico: Substituição baseada em som (caracteres, números, emojis, pinyin).
   • Visual: Analogia baseada na forma (decomposição de radicais, metáforas visuais de emojis, transformação geométrica).
   • Semântico: Mapeamento de significado (literalismo simbólico, empréstimo dialetal).
2. Intenções: Classificação pragmática em 8 categorias (ex: comentário, expressão emocional, identidade de grupo, humor, referência sexualizada, etc.).

B. O Dataset (Mouse)

• Estrutura: Composto por 1.099 instâncias de avaliação (CXEI - Chouxiang Language Evaluation Instance).
• Fonte: Coleta da web (Baidu Tieba, Bilibili, Weibo) e construção manual por falantes nativos proficientes na cultura.
• Anotação: Realizada por 18 anotadores com validação cruzada (votação majoritária) e revisão de qualidade por especialistas da comunidade.

C. Tarefas de Avaliação

O benchmark avalia os modelos em seis tarefas distintas:

1. Tradução (TR): Converter Chouxiang para Chinês Padrão.
2. Classificação de Componente Representacional (RC): Identificar se o texto contém elementos homofônicos, visuais ou semânticos.
3. Reconhecimento de Intenção (IR): Classificar a intenção pragmática do texto.
4. Detecção de Toxicidade (TD): Identificar discurso malicioso disfarçado.
5. Seleção de Significado (MS): Escolher o significado correto entre múltiplas opções.
6. Completamento de Cloze (CC): Selecionar a opção mais contextualmente adequada em um diálogo.

D. Configuração Experimental

• Modelos Testados: 14 LLMs, incluindo famílias Qwen (0.6B a 32B, e Qwen-Max), Mistral (3B a 14B), DeepSeek-V3.2, GPT-5.2 e Doubao-Seed-1.8.
• Métricas: Precisão, F1 Macro, Balanced Accuracy, MCC (para detectar alucinações) e QWK (para concordância humano-LLM).
• Avaliação de Tradução: Utilização de um "LLM-as-a-Judge" (DeepSeek-V3.2) com filtros anti-trapaça, validado contra anotações humanas.

3. Principais Contribuições

1. Formalização da Subcultura: Introduz a Língua Chouxiang à comunidade de NLP, definindo sua taxonomia de componentes e intenções.
2. Benchmark Mouse: O primeiro conjunto de dados e avaliação específico para esta linguagem, cobrindo seis tarefas NLP.
3. Análise Experimental Abrangente: Avaliação extensiva de modelos SOTA (State-of-the-Art) e análise dos fatores que limitam seu desempenho (ex: viés de pesquisa em toxicidade, falta de contexto cultural).

4. Resultados Chave

• Limitações Gerais: Os LLMs atuais (SOTA) apresentam limitações claras em múltiplas tarefas, especialmente naquelas que exigem compreensão profunda da lógica de transformação linguística.
• Desempenho por Tarefa:
  • Alto Desempenho: Tarefas de Seleção de Significado e Detecção de Toxicidade (devido ao viés histórico de pesquisa em toxicidade, os modelos são mais sensíveis a sinais agressivos).
  • Baixo Desempenho: Classificação de Componentes e Tradução. Os modelos têm dificuldade em decifrar a lógica de substituição homofônica e visual.
• Efeito de Escala Inesperado: Em alguns casos (família Qwen), o aumento de parâmetros (de 14B para 32B) resultou em queda de desempenho, sugerindo um efeito de "superpensamento" (overthinking) ou alucinação em modelos maiores, onde modelos menores (14B) performaram melhor por serem menos propensos a raciocínios desnecessários.
• Alucinações: Modelos menores e de código aberto mostraram valores de MCC (Coeficiente de Correlação de Matthews) próximos a zero ou negativos em tarefas complexas, indicando que suas previsões são essencialmente aleatórias ou sistemicamente erradas.
• Viés Cultural: A detecção de toxicidade é significativamente mais fácil para os modelos do que a identificação de componentes linguísticos, refletindo um viés de treinamento focado em segurança em detrimento da compreensão cultural.

5. Significado e Impacto

• Ponte Cultural: O estudo destaca a necessidade de benchmarks que vão além dos valores ocidentais, explorando subculturas não ocidentais complexas.
• Compreensão de Subculturas: Demonstra que a Língua Chouxiang não é apenas "toxicidade disfarçada", mas um sistema linguístico rico com funções sociais, humorísticas e identitárias que os modelos atuais não conseguem capturar plenamente.
• Direção Futura: Aponta para a necessidade de desenvolver metodologias que melhorem a capacidade dos modelos de entender contextos culturais específicos e a dinâmica das linguagens da internet em evolução, em vez de focar apenas na detecção de conteúdo nocivo.

Em resumo, o paper Mouse revela que, embora os LLMs sejam poderosos, eles ainda falham em compreender a profundidade e a nuance das subculturas linguísticas chinesas, especialmente quando a comunicação depende de códigos complexos de homofonia e simbolismo visual.