Exploring the Capability Boundaries of LLMs in Mastering of Chinese Chouxiang Language

1. Il Problema

Nonostante il successo dei Large Language Models (LLM) in compiti linguistici generali, le loro capacità nel comprendere e generare il Linguaggio Chouxiang (o "Linguaggio Astratto") rimangono poco esplorate. Il Chouxiang è una variante linguistica subculturale cinese nata intorno al 2015, caratterizzata da un uso complesso di omofonie, sostituzioni visive (emoji, decomposizione dei caratteri), metafore semantiche e dialetti.
Il problema principale risiede nel fatto che:

• I benchmark esistenti sono prevalentemente occidentali e non catturano le sfumature delle subculture non occidentali.
• Gli studi precedenti sul linguaggio internet cinese si sono concentrati quasi esclusivamente sulla rilevazione di contenuti tossici o perturbati, trascurando le funzioni neutre, umoristiche e sociali di questo linguaggio.
• Non è chiaro se gli LLM attuali (SOTA) possiedano la capacità di decodificare la logica complessa e il contesto culturale necessario per interpretare correttamente il Chouxiang.

2. Metodologia

Per colmare questo vuoto, gli autori hanno introdotto Mouse, il primo benchmark specializzato per valutare le prestazioni degli LLM sul linguaggio Chouxiang.

A. Definizione e Tassonomia

Il linguaggio Chouxiang è formalizzato attraverso due dimensioni principali:

1. Componenti Rappresentativi:
   • Omofonico: Sostituzione di parole con suoni simili (caratteri, numeri, emoji, acronimi pinyin).
   • Visivo: Uso della struttura dei caratteri cinesi, decomposizione dei radicali, metafore visive ed emoji.
   • Semantico: Letteralismo simbolico (es. emoji che indicano oggetti reali) e prestiti dialettali.
2. Intenti Comunicativi:
   • Classificati in 8 categorie: Commenti (critiche/elogi), Espressione Emotiva, Affermazione Generale, Riferimenti Sessualizzati, Umorismo/Meme, Identità di Gruppo, Urgenza/Istruzioni, Altri.

B. Il Benchmark "Mouse"

Il dataset Mouse contiene 1.099 istanze di valutazione (CXEI - Chouxiang Language Evaluation Instance), costruite tramite raccolta web e scrittura manuale. Ogni istanza include il testo originale, una traduzione di riferimento in cinese standard, e annotazioni per i componenti e gli intenti.
Il benchmark valuta gli LLM attraverso 6 compiti NLP:

1. Traduzione (TR): Decodificare il Chouxiang in cinese standard.
2. Classificazione dei Componenti Rappresentativi (RC): Identificare la presenza di elementi omofonici, visivi o semantici.
3. Riconoscimento dell'Intento (IR): Classificare lo scopo comunicativo del testo.
4. Rilevazione della Tossicità (TD): Distinguere tra linguaggio offensivo camuffato e interazioni innocue (es. autoironia).
5. Selezione del Significato (MS): Scegliere il significato corretto tra più opzioni.
6. Completamento Cloze (CC): Completare un dialogo inserendo l'opzione più contestualmente appropriata.

C. Sperimentazione

Sono stati valutati 14 modelli LLM, inclusi modelli open-source (serie Qwen3, Mistral) e modelli commerciali chiusi (GPT-5.2, DeepSeek-V3.2, Doubao-Seed-1.8).

• Metriche: Accuratezza, F1 Macro, Balanced Accuracy e MCC (Matthews Correlation Coefficient) per evitare bias nelle classi sbilanciate.
• Valutazione della Traduzione: Utilizzo di un approccio LLM-as-a-Judge (con DeepSeek-V3.2 come giudice) per valutare la coerenza semantica rispetto alle referenze umane, con validazione tramite Kappa Pesato Quadratico (QWK).

3. Risultati Chiave

Gli esperimenti rivelano limiti significativi degli LLM attuali nel dominio Chouxiang:

• Prestazioni Generali Basse: Gli LLM SOTA mostrano difficoltà marcate nei compiti che richiedono una comprensione profonda della trasformazione linguistica (Traduzione, Classificazione dei Componenti, Riconoscimento dell'Intento).
• Disparità nei Compiti:
  • Le prestazioni sono eccellenti nella Selezione del Significato (MS), suggerendo una buona comprensione contestuale di base.
  • La Rilevazione della Tossicità (TD) performa meglio della Classificazione dei Componenti (RC) di circa il 15%. Questo indica che i modelli sono stati addestrati a riconoscere pattern tossici (spesso oggetto di studi precedenti) ma falliscono nel comprendere la logica strutturale del linguaggio.
• Effetto della Scala: Sebbene l'aumento dei parametri generalmente migliori le prestazioni, si osserva un comportamento controintuitivo: il modello Qwen3-32B performa peggio del Qwen3-14B in molti compiti. L'analisi qualitativa suggerisce che il modello più grande tende a un "overthinking" (ragionamento eccessivo) che porta a allucinazioni, mentre il modello più piccolo, con meno ragionamento superfluo, commette meno errori.
• Allucinazioni: L'analisi del coefficiente di correlazione (MCC) mostra che i modelli piccoli spesso operano a livello di caso casuale (MCC vicino a zero o negativo) nei compiti complessi, indicando una mancanza di vera inferenza pragmatica.
• Impatto del Camuffamento: La presenza di contenuti tossici camuffati degrada significativamente la qualità della traduzione. Inoltre, il camuffamento visivo rimane la categoria più difficile da decifrare per gli LLM, probabilmente a causa della mancanza di capacità di ragionamento spaziale-visivo implicito.

4. Contributi Principali

1. Formalizzazione della Subcultura: Introduzione del Linguaggio Chouxiang alla comunità NLP, definendone la tassonomia (componenti e intenti) e superando la visione puramente negativa/tossica.
2. Benchmark Mouse: Creazione del primo dataset e suite di valutazione specifici per questa variante linguistica, coprendo sei compiti NLP distinti.
3. Analisi Sperimentale Approfondita: Fornitura di evidenze empiriche sui limiti degli LLM SOTA, inclusa l'analisi del fenomeno dell'"overthinking" nei modelli di grandi dimensioni e la validazione dell'approccio LLM-as-a-judge rispetto al giudizio umano.

5. Significato e Implicazioni

Questo studio è fondamentale per diversi motivi:

• Equità Culturale: Evidenzia il bias occidentale nei benchmark attuali e sottolinea la necessità di sviluppare risorse per lingue e subculture non occidentali.
• Complessità Linguistica: Dimostra che il linguaggio internet evoluto (come il Chouxiang) presenta sfide semantiche e pragmatiche che vanno oltre la semplice rilevazione di parole chiave o tossicità, richiedendo una comprensione profonda del contesto culturale.
• Sviluppo Futuro: I risultati indicano che le attuali architetture LLM necessitano di miglioramenti nel ragionamento contestuale e nella capacità di decodificare codici subculturali complessi per essere realmente inclusivi e robusti.

In conclusione, il paper stabilisce che, sebbene gli LLM abbiano fatto progressi notevoli, la loro capacità di padroneggiare linguaggi subculturali dinamici e complessi come il Chouxiang è ancora limitata, richiedendo nuove direzioni di ricerca nell'NLP culturalmente consapevole.