Riepilogo Tecnico: Una Baseline Riproducibile Multi-Architettura per l'Identificazione di Metafore a Livello di Token in Cinese

Enunciato del Problema

Sebbene la metafora sia pervasiva nel linguaggio, l'identificazione computazionale a livello di token di parole legate alla metafora in cinese, nell'ambito del framework Metaphor Identification Procedure VU (MIPVU), rimane poco esplorata rispetto all'inglese. Le ricerche esistenti in inglese hanno stabilito baseline solide utilizzando labeler di sequenze basati su Transformer e architetture specializzate come MelBERT. Tuttavia, per il cinese, il Corpus Cinese PSU per le Metafore (PSU CMC)—l'unico corpus ampiamente disponibile annotato secondo MIPVU—non è stato valutato sistematicamente con il fine-tuning di encoder moderni, la fusione lessicale in stile MelBERT o i Modelli Linguistici di Grandi Dimensioni (LLM) istruiti, secondo un protocollo condiviso e riproducibile. Inoltre, esiste un divario critico nelle risorse: MelBERT si basa su rappresentazioni di significato di base (tipicamente glossari WordNet per l'inglese), ma non era disponibile alcuna risorsa aperta equivalente per il cinese.

Metodologia

Il lavoro stabilisce una baseline riproducibile confrontando tre famiglie di modelli distinte sul PSU CMC, utilizzando una divisione fissa a livello di file 70/10/20 per addestramento/convalida/test su cinque semi casuali.

1. Costruzione della Risorsa: Embedding di Significato di Base MCD7

Per abilitare l'adattamento di MelBERT al cinese, gli autori hanno costruito una risorsa di significato di base tratta dal Dizionario Cinese Moderno, 7ª edizione (MCD7).

• Pipeline: 74.823 voci del dizionario sono state analizzate per estrarre il senso più concreto/principale (tipicamente la prima definizione). I riferimenti incrociati sono stati risolti ricorsivamente.
• Codifica: I testi dei significati di base sono stati codificati in vettori a 1024 dimensioni utilizzando Chinese RoBERTa-wwm-ext-large.
• Copertura: La risorsa copre il 71,51% dei token unici nel PSU CMC. I token fuori vocabolario ricevono un fallback a vettore nullo.
• Rilascio: Gli embedding e le pipeline sono rilasciati; il testo originale delle definizioni non è ridistribuito a causa del copyright.

2. Architetture dei Modelli

Lo studio valuta quattro configurazioni attraverso tre famiglie di modelli:

• Fine-tuning dell'Encoder (RoBERTa): Classificazione standard di token utilizzando Chinese RoBERTa-wwm-ext-large con un head lineare.
• Adattamento MelBERT: Un'estensione di RoBERTa che incorpora due canali paralleli radicati nella teoria della metafora:
  • Canale MIP: Contrasta la rappresentazione contestuale con il vettore di significato di base derivato da MCD7.
  • Canale SPV (Violazione della Preferenza Selettiva): Contrasta il contesto locale con la rappresentazione del token per segnalare anomalie.
  • Varianti: Completo (MIP + SPV + Fusione), solo MIP e solo SPV.
• Generazione Istruita (Qwen): Qwen3.5-9B fine-tunato con QLoRA (quantizzazione a 4 bit + adattatori a basso rango). Il compito è formulato come un problema di generazione in cui il modello produce un elenco JSON strutturato di token metaforici. Sono state testate sei formulazioni del compito, con "Estrazione JSON Generativa" (Q2) selezionata come la migliore.

3. Protocollo Sperimentale

• Metrica: L'F1 della classe positiva (Test pos-F1) è la metrica primaria a causa dello squilibrio delle classi (9,16% di token positivi).
• Semi: Cinque semi fissi ({42, 123, 2024, 7, 31415}) sono utilizzati per tutti i modelli per garantire un confronto equo.
• Hardware: Singola NVIDIA RTX 5090.

Risultati Chiave

Confronto delle Prestazioni

• Migliore Esecutore: MelBERT (solo MIP) ha raggiunto le prestazioni più elevate con un F1 positivo di test di 0,7281 ± 0,0050.
• Confronto:
  • MelBERT Completo (MIP+SPV): 0,7270 ± 0,0069 (leggermente inferiore rispetto a solo MIP).
  • RoBERTa Puro: 0,7142 ± 0,0121.
  • Qwen3.5-9B (QLoRA): 0,6157 ± 0,0113.
• Divario Generativo: La baseline generativa Qwen rimane indietro rispetto ai modelli basati su encoder di circa 11 punti F1 assoluti.

Risultati Principali

1. Inefficacia del Canale SPV in Cinese: Contrariamente ai risultati in inglese dove SPV aiuta le prestazioni, il canale SPV in cinese non fornisce alcun segnale positivo affidabile. La configurazione solo MIP supera la configurazione Completa e mostra una varianza dei semi significativamente inferiore (0,0050 contro 0,0069). Gli autori ipotizzano che ciò sia dovuto al predominio di metafore convenzionali in cinese, dove le coppie metafora-contesto sono frequenti e non innescano violazioni selettive.
2. Asimmetria Precisione-Recall negli LLM: La baseline Qwen soffre principalmente di un basso recall (0,5526) rispetto agli encoder, mantenendo una precisione comparabile. Ciò suggerisce che i modelli generativi assumono impegni discreti che li portano a scartare casi ambigui o borderline, un limite esacerbato dall'adattamento a basso rango (QLoRA).
3. Sensibilità al Formato: Diverse formulazioni del compito Qwen hanno fallito a causa del design e non della capacità. Nello specifico, il tagging BIO (Q4) è fallito perché le metafore cinesi nel PSU CMC sono prevalentemente a singolo token (rendendo inutile il tag "I-"), e la generazione strutturata con finestre di contesto brevi (Q8 v1) è fallita a causa della troncatura dei token di supervisione.
4. Difficoltà del Registro: Le prestazioni variano in base al registro, con la narrativa che è la più difficile (F1 più basso, varianza più alta) e l'accademico che è il più facile. Questo correla con la densità e la novità della metafora; la narrativa contiene metafore più nuove e dipendenti dal contesto.

Contributi e Significato

Il lavoro rivendica tre contributi principali:

1. Una Baseline Riproducibile: Fornisce la prima baseline sistematica e multi-architettura per l'identificazione di metafore a livello di token in cinese sul PSU CMC, includendo codice completo, manifesti di divisione e output per ogni seme.
2. Risorsa di Significato di Base MCD7: Introduce una risorsa nuova derivata dall'autorevole Dizionario Cinese Moderno, abilitando per la prima volta la fusione lessicale in stile MelBERT in cinese.
3. Insight Empirici:
   • Dimostra che il canale SPV non è benefico per l'identificazione di metafore in cinese nell'ambito MIPVU.
   • Evidenzia i limiti specifici degli attuali LLM istruiti (in particolare Qwen adattato con QLoRA) per compiti a livello di token fine-grained, notando un bias a favore della precisione.
   • Identifica che i fallimenti nella formulazione del compito generativo sono spesso dovuti al design del formato (ad es. tag BIO per fenomeni a singolo token) piuttosto che alla capacità del modello.

Gli autori posizionano questo lavoro come un "punto di riferimento comune" per la ricerca futura, esortando che i futuri sistemi si confrontino con queste specifiche configurazioni e protocolli di semi piuttosto che con stime informali. Notano modestamente che, sebbene non si aspettino che gli LLM fine-tunati con QLoRA colmino il divario con gli encoder immediatamente, il lavoro futuro potrebbe esplorare l'integrazione di MelBERT multi-senso o paradigmi ibridi che combinano la precisione degli encoder con il recall degli LLM.