From Synthetic to Native: Benchmarking Multilingual Intent Classification in Logistics Customer Service

1. Il Problema

La classificazione dell'intento è un componente fondamentale dei sistemi di assistenza clienti automatizzati, specialmente nelle piattaforme logistiche globali che gestiscono query in più lingue. Tuttavia, la ricerca attuale presenta due limiti critici:

• Dipendenza da dati sintetici: La maggior parte dei benchmark multilingue esistenti (come MTOP o MASSIVE) si basa su testi tradotti automaticamente o raccolti in modo controllato. Questi dati sono spesso più puliti, standardizzati e privi del "rumore" tipico delle richieste reali degli utenti (abbreviazioni, errori di battitura, codice misto, gergo).
• Sovrastima delle prestazioni: L'uso di dati tradotti per la valutazione porta a una sovrastima della robustezza dei modelli nel mondo reale. Esiste un divario (gap) significativo tra le prestazioni su testi sintetici e quelle su query native, specialmente per intenti a "coda lunga" (long-tail) e nel trasferimento cross-linguale.
• Mancanza di benchmark realistici: Esistono pochi dataset che combinano dati reali, rumore naturale, gerarchie di etichette complesse e una valutazione controllata del divario tra sintetico e nativo.

2. Metodologia e Costruzione del Dataset

Gli autori hanno sviluppato un nuovo benchmark pubblico basato su log reali di assistenza clienti di J&T Express.

• Raccolta e Filtraggio: Il dataset è stato estratto da circa 600.000 record storici. Attraverso un processo di filtraggio basato su regole, controllo qualità assistito da LLM e verifica umana, sono stati selezionati circa 30.000 query utente anonime e de-identificate (rimozione di numeri di tracciamento e indirizzi).
• Tassonomia Gerarchica: Le query sono state organizzate in una tassonomia a due livelli:
  • 13 intenti genitori (categorizzazione grossolana, es. "Tracciamento", "Reclami").
  • 17 intenti foglia (categorizzazione fine, es. "Ritardo spedizione", "Disputa su tariffe").
• Configurazione Linguistica:
  • Lingue "Viste" (Seen): Inglese, Spagnolo, Arabo (usate per l'addestramento supervisionato).
  • Lingue "Non Viste" (Unseen): Indonesiano, Cinese e altre (usate per la valutazione zero-shot).
• Valutazione Comparativa (Sintetico vs. Nativo): Una caratteristica innovativa è la fornitura di set di test accoppiati:
  1. Set Nativo: Query reali degli utenti con tutto il rumore intrinseco.
  2. Set Sintetico: Le stesse query (o equivalenti semantici) tradotte automaticamente e verificate manualmente per garantire la correttezza dell'intento, ma prive del rumore linguistico naturale.
     Questo permette di misurare direttamente il "gap" di robustezza.

3. Contributi Chiave

1. Benchmark Reale Pubblico: Rilascio di un dataset di 30k query logistico-assistenziali con tassonomia gerarchica, derivato da dati di produzione reali.
2. Pipeline di Curation: Una metodologia pratica che combina de-identificazione, filtraggio, controllo qualità assistito da LLM e verifica umana.
3. Misurazione del Gap Sintetico-Nativo: Fornitura di set di test paralleli (nativo e tradotto) per quantificare quanto i benchmark basati su traduzione sovrastimino le prestazioni reali.
4. Valutazione Estesa: Benchmarking di diverse famiglie di modelli (encoder multilingue, modelli di embedding, Small Language Models - SLM) sia in modalità "piatta" (flat) che gerarchica.

4. Risultati Sperimentali

Gli esperimenti hanno coinvolto encoder come mBERT e XLM-R, modelli di embedding, e modelli linguistici di piccole dimensioni (SLM) come Gemma 3 e Qwen.

• Il Gap Sintetico-Nativo: I risultati confermano che i set di test tradotti sovrastimano significativamente le prestazioni rispetto alle query native. Il divario è particolarmente ampio per gli intenti a coda lunga e nel trasferimento cross-linguale. Le traduzioni tendono a "normalizzare" il testo, rimuovendo le difficoltà reali che i modelli devono affrontare.
• Architetture dei Modelli:
  • I Small Language Models (SLM) instruction-tuned (in particolare Gemma 3 270M e 1B) hanno mostrato prestazioni superiori o competitive rispetto ai classici encoder BERT (come mBERT o XLM-R), specialmente nelle condizioni di rumore nativo e nel trasferimento zero-shot.
  • I modelli generativi (Causal LLM) hanno dimostrato una capacità nativa di gestire la classificazione gerarchica senza bisogno di architetture complesse aggiuntive.
  • I modelli più grandi (es. Gemma 3 1B) hanno ottenuto i risultati migliori in assoluto, superando sia i modelli più piccoli che gli SLM di dimensioni simili.
• Robustezza alla Granularità: I modelli basati su BERT hanno mostrato un calo di prestazioni più marcato passando dalla classificazione a 13 classi (genitori) a 17 classi (foglie) rispetto ai modelli generativi, evidenziando la difficoltà di gestire intenti operativamente simili con forme superficiali sovrapposte.

5. Significato e Implicazioni

Questo lavoro è significativo per la comunità di NLP e per l'industria dell'assistenza clienti per diversi motivi:

• Realtà vs. Teoria: Dimostra empiricamente che l'uso di dati tradotti per la valutazione porta a conclusioni ottimistiche e potenzialmente fuorvianti sulla robustezza dei modelli multilingue.
• Guida per il Deployment: Suggerisce che per scenari di produzione reali (rumore, long-tail, zero-shot), i moderni SLM instruction-tuned sono spesso più efficaci e flessibili degli encoder tradizionali.
• Nuovo Standard di Valutazione: Invita la comunità ad adottare benchmark basati su dati nativi e a considerare il "gap sintetico-nativo" come una metrica fondamentale per valutare la prontezza al deployment dei modelli multilingue.

In sintesi, il paper sposta il focus dalla pura accuratezza su dati puliti alla robustezza operativa in ambienti logistici globali complessi, fornendo gli strumenti e i dati necessari per valutare realisticamente le capacità dei modelli linguistici.