Lost in Speech: Benchmarking, Evaluation, and Parsing of Spoken Code-Switching Beyond Standard UD Assumptions

Sintesi Tecnica: Lost in Speech

Problematica
Il codice-switching (CSW) parlato presenta una sfida fondamentale per la parsing sintattica che è distinta dalle sfide osservate nel testo scritto. Sebbene i parser e i Large Language Models (LLM) ottengano buone prestazioni su dati scritti, spesso falliscono sul CSW parlato a causa di caratteristiche conversazionali intrinseche quali disfluenze, ripetizioni, ellissi, clausole frammentarie e strutture guidate dal discorso. Questi fenomeni violano regolarmente le assunzioni sottostanti ai framework di annotazione canonici come Universal Dependencies (UD), specificamente riguardo alla completezza della clausola e alla selezione del capo canonico.

Inoltre, le pratiche di valutazione esistenti esacerbano il problema. Le metriche standard, come il Labeled Attachment Score (LAS) e l'Unlabeled Attachment Score (UAS), impongono un matching rigoroso rispetto a un singolo albero gold. Questo approccio confonde gli errori strutturali genuini con variazioni linguisticamente plausibili accettabili nel discorso parlato. Di conseguenza, i parser vengono penalizzati per aver prodotto analisi che sarebbero difendibili nel contesto del linguaggio parlato, portando a una sottostima delle loro prestazioni e a una interpretazione errata dei modi di fallimento. Gli autori sostengono che scalare la capacità del modello o i dati da soli sia insufficiente, poiché molte sfide derivano dal disallineamento tra le convenzioni di annotazione della lingua scritta e la natura incrementale e ambigua del parlato.

Metodologia
Il documento adotta un approccio orientato ai sistemi, separando la gestione dei fenomeni del linguaggio parlato dall'analisi sintattica centrale. La metodologia si basa su quattro componenti chiave:

1. Tassonomia dei Fenomeni del CSW Parlato: Attraverso un'analisi basata sui dati del Miami Corpus (inglese-spagnolo), gli autori hanno sviluppato una tassonomia linguisticamente fondata di nove categorie che minano le assunzioni di parsing canonico. Queste includono:

   • Ripetizione: Parole/frasi ricorrenti usate per mantenere il turno di parola (floor-holding).
   • Elementi del Discorso: Token pragmatici (es. interiezioni) distinti dal materiale strutturale.
   • Ellissi: Strutture incomplete non successivamente riparate.
   • Contrazioni: Token che codificano molteplici unità sintattiche (es. "wasn't", "del").
   • Compound/MWEs: Espressioni multi-parola che funzionano come unità singole.
   • Interruzione del Pensiero (Break of Thought): Frasi abbandonate sostituite da continuazioni riviste.
   • Filler Words: Token specifici usati per occupare il turno di parola (es. "umm").
   • Slang/Imprecazioni: Elementi dipendenti dal contesto con ruoli sintattici poco chiari.
   • Enclisi: Verbi con pronomi clitici attaccati (comuni in spagnolo).

2. SpokeBench: Un benchmark gold-standard progettato per valutare il parsing in condizioni di linguaggio parlato. A differenza delle risorse esistenti, SpokeBench contiene annotazioni UD esperte, con dispute risolte e bilanciate per categoria, per 126 frasi del Miami Corpus. Mira specificamente alla complessità strutturale e ai fenomeni del parlato, utilizzando un protocolo di accettabilità graduata per distinguere tra errori sostanziali e variazione accettabile.

3. Metrica FLEX-UD: Una nuova metrica di valutazione progettata per essere consapevole dell'ambiguità. A differenza delle metriche standard che impongono un singolo albero gold, FLEX-UD impiega tolleranze graduate per confrontare gli output del sistema con gli standard gold. Distingue tra:

   • Errori Catastrofici: Violazioni che minano la validità strutturale globale (es. MWE mancanti, riferimenti di testa invalidi), che incorrono in penalità elevate.
   • Errori Minori: Deviazioni linguisticamente plausibili (es. sostituzioni di POS tollerabili, relazioni di dipendenza quasi corrette), che incorrono in penalità basse.
     Ciò consente a FLEX-UD di premiare analisi linguisticamente difendibili che le metriche standard rifiuterebbero.

4. DECAP (DECoupled Agentic Parser): Un framework di parsing modulare che isola la gestione del linguaggio parlato dall'analisi sintattica centrale. DECAP utilizza una sequenza fissa di agenti specializzati:

   • Spoken-Phenomena Handler (SPH): Identifica e localizza le disfluenze (ripetizioni, filler, ecc.) e propone modifiche alla tokenizzazione senza assegnare relazioni sintattiche.
   • Language-Specific Resolver (LSR): Applica una normalizzazione conservativa e consapevole della lingua (es. espansione delle contrazioni, validazione dei MWE) e fornisce i lemmi.
   • Core UD Structure Assigner: Costruisce il parse di dipendenza sulla rappresentazione normalizzata, imponendo vincoli come un unico root e preservando le disfluenze come elementi strutturali invece di forzare ricostruzioni malformate.
   • Verifier and Ranker (V/R): Garantisce la benformità strutturale globale (aciclicità, teste valide) e produce punteggi di confidenza e log di penalità.
     Il framework è basato su istruzioni (instruction-grounded), sfruttando gli LLM per seguire linee guida linguistiche senza richiedere il fine-tuning sui dati parlati.

Contributi Chiave

• Tassonomia: Un resoconto strutturato dei fenomeni del CSW parlato che complicano il parsing, derivato dall'analisi empirica del Miami Corpus.
• SpokeBench: Il primo benchmark gold annotato dagli esperti per il parsing del CSW parlato che bilancia la copertura dei fenomeni del parlato con la complessità strutturale.
• FLEX-UD: Una metrica di valutazione consapevole dell'ambiguità che penalizza più pesantemente gli errori strutturali catastrofici rispetto alla variazione accettabile, rivelando miglioramenti qualitativi mascherati dalle metriche standard.
• DECAP: Un framework di parsing agente disaccoppiato che migliora la robustezza e l'interpretabilità isolando la gestione dei fenomeni parlati dall'analisi sintattica centrale, ottenendo guadagni significativi di performance senza riaddestramento.

Risultati
Gli esperimenti condotti su SpokeBench utilizzando dati di code-switching inglese-spagnolo hanno confrontato DECAP contro i tradizionali parser bilingui e la pipeline BiLingua basata su LLM.

• Metriche Standard: Sotto le metriche LAS e UAS tradizionali, tutti i sistemi mostrano un degrado sostanziale sui fenomeni del parlato (ripetizione, ellissi, discorso) rispetto alle frasi canoniche. DECAP supera i baseline, migliorando il LAS complessivo da 0.31 (BiLingua) a 0.48, ma le metriche standard comprimono questi guadagni.
• Valutazione FLEX-UD: FLEX-UD ha rivelato una separazione più netta tra i sistemi. DECAP ha ottenuto il punteggio complessivo più alto (76.2), superando significativamente BiLingua (70.7) e i parser tradizionali (30.4). La metrica ha evidenziato che il successo di DECAP è stato guidato non solo da una maggiore accuratezza di testa/etichetta, ma da una riduzione sostanziale degli errori strutturali catastrofici.
• Analisi Linguistica: Lo studio ha rilevato che, mentre la performance UPOS-LAS correla con la disponibilità lessicale superficiale (la ripetizione performa meglio), la performance LAS è guidata dall'ambiguità strutturale e dalla recuperabilità (ellissi e ripetizione performano peggio). Il bilinguismo agisce come un moltiplicatore di complessità, intensificando queste ambiguità.

Significato e Rivendicazioni
Il documento sostiene che il progresso nel parsing del CSW parlato richieda un ripensamento sia delle architetture di parsing che delle pratiche di valutazione, piuttosto che un semplice aumento della capacità del modello. Gli autori sostengono che il "gap di modalità" tra linguaggio scritto e parlato necessiti di astrazioni linguistiche consapevoli del parlato. Introducendo SpokeBench, FLEX-UD e DECAP, il lavoro fornisce una base per valutare e analizzare il CSW parlato che riconosce l'incertezza strutturale come una proprietà intrinseca dei dati. Gli autori sottolineano che il loro approccio permette l'estendibilità a nuove lingue e fenomeni senza riaddestramento, offrendo un percorso scalabile per gestire le strutture non canoniche del parlato conversazionale.

Limitazioni
Gli autori notano che SpokeBench è intenzionalmente piccolo e curato per dare priorità alla profondità e alla complessità linguistica rispetto alla copertura ampia su speaker o dialetti. Gli esperimenti sono limitati al code-switching inglese-spagnolo, sebbene i fenomeni identificati siano comuni in altri contesti bilingui. Infine, DECAP si affida a LLM basati su istruzioni piuttosto che a rappresentazioni apprese, rendendolo dipendente dalla qualità del prompt e dalle capacità del modello sottostante.