How Should LLMs Listen While Speaking? A Study of User-Stream Routing in Full-Duplex Spoken Dialogue

Sintesi Tecnica: Come Dovrebbero Ascoltare gli LLM Mentre Parlano? Uno Studio sul Instradamento del Flusso Utente nei Dialoghi Vocali Full-Duplex

Enunciato del Problema
Il dialogo vocale full-duplex, in cui un utente e un sistema possono parlare e ascoltare simultaneamente, è essenziale per un'interazione uomo-macchina naturale. Tuttavia, i Large Language Models (LLM) standard sono pre-addestrati per estendere una singola sequenza coerente di token e non supportano nativamente l'elaborazione di input utente esterno durante la generazione di una risposta. Ciò crea una sfida architetturale critica: come dovrebbe essere instradato il flusso vocale in arrivo dell'utente nell'LLM durante una generazione in corso? Gli approcci esistenti o intercalano i flussi (aumentando la lunghezza della sequenza e la latenza) o fondono i canali (rischiando la corruzione del contesto quando i flussi si sovrappongono). Il particolare modo di fallimento della "corruzione del contesto" – in cui la sovrapposizione del discorso utente interferisce con il contesto di generazione del modello se questo non riesce a fermarsi in tempo – non è stato sistematicamente caratterizzato o confrontato con strategie di instradamento alternative.

Metodologia
Gli autori propongono un framework unificato per estendere un LLM solo testo in un sistema di dialogo vocale full-duplex, consentendo un confronto controllato di due distinte strategie di instradamento del flusso utente sotto un'unica pipeline di addestramento:

1. Architettura di Sistema: Il sistema comprende un encoder vocale in streaming (adattato da Whisper), un adattatore vocale, un backbone LLM solo testo (Qwen3-1.7B), un decoder audio (testa audio) e un modulo di instradamento del flusso utente. Il sistema opera su una timeline duplex condivisa con token speciali per l'attesa (<USER_WAIT>, <TEXT_WAIT>, <AUDIO_WAIT>) e l'interruzione (<TEXT_INT>, <AUDIO_INT>).
2. Strategie di Instradamento:
   • Fusione dei Canali (CF-Duplex): Gli embedding del flusso utente sono fusi direttamente con i flussi testo e audio del modello a ogni passo temporale utilizzando un meccanismo di gating (porta sigmoide + MLP). Questo fornisce un accesso diretto e allineato temporalmente all'input utente, ma unisce il flusso utente nello stesso contesto utilizzato per la generazione.
   • Instradamento Cross-Attention (XA-Duplex): Il flusso utente è mantenuto come una memoria esterna separata (chiavi e valori). L'LLM accede a questa memoria tramite adattatori cross-attention (simili a Flamingo) mantenendo separato il proprio contesto di generazione autoregressiva nativo.
3. Curriculum di Addestramento: Entrambi i modelli subiscono un processo di addestramento in tre fasi:
   • Fase 1: ASR e TTS in streaming.
   • Fase 2: Dialogo vocale a turni (S2TD e S2TSD).
   • Fase 3: Addestramento al dialogo full-duplex, simulando esplicitamente interruzioni utente e backchannel con intervalli di sovrapposizione dinamici.
4. Costruzione dei Dati: Lo studio utilizza un dataset massiccio (217k ore di ASR, 104k ore di TTS) e costruisce esempi full-duplex simulando interruzioni (dipendenti e indipendenti dal contesto) e backchannel sopra dialoghi a turni.

Risultati Chiave
Gli esperimenti su question answering (QA) vocale e benchmark di interazione full-duplex (Full-Duplex-Bench v1.0 & v1.5) rivelano un chiaro compromesso tra le due strategie di instradamento:

• Grounding Semantico vs. Robustezza del Contesto:
  • CF-Duplex ottiene prestazioni significativamente superiori nel question answering vocale su tutti i dataset (LLaMAQ, TriviaQ, WebQ, AlpacaEval). Dimostra un migliore grounding semantico dall'input vocale.
  • XA-Duplex performa peggio nei task QA ma mostra una robustezza superiore nella gestione del discorso sovrapposto.
• Gestione delle Interruzioni:
  • Su Full-Duplex-Bench, CF-Duplex ottiene risultati all'avanguardia o competitivi nel tasso di presa in carico (TOR) e nella qualità della risposta.
  • Tuttavia, l'analisi qualitativa dei casi di "interruzione persa" (in cui il modello non riesce a smettere di parlare) mostra una divergenza critica. Quando CF-Duplex non riesce a fermarsi, il flusso utente fuso corrompe il contesto di generazione, portando a continuità semanticamente incoerenti che fondono l'interruzione con la risposta in corso.
  • Al contrario, quando XA-Duplex non riesce a fermarsi, preserva largamente la coerenza della sua risposta originale, poiché il flusso utente rimane in una memoria separata e non contamina il contesto di generazione.
• Dinamiche di Addestramento: Il divario di prestazioni emerge precocemente nella Fase 2 (addestramento al dialogo), dove CF-Duplex supera costantemente XA-Duplex nei task semantici, mentre XA-Duplex mantiene una migliore separazione strutturale.

Significato e Affermazioni
Il documento stabilisce l'instradamento del flusso utente come asse di progettazione centrale per il dialogo vocale full-duplex. Gli autori affermano che la scelta tra fusione dei canali e instradamento cross-attention non è meramente un dettaglio di implementazione, ma una decisione architetturale fondamentale che detta il compromesso tra:

1. Integrazione Semantica: La capacità di comprendere e rispondere profondamente all'input utente (favorita dalla Fusione dei Canali).
2. Robustezza del Contesto: La capacità di mantenere stati di generazione coerenti quando il modello non riesce a rilevare un'interruzione (favorita dal Cross-Attention).

Lo studio fornisce indicazioni pratiche: se la priorità è una comprensione semantica di alta qualità e il sistema può affidarsi a un rilevamento robusto delle interruzioni, la fusione dei canali è preferibile. Se la priorità è garantire che la generazione rimanga coerente anche quando il rilevamento delle interruzioni fallisce, l'instradamento cross-attention offre un'alternativa più sicura e robusta. Il lavoro evidenzia che i sistemi full-duplex attuali spesso scelgono implicitamente una strategia rispetto all'altra senza comprendere questi specifici modi di fallimento.

Limitazioni
Gli autori notano che lo studio è limitato a due strategie di instradamento all'interno di un singolo framework e a una specifica scala di modello (backbone da 1.7B). I compromessi osservati potrebbero evolvere con scale di modello più grandi o diversi design architetturali, il che richiede ulteriori indagini.