Riassunto Tecnico: È meglio digitare o parlare con gli Agenti LLM?

Definizione del Problema

L'interazione umana con i Large Language Models (LLM) implementati avviene principalmente attraverso due canali: la digitazione su una tastiera QWERTY e l'interazione vocale tramite un'interfaccia vocale. Nessuno dei due canali fornisce un input "pulito". La digitazione introduce rumore ortografico (ad es., sostituzioni di tasti adiacenti, trasposizioni), mentre il parlato raggiunge il modello attraverso uno strato di trascrizione che introduce disfluenze (riempitivi, falsi inizi), sostituzioni di omofoni e, sempre più spesso, riscritture integrali da parte di strumenti di dettatura supportati dall'IA. Sebbene la robustezza al rumore tipografico e alla disfluenza verbale sia stata studiata isolatamente, manca un confronto sistematico tra queste modalità, in particolare riguardo l'impatto delle moderne riscritture basate su IA dei processi di trascrizione. Inoltre, i benchmark esistenti spesso si affidano a rumore sintetico che non riflette gli errori motori specifici della digitazione o le riscritture strutturali degli strumenti di dettatura.

Metodologia: Il Motore HIVE

Per affrontare queste lacune, gli autori introducono HIVE (Human Input-Variation Engine), una suite di perturbazioni progettata per riprodurre gli errori specifici inerenti ai canali di input umano.

• Architettura: HIVE consiste in 1et operatori e 2 controlli, implementati tramite trasformazioni basate su regole con seed o tramite il trasferimento di stile few-shot (utilizzando Qwen2.5-7B-Instruct).
• Operatori Vocali (11): Modellano la pipeline di trascrizione.
  • Registri: "Spoken-casual" (stile podcast con alti tassi di riempitivi) e "Spoken-formal" (discorso preparato).
  • Riscritture: "Spoken-succinct" (comprime e riordina) e "Spoken-clean" (stringe la formulazione pur preservando la struttura).
  • Fattori Deterministici: Isolano specifiche proprietà superficiali come l'iniezione di riempitivi, la conversione di numeri in parole, la rimozione di parole funzionali, la perdita di maiuscole/punteggiatura e la sostituzione di omofoni.
• Operatori della Tastiera (6): Modellano gli errori motori su un layout QWERTY.
  • Include sostituzioni di tasti adiacenti, trasposizioni, ripetizione di tasti, inserimenti di tasti connessi, omissioni di spazi e un controllo di sostituzione casuale.
  • Le modifiche sono applicate sulla base di Damerau–Levenshtein con distanze fisse per parola.
• Configurazione Sperimentale:
  • Modelli: Cinque modelli istruiti (Llama-3.1-8B, Qwen2.5-7B, Mistral-7B-v0.3, Qwen3-8B, phi-4).
  • Benchmark: Sei dataset che coprono l'aritmetica (GSM8K, GSM-Symbolic, GSM1k), la sintesi di codice (HumanEval) e il ragionamento a scelta multipla (MMLU-Pro, TruthfulQA).
  • Protocollo: Decoding greedy con valutazione a coppie corrispondenti (pulito vs. perturbato) attraverso 5 seed per isolare gli effetti della perturbazione dal rumore di campionamento.

Risultati Chiave

1. La trascrizione vocale incide sull'accuratezza; la struttura conta più dei riempitivi

Le perturbazioni della trascrizione vocale riducono costantemente l'accuratezza in tutti i modelli testati. L'operatore più dannoso è "spoken-succinct" (compressione e riordino), che riduce l'accuratezza di circa 24 punti percentuali. Fondamentalmente, la penalità è guidata dalla struttura della trascrizione piuttosto che dalla presenza di riempitivi.

• Rimuovere i riempitivi da un trascritto parlato ("spoken-filler-stripped") non recupera l'accuratezza.
• Aggiungere riempitivi a un testo pulito ("clean+fillers") riduce l'accuratezza, ma in modo meno severo rispetto al registro parlato completo.
• Ciò suggerisce che la penalità è "sovradeterminata": i riempitivi sono sufficienti a causare danno, ma non necessari, poiché la ristrutturazione del registro (ad es., frasi senza fine, concatenazione di clausole) danneggia indipendentemente le prestazioni.

2. Le perturbazioni della tastiera sono meno dannose

Gli errori della tastiera QWERTY sono significativamente meno costosi rispetto agli errori vocali, con un calo medio di accuratezza di ~3,0 punti rispetto a ~9,7 punti per la voce.

• I modelli assorbono una sorprendente quantità di errori di digitazione prima che le prestazioni crollino. L'accuratezza rimane piatta finché circa il 12% delle parole contiene errori, dopodiché scende drasticamente.
• Concentrazione vs. Diffusione: Tre modifiche entro il 20% delle parole sono due volte più dannose di una modifica distribuita sul 50% delle parole, poiché le parole pesantemente modificate diventano irrecuperabili nel contesto.
• Gli errori specifici della QWERTY (sostituzioni di tasti adiacenti) sono leggermente meno dannosi delle sostituzioni casuali arbitrarie, probabilmente perché le sostituzioni di tasti vicini generano spesso token alternativi meno plausibili.

3. Il divario di modalità è un effetto dei compiti di ragionamento

Il divario di prestazione tra voce e digitazione appare quasi esclusivamente nei compiti che richiedono al modello di costruire o dedurre una risposta (ad es., aritmetica, generazione di codice).

• Nei compiti a scelta multipla dove la risposta è selezionata da opzioni fornite, il divario tra voce e digitazione è trascurabile.
• Nei compiti di generazione, gli input vocali risultano in un'accuratezza inferiore di 6–7 punti percentuali rispetto alla digitazione.

4. La sopravvivenza dei token è il principale predittore di danno

La causa fondamentale del degrado delle prestazioni è la distruzione dei token originali.

• Esiste una forte correlazione positiva ($r=+0,79$) tra la percentuale di token della domanda originale che sopravvivono alla perturbazione e l'accuratezza risultante.
• L'aggiunta di nuovi token (inflazione dei token) ha un impatto negativo minimo rispetto alla distruzione di quelli esistenti.
• Gli operatori che preservano la sequenza originale dei token (anche con l'aggiunta di riempitivi) sono molto meno dannosi di quelli che riscrivono o comprimono il testo, il quale distrugge la tokenizzazione originale.

5. Il danno non è dovuto esclusivamente alla contaminazione del set di test

La penalità di prestazione persiste sui dataset decontaminati (GSM-Symbolic e GSM1k), che rigenerano i problemi con nuove forme superficiali pur preservando la logica di ragionamento. Ciò indica che il danno non è semplicemente dovuto al fatto che i modelli recuperano soluzioni memorizzate dai dati di addestramento, ma riflette una reale incapacità di elaborare la struttura dell'input perturbato.

6. L'adattamento leggero non può mitigare il danno

I tentativi di addestrare i modelli ad assorbire queste perturbazioni tramite auto-distillazione (adapter LoRA) sono stati in gran parte infruttuosi.

• Le impostazioni di adattamento ad alto rango potevano colmare il divario per il parlato conversazionale, ma solo a scapito delle prestazioni del modello sugli input puliti, il che viola il vincolo secondo cui la robustezza non dovrebbe avvenire a spese delle prestazioni base.
• Le impostazioni a basso rango preservavano l'accuratezza del testo pulito ma non riuscivano a migliorare le prestazioni sugli input perturbati.
• L'aggiunta di termini per penalizzare l'attenzione ai riempitivi o per allineare gli stati nascosti non ha colmato il divario. Il danno appare intrinseco all'attuale architettura del modello e alla sua distribuzione di addestramento.

7. I budget di "pensiero" recuperano la tastiera ma non la voce

Abilitare una modalità di "pensiero" (ragionamento chain-of-thought) in Qwen3-8B recupera quasi interamente le prestazioni sulle perturbazioni della tastiera, ma lascia i registri parlati essenzialmente invariati.

• Il ragionamento aiuta a ricostruire il testo confuso dove i token originali sono preservati (errori della tastiera).
• Fallisce nel recuperare le prestazioni quando la struttura dell'input è fondamentalmente alterata o compressa (riscritture vocali); in particolare, le prestazioni della modalità compressa peggiorano effettivamente con l'attivazione di un budget di pensiero.
• Ciò suggerisce che il ragionamento può riparare il rumore a livello di token, ma non può compensare la perdita della sequenza originale dei token e dell'integrità strutturale inerente alle riscritture vocali.

Significato e Rivendicazioni

L'articolo sostiene che il parlato è attualmente il "canale costoso" per interagire con gli LLM, principalmente a causa delle riscritture strutturali introdotte dagli strumenti di dettatura basati su IA. Gli autori sostengono che il danno non è una semplice questione di rumore, ma una perdita della sequenza originale dei token e dell'integrità strutturale necessaria per il ragionamento.

Implicazioni Pratiche:

• Per gli Utenti: Quando si utilizzano interfacce vocali, la formulazione pronunciata è la formulazione da cui il modello deve lavorare; gli utenti dovrebbero evitare di divagare o fare affidamento su strumenti a valle per "pulire" il testo, poiché una minima rimozione delle disfluenze è preferibile a una riscrittura strutturale.
• Per gli Sviluppatori: I front-end di dettatura dovrebbero minimizzare la riformattazione e la ristrutturazione dell'input dell'utente. Il danno maggiore misurato deriva dallo strato di "riscrittura" degli strumenti di dettatura, che è anche la componente "più economica da modificare".
• Per la Ricerca: La robustezza alla perturbazione dell'input è specifica per modalità. I modelli robusti agli errori di digitazione non sono necessariamente robusti alla disfluenza del parlato, e l'adattamento leggero è insufficiente per colmare questo divario.

Lo studio conclude che, sebbene gli errori di digitazione possano essere assorbiti dai modelli di ragionamento, le alterazioni strutturali inerenti alla trascrizione vocale (specialmente le riscritture guidate dall'IA) pongono una sfida fondamentale che gli attuali modelli e le strategie di adattamento leggero non possono superare completamente.