PhaseCoder: Microphone Geometry-Agnostic Spatial Audio Understanding for Multimodal LLMs

Riepilogo Tecnico: PhaseCoder

Problematica

Gli attuali modelli linguistici multimodali (LLM) elaborano tipicamente l'audio come un flusso mono, rendendoli "ciechi allo spazio" rispetto alla ricca informazione spaziale inerente al suono del mondo reale. Sebbene la consapevolezza spaziale sia critica per l'IA incarnata (es. robotica, assistenti di prossima generazione), i modelli audio spaziali esistenti sono vincolati a geometrie di microfoni fissi. Ciò rende necessario l'addestramento di encoder separati per ogni nuova configurazione di dispositivi, impedendo ai vantaggi di generalizzazione degli LLM di essere applicati all'audio spaziale. Al contrario, le rappresentazioni indipendenti dal microfono come l'Ambisonics richiedono hardware specializzato e ingombrante, non presente nei dispositivi consumer. Manca un encoder audio spaziale universale che possa operare su audio multicanale grezzo da array di microfoni arbitrari e integrarsi perfettamente con gli LLM per compiti di ragionamento complesso.

Metodologia

Gli autori propongono PhaseCoder, un encoder audio spaziale basato esclusivamente su transformer, progettato per essere intrinsecamente agnostico rispetto alla geometria dei microfoni. Il sistema opera in due fasi principali:

1. Architettura dell'Encoder PhaseCoder

• Elaborazione dell'Input: Il modello accetta audio multicanale grezzo e le coordinate cartesiane di ciascun microfono nell'array. Calcola la Trasformata di Fourier a breve termine (STFT) su finestre di 250 ms (33 frame) per estrarre informazioni di ampiezza e fase.
• Generazione degli Embedding: Per ogni microfono e frame temporale, viene creato un patch embedding. Questi vengono appiattiti in una sequenza.
• Embedding Posizionali: Per gestire il numero variabile di microfoni e le geometrie, vengono sommati tre tipi di embedding posizionali:
  1. Sequenziale: Embedding sinusoidale 1D standard per la posizione della sequenza appiattita.
  2. Frame: Embedding sinusoidale basato sull'indice del frame temporale.
  3. Posizionale del Microfono: Derivato dalle coordinate dei microfoni (convertite in coordinate sferiche rispetto al centroide dell'array) tramite modulazione di fase, adattata da GI-DOAEnet.
• Backbone: Un encoder Transformer (5 blocchi, 6 milioni di parametri) elabora la sequenza. Un token [CLS] apprendibile aggrega l'informazione spaziale.
• Testate di Output (Output Heads): Il token [CLS] viene passato attraverso un MLP per produrre un "token audio spaziale" (embedding soft) per l'integrazione con l'LLM. Inoltre, tre testate di classificazione separate predicono bin discreti per azimut, elevazione e distanza.

2. Strategia di Addestramento

• Addestramento Supervisionato: L'encoder è addestrato su dati puramente sintetici generati utilizzando il dataset LibriSpeech convoluto con risposte all'impulso di stanza (RIR) simulate. Il dataset presenta geometrie di microfoni casuali (3–8 microfoni), dimensioni della stanza variabili e aumenti di rumore.
• Apprendimento Curricolare (Curriculum Learning): Viene impiegata una strategia in due fasi:
  1. Addestramento su parlato pulito e privo di rumore.
  2. Fine-tuning con suoni di disturbo e rapporti segnale-rumore (SNR) variabili.
• Integrazione con l'LLM: Gli autori effettuano il fine-tuning dell'LLM Gemma 3n (4 miliardi di parametri). Uno strato di proiezione addestinabile mappa i token audio spaziali a 256 dimensioni dello spazio di embedding a 2048 dimensioni dell'LLM. Questi token audio spaziali vengono preposti alla sequenza standard di token audio mono, incorniciati da token speciali ([BSA], [ESA]).
• Task di Fine-Tuning dell'LLM: L'LLM è addestrato su quattro task utilizzando un approccio curricolare:
  1. Localizzazione della Sorgente: Output delle coordinate per i relatori rilevati.
  2. Ragionamento Spaziale: Risposta a domande binarie (Sì/No) sulle relazioni spaziali.
  3. Trascrizione Spaziale: Trascrizione del parlato fornendo al contempo i dati di posizione.
  4. Trascrizione Mirata: Trascrizione solo del parlato proveniente da una specifica direzione spaziale (es. "l'oratore a sinistra").

Contributi Chiave

1. Encoder PhaseCoder: Un nuovo encoder basato esclusivamente su transformer che raggiunge prestazioni state-of-the-art (SOTA) nella localizzazione indipendente dal microfono. Elabora l'audio grezzo e le coordinate senza richiedere beamformer o hardware specifici per il dispositivo.
2. Token Audio Spaziali: La dimostrazione che l'encoder produce rappresentazioni robuste e indipendenti dalla geometria ("token audio spaziali") adatte per task downstream di LLM.
3. Integrazione con l'LLM: La prima dimostrazione di un LLM (Gemma 3n) che viene sottoposto a fine-tuning per ragionare su questi token spaziali, abilitando task complessi come la trascrizione mirata e il ragionamento spaziale da array di microfoni arbitrari.

Risultati

• Benchmark di Localizzazione: Su dataset del mondo reale (RSL2019 e LOCATA), PhaseCoder-6M supera il modello SOTA indipendente dal microfono GI-DOAEnet sul difficile dataset LOCATA (86,96% Acc@10 vs. 82,48%). Sebbene GI-DOAEnet performi leggermente meglio su RSL2019 (attribuito alla risoluzione di classificazione a 10 gradi di PhaseCoder rispetto alla regressione a 1 grado di GI-DOAEnet), PhaseCoder fornisce una rappresentazione multi-task più ricca (distanza ed elevazione).
• Scaling dei Microfoni: Le prestazioni migliorano significamente all'aumentare del numero di microfoni da 3 a 8, con l'errore assoluto medio (MAE) dell'azimut che scende da 80,24° a 3,03°.
• Prestazioni dell'LLM: Il fine-tuning di Gemma con i token spaziali produce miglioramenti sostanziali rispetto ai baseline (inclusi Gemma zero-shot e Gemini 3 Flash) nel ragionamento spaziale (migliorando da ~48% a ~76% di accuratezza nelle domande Sì/No) e nella trascrizione mirata. I token spaziali agiscono come efficaci "prompt di diarizzazione", riducendo il Word Error Rate (WER) in scenari con più interlocutori.
• Efficienza: PhaseCoder dimostra una superiore efficienza di memoria e velocità di inferenza rispetto ai modelli ibridi come GI-DOAEnet e Spatial-AST, grazie alla sua architettura puramente transformer.

Significato e Rivendicazioni

Il paper sostiene di colmare il divario tra l'encoding audio spaziale universale e la comprensione degli LLM. Abilitando gli LLM a elaborare "Token Audio Spaziali" da array di microfoni arbitrari, PhaseCoder permette agli agenti di IA incarnata di percepire e ragionare sul proprio ambiente acustico senza vincoli hardware specifici. Gli autori affermano che questo approccio apre nuove strade per:

• Accessibilità: Migliorare i dispositivi assistivi per gli ipoudenti isolando specifici interlocutori in ambienti rumorosi (l'effetto "cocktail party").
• Indipendenza dall'Hardware: Abilitare la comprensione spaziale universale su diversi dispositivi, dagli smartphone legacy alla robotica custom, senza dover riaddestrare gli encoder.
• Intelligenza Incarnata: Fornire agli assistenti IA la capacità di localizzare e ragionare sugli ambienti fisici attraverso il suono, un passo critico verso l'interazione naturale uomo-robot.

Gli autori notano limitazioni, tra cui l'assunzione di microfoni omnidirezionali (ignorando gli effetti di baffling del dispositivo) e un attuale focus su sorgenti di parlato dominante singola piuttosto che sulla completa localizzazione e rilevamento di eventi sonori (SELD). Suggeriscono che il lavoro futuro potrebbe integrare la stima della profondità visiva per risolvere le ambiguità della distanza.