Riepilogo Tecnico: Intelligenza Audio Unificata Senza Regressione sull'Intelligenza Testuale

Problematica

Lo sviluppo dell'Intelligenza Artificiale Generale (AGI) richiede modelli capaci di comprendere, ragionare su e generare audio e parlato. Sebbene gli sforzi recenti abbiano prodotto modelli linguistici di grandi dimensioni (LLM) audio per la comprensione e la generazione, una sfida critica rimane: la regressione multimodale. I modelli capaci di input e output multimodali spesso mostrano un significativo degrado nel ragionamento, nella conoscenza e nell'allineamento basati sul testo rispetto ai loro corrispettivi solo testuali. I modelli open-source esistenti spesso mancano di capacità di generazione multimodale, mentre i modelli proprietari (ad es., GPT-4o, Gemini 2.5) integrano queste funzionalità ma non rilasciano i pesi. Inoltre, i modelli unificati esistenti spesso faticano a mantenere le sofisticate capacità di ragionamento e agentiche dei loro backbone solo testuali quando viene aggiunta la generazione audio.

Metodologia

Architettura del Modello

Il documento presenta Nemotron-Labs-Audex-30B-A3B (Audex), un LLM audio-testuale unificato basato su Nemotron-Cascade-2-30B-A3B, un forte LLM text-only Mixture-of-Experts (MoE) basato su un'architettura ibrida Mamba2-Transformer (30B di parametri totali, 3B attivati).

• Design Unificato: Audex utilizza un singolo decoder Transformer. Gli input audio sono elaborati da un Encoder Audio (AF-Whisper finetuned) e proiettati nello spazio di embedding testuale tramite adapter MLP.
• Tokenizzazione: Il vocabolario è stato esteso da 131.072 a 205.312 token per ospitare token audio discreti.
  • Speech (Parlato): Tokenizzato utilizzando X-Codec2 (50 Hz, singolo strato FSQ, vocabolario di 65.536).
  • Non-Speech Audio (Audio non parlato): Tokenizzato utilizzando X-Codec (50 Hz, 4 strati RVQ, vocabolario di 4.096).
  • Generazione: Il modello predice token testuali e token audio quantizzati uniformemente utilizzando la perdita cross-entropy standard. I token speciali (ad es., <speechgen_start>, <audiogen_end>) gestiscono i confini di generazione.
• Decoding: Per l'audio non parlato, un VAE di miglioramento (basato su BigVGAN-v2) ne migliora la qualità. Per lo speech, un decoder ConvNeXt streaming sostituisce il decoder non causale X-Codec2 per un'inferenza più veloce.

Strategia di Addestramento

La pipeline di addestramento prevede una cura meticolosa dei dati (157,4B di token audio, 320,5B di token testuali) e un approccio multi-stadio:

1. Supervised Fine-Tuning (SFT): Gli autori confrontano due strategie:
   • SFT Multi-stadio: Un curriculum che parte da SFT solo testuale, seguito da un "Audio Warmup" (addestramento solo di adapter/embedding), poi "Audio Generation SFT", e infine l'integrazione di "Audio Understanding" e compiti ASR/AST. Questo approccio preserva i meccanismi di attenzione a lungo contesto.
   • SFT Consolidato a Stadio Singolo: Combina tutti i tipi di dati in un unico stadio. Sebbene sia più economico, è stato scoperto che degrada significativamente le prestazioni a lungo contesto (benchmark NIAH).
   • Decisione: La strategia SFT Multi-stadio è stata selezionata per il modello finale per mantenere le capacità di ragionamento testuale.
2. Reinforcement Learning (RL): Il modello subisce il Cascade RL solo testuale e la Multi-domain On-policy Distillation (MOPD), rispecchiando l'addestramento del backbone solo testuale. Questa fase migliora il ragionamento e l'allineamento testuale senza causare l'oblio catastrofico delle capacità audio.
3. Classifier-Free Guidance (CFG): Per migliorare la qualità della generazione, il modello è addestrato con campioni incondizionati (il testo è sostituito da token di padding). In fase di inferenza, la CFG viene applicata con specifici iperparametri: $\lambda \approx 3$ per Text-to-Audio (TTA) e $\lambda \approx 1.5$ per Text-to-Speech (TTS).

Contributi Chiave

1. Architettura Unificata Senza Regressione: Audex raggiunge prestazioni state-of-the-art (SOTA) nella comprensione audio, nel riconoscimento del parlato, nella traduzione, nel TTS e nella generazione audio, preservando l'intelligenza testuale del suo backbone MoE da 30B. A differenza di altri modelli unificati, mostra una regressione marginale o nulla sui benchmark di ragionamento, conoscenza e agenticità.
2. Rilascio Open: Gli autori rilasciano i checkpoint del modello sia per la versione 30B-A3B che per una variante più piccola da 2B (Audex-2B), facilitando la ricerca aperta.
3. Generazione Audio Generale: Audex è l'unico modello open forte dimostrato capace di supportare la generazione audio generale (non parlato) insieme allo speech, unificando text-to-audio e text-to-speech all'interno di un singolo framework LLM autoregressivo.
4. Ricetta di Addestramento: Il documento dettaglia un curriculum specifico (SFT multi-stadio seguito da RL solo testuale) che integra con successo complessi compiti di generazione audio in un LLM capace di ragionamento senza compromettere le sue capacità di lungo contesto o di ragionamento.

Risultati

Capacità Testuali

Audex-30B-A3B eguaglia o supera leggermente il suo backbone solo testuale (Nemotron-Cascade-2) su benchmark chiave:

• Ragionamento: Raggiunge il 91,2% su AIME 2025 e il 92,2% su HMMT Feb25, superando Qwen3-Omni-30B-A3B-Thinking che ha mostrato un degrado significativo.
• Lungo Contesto: Mantiene alte prestazioni su NIAH (99,4% a 256K, 83,4% a 1M), mentre i modelli con SFT a stadio singolo sono scesi quasi a zero.
• Agenticità e Allineamento: Ottiene 57,2 su $\tau^2$-Bench e 81,6 su ArenaHard v2, paragonabile al baseline solo testuale.

Capacità Audio

• Riconoscimento del Parlato: Raggiunge lo stato dell'arte tra i modelli open su OpenASR (media WER del 6,82%) e LibriSpeech rumoroso, superando Step-Audio-R1.1 e Qwen3-Omni-30B-A3B-Thinking.
• Comprensione Audio: Eguaglia i forti baseline su MMAU (75,6) e dimostra una superiore affidabilità su Audio Entailment (95,0) e sulla rilevazione delle allucinazioni CMM.
• Generazione:
  • TTS: Raggiunge un WER di 1,70 su Seed-TTS-Eval (voce fissa).
  • TTA: Raggiunge risultati SOTA tra i modelli con dati pubblici su AudioCaps (66,9 OpenL3 FD) e SongDescriber (62,7 OpenL3 FD), superando i baseline di diffusione come AudioLDM2 e Stable Audio Open.

Significato

Il documento sostiene che Audex rappresenti un passo critico verso l'AGI, dimostrando che possono essere costruiti modelli LLM multimodali nativi capaci sia di comprensione che di generazione senza compromettere l'intelligenza testuale. Integrando con successo la generazione audio in un backbone MoE ad alto ragionamento attraverso una ricetta di addestramento multi-stadio accuratamente curata, Audex colma il divario tra modelli audio specializzati e motori di ragionamento general-purpose. Gli autori sottolineano che il loro approccio evita la "regressione" osservata in altri modelli unificati, provando che le capacità audio possono essere aggiunte a LLM di frontiera mantenendo i loro core di ragionamento, conoscenza e forza agentica.