163 articoli
Questo paper propone un approccio di apprendimento curricolare multi-fattore guidato dalla dinamica di addestramento, che utilizza il framework TSE-Datamap per ottimizzare la selezione progressiva dei dati e migliorare l'estrazione del parlante target in scenari complessi.
Il paper presenta TW-Sound580K, un dataset audio-testo taiwanese curato tramite un protocollo di verifica e generazione che, unito a una strategia di arbitrato dinamico, permette al modello Tai-LALM di migliorare significativamente le prestazioni nella comprensione del linguaggio e delle prosodie dialettali locali.
Questo lavoro presenta PolyBench, un benchmark progettato per valutare il ragionamento composizionale in audio polifonico, rivelando che i modelli linguistici audio di ultima generazione mostrano prestazioni significativamente inferiori quando devono elaborare eventi sonori multipli e concorrenti.
Il paper presenta ASR-TRA, un nuovo framework di adattamento test-time basato sull'apprendimento per rinforzo che utilizza ricompense semantiche audio-testo per migliorare la robustezza e l'accuratezza dei sistemi di riconoscimento vocale in condizioni reali difficili, superando i limiti dei metodi basati sulla minimizzazione dell'entropia.
Il paper presenta SarcasmMiner, un framework di post-addestramento basato su apprendimento per rinforzo che utilizza una strategia di distillazione a doppio binario e ottimizzazione GRPO per migliorare il ragionamento robusto sulla sarcasmia audio-visiva, ottenendo un F1 del 70,22% sul dataset MUStARD++.
Il paper presenta WavSLM, un modello linguistico per il parlato che, tramite la distillazione di rappresentazioni WavLM in un unico codice e l'ottimizzazione di un obiettivo di previsione autoregressiva, riesce a modellare congiuntamente informazioni semantiche e acustiche in un singolo flusso di token senza supervisione testuale, ottenendo prestazioni competitive con minori parametri e dati di addestramento.
Il paper propone SLICE, un metodo di potenziamento vocale che inietta condizionamenti di degradazione a livello di ogni strato di un modello diffusion invece che solo all'ingresso, superando così le limitazioni delle tecniche precedenti nel gestire corruzioni multiple e complesse.
Il paper presenta Latent-Mark, il primo framework di watermarking audio a zero bit che garantisce robustezza contro la risintesi neurale inserendo il marchio nello spazio latente invariante del codec, ottimizzando le perturbazioni del segnale attraverso più codec per preservare l'invisibilità e garantire un trasferimento zero-shot su codec non visti.
Il paper presenta MSpoof-TTS, un framework di inferenza senza addestramento che migliora la sintesi vocale discreta zero-shot integrando una rilevazione di spoofing multi-risoluzione in una strategia di decodifica gerarchica per eliminare le imperfezioni e aumentare la robustezza senza modificare i parametri del modello.
Questo tutorial tecnico illustra come costruire agenti vocali aziendali in tempo reale utilizzando un'architettura a pipeline di streaming (STT, LLM e TTS) invece dei modelli nativi speech-to-speech, ottenendo una latenza estremamente bassa e rilasciando un codice completo e testato.
Il paper propone un'architettura neurale per la separazione e il potenziamento della voce che integra un meccanismo di uscita anticipata probabilistico e basato sull'incertezza, permettendo di risparmiare risorse computazionali su dispositivi eterogenei senza compromettere la qualità del segnale ricostruito.
Il paper introduce MeanFlowSE, un modello generativo condizionale che supera il collo di bottiglia dell'inferenza multistep nell'enhancement vocale in tempo reale apprendendo la velocità media su intervalli finiti per ottenere una generazione in un singolo passaggio ad alta fedeltà senza necessità di distillazione della conoscenza.
Questo articolo presenta LadderSym, un nuovo trasformatore multimodale che supera i metodi esistenti per il rilevamento degli errori nella pratica musicale, ottenendo significativi miglioramenti nell'accuratezza grazie a un'architettura a due stream con allineamento inter-flusso e all'uso di prompt simbolici per ridurre le ambiguità spettrali.
Lo studio dimostra che i modelli audio auto-supervisionati ad alte prestazioni sviluppano rappresentazioni interne più simili all'attività cerebrale, rivelando una forte correlazione positiva tra l'accuratezza nei compiti uditivi e l'allineamento con la corteccia uditiva, suggerendo che tale somiglianza biologica emerga come sottoprodotto dell'apprendimento non supervisionato.
Il paper propone OASI, un metodo di inizializzazione per l'ottimizzazione bayesiana multi-obiettivo che utilizza soluzioni generate tramite ricottura simulata per migliorare l'efficienza e la robustezza nella progettazione di modelli di keyword spotting per TinyML, garantendo il rispetto dei vincoli di memoria su microcontrollori.
Questo paper introduce CMI-RewardBench, un ecosistema completo per la valutazione dei modelli di ricompensa musicale basato su istruzioni multimodali compositive, che include dataset su larga scala, un benchmark unificato e modelli di ricompensa efficienti che dimostrano una forte correlazione con i giudizi umani e abilitano un efficace scaling al momento dell'inferenza.
Il framework automatizzato SMMA, basato sull'intelligenza artificiale, misura con precisione lo spessore del muscolo genioioideo durante la fonazione, consentendo studi su larga scala dei meccanismi del controllo motorio del parlato e delle patologie di deglutizione.
Il paper introduce ACES, un metodo di audit basato su sottospazi rappresentativi che rivela come le informazioni relative agli accenti nei sistemi ASR siano concentrate in sottospazi a bassa dimensionalità e profondamente intrecciate con le caratteristiche critiche per il riconoscimento, rendendo questi sottospazi strumenti diagnostici essenziali piuttosto che semplici leve per l'eliminazione delle disparità.
Il rapporto tecnico presenta il sistema del team CP-JKU per la sfida MSR ICASSP 2025, che combina un separatore BandSplit-RoFormer addestrato con un curriculum a tre stadi e un restorer HiFi++ GAN specializzato per il recupero di stem strumentali originali da audio mixati e masterizzati.
Il paper presenta FastWave, un modello di diffusione ottimizzato per la super-risoluzione audio che, con soli 1,3 milioni di parametri e una complessità computazionale ridotta, supera le prestazioni di NU-Wave 2 offrendo un addestramento e un'inferenza significativamente più veloci rispetto alle soluzioni state-of-the-art.