132 articoli
Questa tesi propone un approccio olistico per la modellazione delle emozioni nel linguaggio parlato, combinando l'apprendimento di rappresentazioni acustiche e semantiche, architetture gerarchiche per il riconoscimento emotivo in contesti conversazionali e un framework senza testo per il trasferimento controllato dello stile emotivo che preserva l'identità del parlante.
Il paper propone SPAR-K, un framework di uscita anticipata modale-aware che accelera l'inferenza dei modelli linguistici parlati intercalati riducendo la profondità di decodifica fino all'11% con un impatto trascurabile sulla qualità percettiva e sull'accuratezza, superando le strategie di uscita anticipata basate sulla confidenza tipiche dei LLM testuali.
Questo studio valuta sistematicamente diverse strategie di Decodifica Contrastiva per i Modelli Linguistici Audio di grandi dimensioni, identificando le più efficaci e introducendo una matrice di transizione per spiegare come tali metodi correggano specifici errori di inferenza, fornendo così linee guida per l'adattamento in base ai profili di errore dei modelli.
Il paper presenta StuPASE, un nuovo modello di potenziamento vocale basato su PASE che combina un'addestramento mirato alla rimozione della riverberazione e un modulo di generazione basato sul flow-matching per ottenere una qualità vocale da studio con un minimo di allucinazioni, superando i metodi attuali.
Il modello Pulse-Train-Resonator (PTR) proposto supera i metodi di sintesi neurali tradizionali modellando direttamente la struttura temporale degli impulsi di scarico e le risonanze fisiche, ottenendo una ricostruzione armonica superiore e parametri interpretabili per il suono dei motori.
Questo articolo presenta un framework end-to-end per il riconoscimento di parole chiave in ambienti rumorosi che, sfruttando segnali multicanale, codifica spaziale e prior direzionali, supera i limiti dei sistemi convenzionali a cascata ottenendo una maggiore robustezza e prestazioni ottimali.
Questo lavoro propone un formalismo di equazioni differenziali stocastiche interpolanti (iSDE) e un relativo solver rapido che, riducendo a sole 10 valutazioni della rete neurale il processo di campionamento inverso, abilita un'efficiente risoluzione dei modelli di diffusione per il ripristino della voce, superando i limiti degli attuali metodi di campionamento veloce.
Il paper introduce Speech-Omni-Lite, un framework efficiente che estende i modelli visione-linguaggio pre-addestrati con capacità di comprensione e generazione vocale tramite moduli leggeri e un piano di addestramento su dati sintetici, ottenendo prestazioni paragonabili a modelli omni-scale molto più costosi.
Questo articolo presenta un nuovo approccio per la generazione di risposte all'impulso della stanza (RIR) mediante il fine-tuning di un modello pre-addestrato per la sintesi audio da testo, superando la scarsità di dati tramite l'uso di modelli visione-linguaggio per l'etichettatura e strategie di apprendimento in contesto per la generazione di RIR plausibili utili all'augmentazione dei dati vocali.
Il paper introduce MUGEN, un benchmark completo che rivela le carenze dei modelli audio-linguistici nella comprensione di più audio simultanei e dimostra che strategie di inferenza senza addestramento, come la permutazione degli input e il ragionamento a catena, possono migliorare significativamente le prestazioni.
Il paper presenta DRES, un nuovo dataset di 1,5 ore di parlato semi-spontaneo olandese registrato in ambienti rumorosi, utilizzato per valutare modelli di riconoscimento e enhancement vocale, rivelando che l'applicazione di algoritmi di enhancement a singolo canale non migliora le prestazioni ASR in scenari realistici.
Questo articolo propone l'algoritmo dMWF, una soluzione non iterativa e ottimale per il filtraggio di Wiener multicanale distribuito nelle reti di sensori acustici wireless, che supera i limiti di convergenza e di assunzione delle fonti esistenti consentendo ai nodi di collaborare per stimare segnali vocali specifici anche quando osservano insiemi di sorgenti differenti.
Questo articolo presenta il MLVAS, un sistema multimodale che combina analisi video e audio per estrarre segmenti clinici rilevanti e generare metriche oggettive al fine di assistere nella diagnosi della paralisi delle corde vocali.
Il paper presenta ExpGest, un nuovo framework basato su modelli di diffusione che genera gesti espressivi a corpo intero sincronizzando informazioni audio e testuali, superando i limiti dei metodi esistenti grazie a un classificatore di emozioni del rumore e a una migliore generalizzazione semantica.
Questo documento presenta il Task 5 della sfida DCASE 2025, un benchmark per la risposta alle domande audio (AQA) che valuta la capacità di ragionamento acustico dei modelli linguistico-audio su tre sottogruppi di domini diversi, fornendo dataset, protocolli di valutazione e risultati preliminari di sistemi baselines.
Il documento presenta BemaGANv2, un vocoder basato su GAN avanzato per la generazione audio a lungo termine che integra innovazioni architetturali come il modulo AMP e una valutazione sistematica di diverse strategie di combinazione dei discriminatori, tra cui il nuovo Multi-Envelope Discriminator, per migliorare coerenza temporale e fedeltà del suono.
Il paper presenta WaLi, un attacco che dimostra come i sensori di pressione negli impianti HVAC possano essere sfruttati per ricostruire e intercettare discorsi umani intelligibili, superando le limitazioni dei lavori precedenti e proponendo al contempo soluzioni difensive.
Il paper presenta SUBARU, un approccio pratico che riduce il consumo energetico degli auricolari intelligenti del 3,31 volte sfruttando la sottocampionatura e la bassa risoluzione dei convertitori analogico-digitali, pur garantendo un'efficace enhancement del parlato in tempo reale tramite un innovativo metodo di upsampling.
Il paper presenta ECHO, un modello fondazionale innovativo che integra un'architettura a bande divise e embedding posizionali frequenziali per elaborare segnali macchina di lunghezza variabile e a diversi tassi di campionamento, ottenendo prestazioni all'avanguardia nell'individuazione di anomalie e nella classificazione dei guasti.
Il paper presenta LibriTTS-VI, il primo corpus pubblico per il controllo numerico delle impressioni vocali, e propone metodi innovativi di addestramento disaccoppiato e privi di riferimento per mitigare la fuoriuscita di impressione e migliorare significativamente la precisione del controllo nella sintesi vocale.