162 articoli
Questo lavoro propone un framework di adattamento leggero per modelli di potenziamento vocale che, aggiornando meno dell'1% dei parametri tramite adattatori a basso rango e apprendimento auto-supervisionato, migliora significativamente la robustezza in scenari acustici reali dinamici con costi computazionali ridotti.
Lo studio valuta il compromesso tra privacy e rilevamento del morbo di Parkinson nella voce, dimostrando che l'anonimizzazione tramite kNN-VC, pur proteggendo l'identità, preserva sufficienti caratteristiche acustiche per mantenere un'alta accuratezza diagnostica, a differenza del metodo STT-TTS che degrada le prestazioni eliminando le informazioni prosodiche.
Questo lavoro introduce un nuovo framework di avvelenamento mirato per la sintesi vocale zero-shot (SGSP) che modifica i modelli TTS per impedire la generazione di identità vocali specifiche, valutando il compromesso tra privacy e utilità e dimostrando efficacia fino a 15 speaker prima di incontrare limiti di scalabilità.
Questo lavoro introduce "Nwāchā Munā", un nuovo corpus di parlato in Devanagari di 5,39 ore per la lingua Nepal Bhasha, e dimostra che il trasferimento prossimale da una lingua adiacente come il Nepalese può raggiungere prestazioni di riconoscimento vocale paragonabili a modelli multilingue su larga scala, offrendo una soluzione efficiente per le risorse limitate.
Questo articolo presenta un framework di generazione procedurale basato sull'analisi che produce il "Procedural Engine Sounds Dataset", un insieme di 19 ore di suoni di motori sintetizzati con annotazioni di controllo RPM e coppia a precisione campionaria, validato per supportare la ricerca nel campo della modellazione acustica e della sintesi neurale.
Il paper presenta VoiceSHIELD-Small, un modello leggero basato su Whisper-small che rileva in tempo reale e trascrive comandi vocali dannosi con un'accuratezza del 99,16%, superando i limiti dei metodi tradizionali basati sulla trascrizione testuale.
SoundWeaver è il primo sistema di serving training-free e agnostico rispetto al modello che accelera la generazione di audio da testo tramite modelli di diffusione, riducendo la latenza fino a 3 volte riutilizzando audio cached semanticamente simili senza comprometterne la qualità.
Questo articolo presenta una pipeline modulare per l'adattamento di dominio non supervisionato nella rilevazione di deepfake audio, che combina trasformazioni statistiche e allineamento CORAL per migliorare la generalizzazione cross-dominio senza dati target etichettati, offrendo un compromesso tra prestazioni e interpretabilità.
Il paper presenta MambaDance, un nuovo approccio per la generazione di danza che sostituisce i modelli Transformer con un'architettura di diffusione basata su Mamba e utilizza una rappresentazione dei battiti musicali di tipo gaussiano per produrre movimenti realistici e sincronizzati con la musica su sequenze di qualsiasi durata.
Il paper presenta WhispEar, un framework bidirezionale che utilizza la generazione di sussurri pseudo-paralleli da parte di un modello di conversione normale-sussurrato per scalare l'addestramento della conversione sussurro-parlato, superando le limitazioni dei dati e ottenendo risultati superiori rispetto ai metodi esistenti.
Il paper introduce PathBench, un benchmark unificato per la valutazione automatica dell'intelligibilità del parlato patologico basato su dataset pubblici, che stabilisce linee di base comparative per diversi metodi e protocolli e propone il nuovo approccio DArtP per la precisione articolatoria.
Il paper presenta FoleyFlow, un nuovo metodo che allinea encoder audio-visivi tramite modellazione mascherata e utilizza un flusso condizionale dinamico per generare audio sincronizzato semanticamente e ritmicamente con i video di input, superando le prestazioni dei metodi precedenti.
Questo studio introduce un metodo innovativo basato su spettrogrammi e reti neurali convolutive che supera le tecniche tradizionali MFCC nella classificazione multietichetta dei suoni sudasiatici, ottenendo prestazioni superiori sui dataset SAS-KIIT e UrbanSound8K.
Il paper propone ESC, un metodo di calibrazione basato su strategie evolutive che risolve le sfide specifiche della quantizzazione a bassa precisione nei modelli di elaborazione del parlato, garantendo prestazioni quasi senza perdite fino alla quantizzazione INT4.
Il paper presenta DualTurn, un modello preaddestrato su audio conversazionale a doppio canale che genera autonomamente le future interazioni vocali per imparare dinamiche naturali di turno e prevedere azioni di agente con prestazioni superiori rispetto agli approcci esistenti.
Questo lavoro presenta il primo studio sistematico sul ragionamento consapevole dell'ambiguità nei grandi modelli audio-linguistici, riformulando il riconoscimento delle emozioni come un problema distribuzionale e dimostrando miglioramenti significativi attraverso un obiettivo allineato alle distribuzioni percettive umane e una supervisione strutturata del pensiero a catena.
Questo articolo propone un nuovo vocodere neurale scalabile basato sulla decomposizione rango-nullo nel dominio tempo-frequenza, che combina proiezioni matematiche e reti neurali per ottenere prestazioni all'avanguardia con un'architettura leggera e flessibile.
Il paper introduce Trilobyte, un nuovo schema di tokenizzazione a livello di byte che rende fattibile la compressione audio lossless basata su modelli linguistici per audio ad alta fedeltà (fino a 24 bit), superando i limiti computazionali delle tokenizzazioni precedenti e dimostrando prestazioni superiori al formato FLAC, sebbene con guadagni di compressione che diminuiscono all'aumentare della profondità di bit.
Questo studio dimostra che quattro recenti modelli di soppressione del rumore profondo possono essere resi inintelligibili dall'aggiunta di rumore avversario psicologicamente nascosto, evidenziando la necessità di contromisure pratiche prima del loro utilizzo in applicazioni critiche per la sicurezza.
Questo articolo propone un metodo robusto per l'estrazione del parlante target audio-visivo che, sfruttando la fusione di più registrazioni e un addestramento con alti tassi di dati mancanti, mantiene prestazioni elevate anche in presenza di interruzioni dei segnali visivi o uditivi tipici degli scenari reali.