149 articoli
Il paper propone S2S-ZEST, un framework zero-shot per il trasferimento dello stile emotivo da voce a voce in contesti privi di testo e non paralleli, che preserva contenuto e identità del parlante mentre imita l'emozione di riferimento, dimostrando prestazioni superiori rispetto ai metodi precedenti e un'utilità per l'aumento dei dati nei compiti di riconoscimento emotivo.
Questo articolo propone l'algoritmo TI-DANSE+, un metodo migliorato per la stima distribuita dei segnali nelle reti di sensori acustici wireless che supera i limiti di convergenza lenta del TI-DANSE originale sfruttando somme parziali e strategie di potatura degli alberi, garantendo al contempo una velocità di convergenza paragonabile all'algoritmo DANSE classico e un risparmio di larghezza di banda.
Il paper introduce Human-CLAP, un modello di pre-addestramento contrasto linguaggio-audio basato sulla percezione umana che, addestrato su valutazioni soggettive, supera significativamente il CLAP tradizionale migliorando la correlazione tra i punteggi di similarità e le valutazioni umane.
Il paper presenta VSSFlow, un framework unificato basato sul flusso di matching che risolve congiuntamente la generazione di suoni e parlato condizionata dal video, superando le prestazioni dei modelli specifici per dominio grazie a un meccanismo di aggregazione delle condizioni disaccoppiato e all'apprendimento congiunto.
Il paper presenta VoiceBridge, un modello ponte latente in un singolo passo basato su un autoencoder variazionale a conservazione energetica e un prior neurale congiunto, che permette la generazione efficiente e ad alta fedeltà di parlato a 48 kHz da diverse distorsioni senza necessità di distillazione.
Il paper presenta LARA-Gen, un framework che abilita un controllo continuo e fine-granulare delle emozioni nella generazione musicale allineando le rappresentazioni latenti a un modello di comprensione esterna e disaccoppiando gli attributi emotivi dal contenuto testuale, superando così i limiti dei prompt testuali e ottenendo risultati superiori rispetto alle basi di confronto.
Questo articolo presenta un framework di esperti misti condizionati dal rumore che migliora la verifica robusta del parlante suddividendo lo spazio delle caratteristiche in sottospazi specializzati per diverse condizioni di rumore, utilizzando un meccanismo di instradamento, una strategia di specializzazione e un protocollo di apprendimento curriculare.
Questo studio dimostra che, per il potenziamento del parlato nello spazio latente dei codec neurali audio, la previsione di rappresentazioni continue supera quella dei token discreti, i modelli non autoregressivi offrono il miglior compromesso tra qualità ed efficienza, e il fine-tuning dell'encoder garantisce le metriche di miglioramento più elevate, sebbene a scapito della ricostruzione del codec.
Questo lavoro introduce il primo quadro formale per i modelli di mondo audiovisivi, presentando il dataset AVW-4k e il modello AV-CDiT per simulare dinamiche ambientali sincronizzate in audio e video, dimostrando miglioramenti significativi nelle prestazioni di navigazione continua.
Lo studio dimostra che in conversazioni diadiche rumorose, i parlanti adattano il loro comportamento comunicativo aumentando la complessità dei gesti manuali e modulando i movimenti della testa e del tronco, mentre gli ascoltatori intensificano i segnali di retroazione per migliorare il rapporto segnale-rumore, sebbene la sincronia tra mano e voce subisca una lieve diminuzione.
Questo studio presenta la prima indagine sistematica su come le informazioni relative all'accento siano codificate nei token di rappresentazione del parlato discreto (DSRT), proponendo un nuovo framework di valutazione che rivela come la scelta dei livelli e la supervisione ASR influenzino significativamente la preservazione e il recupero di tali informazioni.
Il paper introduce EDMFormer, un modello transformer basato su apprendimento auto-supervisionato e sul nuovo dataset EDM-98, che supera le limitazioni degli approcci esistenti nella segmentazione strutturale della musica EDM identificando con maggiore precisione sezioni come drop e buildup attraverso l'analisi di energia, ritmo e timbro.
Il documento presenta Fish Audio S2, un sistema open-source di sintesi vocale che supporta la generazione multi-parlante e multi-turno con controllo tramite istruzioni in linguaggio naturale, accompagnato da un motore di inferenza ottimizzato per lo streaming e risorse rilasciate pubblicamente.
Il paper presenta VoxEmo, un benchmark completo per la valutazione dei modelli linguistici vocali nell'ambito del riconoscimento delle emozioni, che affronta le sfide della generazione testuale aperta e dell'ambiguità emotiva attraverso un kit di strumenti standardizzato e protocolli di valutazione adattati alla percezione umana.
Il paper propone la Fattorizzazione Universale del Contenuto del Discorso (USCF), un metodo lineare semplice e invertibile che estrae una rappresentazione del parlato a basso rango preservando il contenuto fonetico e rimuovendo l'identità del parlante, permettendo così una conversione vocale zero-shot competitiva e un addestramento efficiente di modelli di sintesi vocale.
Questo studio analizza le disparità di genere nei modelli di rilevamento dei deepfake audio, dimostrando che l'uso esclusivo delle metriche tradizionali nasconde ingiustizie distributive che possono essere svelate solo attraverso una valutazione specifica dell'equità.
Lo studio dimostra che nei codec audio neurali esiste un compromesso non monotono tra capacità e robustezza, dove configurazioni di quantizzazione intermedia ottimizzano la resistenza agli attacchi avversari mantenendo l'integrità del contenuto linguistico.
Questo studio affronta le sfide di riproducibilità nel campo della separazione delle fonti musicali replicando il modello BSRNN, evidenziando i costi metodologici e pratici della mancanza di codice completo e proponendo un'architettura ottimizzata con prestazioni superiori.
Questo studio valuta sistematicamente diverse strategie di Decodifica Contrastiva per i Modelli Linguistici Audio di grandi dimensioni, identificando le più efficaci e introducendo una matrice di transizione per spiegare come tali metodi correggano specifici errori di inferenza, fornendo così linee guida per l'adattamento in base ai profili di errore dei modelli.
Questo studio propone un modello che rileva il momento ottimale per fornire validazione emotiva nel dialogo parlato giapponese analizzando esclusivamente segnali paralinguistici ed emozioni vocali, senza fare affidamento sul contesto testuale, al fine di migliorare l'interazione empatica tra uomo e robot.