163 articoli
Lo studio dimostra che il fine-tuning LoRA del backbone LLM Qwen-0.5B, se supportato da dati di addestramento sufficientemente diversificati, migliora significativamente la coerenza vocale, la fedeltà del parlante e il rapporto segnale-rumore nei sistemi TTS rispetto ai modelli congelati.
Il paper propone un metodo di inferenza multi-step privo di addestramento per l'estrazione della voce del parlante target, che affina iterativamente la stima utilizzando un modello preaddestrato congelato e ottimizzando metriche intrusive o non intrusive per bilanciare le prestazioni in scenari pratici.
Il paper presenta V2M-Zero, un approccio di generazione zero-shot che allinea temporalmente la musica al video sfruttando le curve di eventi temporali calcolate indipendentemente per ciascuna modalità, ottenendo risultati superiori rispetto ai metodi basati su dati accoppiati senza richiedere training incrociato.
Il paper propone CSP-FT, una strategia di parziale fine-tuning specifico per le caratteristiche che, aggiornando solo circa l'8% dei parametri, migliora l'adattamento a emozioni e voci non viste nei modelli TTS basati su LLM, riducendo i tempi di addestramento e mitigando l'oblio catastrofico senza compromettere fedeltà e intelligibilità.
Il paper introduce HVAC-EAR, un sistema che ricostruisce la voce umana intelligibile dai dati di pressione dei sistemi HVAC, sfruttando un modello complesso per superare le limitazioni del rumore e della bassa frequenza di campionamento e rivelando nuove preoccupazioni per la privacy fino a 1,2 metri di distanza.
Il paper propone un nuovo framework end-to-end per il riconoscimento visivo-uditivo del parlato che, eliminando la necessità di maschere esplicita per la rimozione del rumore, utilizza un modulo di fusione basato su Conformer per migliorare implicitamente le caratteristiche audio tramite quelle video, ottenendo prestazioni superiori rispetto ai metodi esistenti in condizioni rumorose.
Questo articolo propone un framework acustico compatto che combina un codificatore CNN multi-ramo con un'unità di memoria Legendre (LMU) e una fusione di ensemble calibrata per migliorare la classificazione cross-dominio dei pianti infantili, affrontando le sfide legate alla non stazionarietà dei segnali, alla scarsità di annotazioni e ai forti spostamenti di dominio.
Il paper introduce Whisper-RIR-Mega, un nuovo benchmark di dati accoppiati (puliti e riverberati) basato su LibriSpeech e RIR-Mega per valutare la robustezza dei modelli ASR Whisper alle acustiche degli ambienti, dimostrando come il riverbero degradi sistematicamente le prestazioni.
Il paper presenta Omni-C, un singolo encoder denso basato su Transformer che comprime modalità eterogenee (immagini, audio e testo) in rappresentazioni condivise tramite pre-addestramento contrastivo, eliminando la necessità di architetture Mixture-of-Experts e riducendo significativamente l'uso di memoria rispetto ai modelli multimodali tradizionali.
Il paper propone DKSD-AE, un autoencoder strutturato che combina l'operatore di Koopman e la normalizzazione istanza per disaccoppiare dinamicamente le caratteristiche del parlante dal contenuto linguistico, ottenendo prestazioni competitive nella verifica dell'identità vocale senza supervisione testuale e con un numero ridotto di parametri.
Questo studio dimostra che la selezione mirata di un sottogruppo di dati basato su embedding che catturano attributi del parlante, contenuto fonetico e significato semantico consente di migliorare significativamente le prestazioni dei modelli di riconoscimento vocale specialistici su domini specifici, riducendo l'errore di parole fino al 36,8% rispetto all'addestramento su dataset completi.
Il paper introduce il dataset multilingue ML-ITW per valutare la capacità di generalizzazione dei rilevatori di deepfake vocali in scenari reali, dimostrando che le attuali metodologie subiscono un significativo calo delle prestazioni a causa delle diverse lingue e delle condizioni acustiche complesse.
Il paper introduce TempoSyncDiff, un framework di diffusione latente basato su distillazione che genera volti parlanti guidati dall'audio con alta fedeltà temporale e bassa latenza, rendendo possibile il loro utilizzo su dispositivi edge.
Lo studio RAPTOR dimostra che, per la rilevazione di deepfake audio, la traiettoria di pre-addestramento multilingue di modelli SSL compatti come HuBERT è più determinante della scala del modello per garantire robustezza cross-dominio e una corretta calibrazione dell'incertezza.
Il paper presenta Whisper-CD, un framework di decoding contrastivo senza addestramento che riduce significativamente le allucinazioni e aumenta l'efficienza nel riconoscimento vocale a lungo termine confrontando i logit dell'audio pulito con quelli generati da perturbazioni acustiche negative.
Questo studio empirico evidenzia le sfide dell'adattamento dei modelli di riconoscimento vocale alle lingue indigene del Pacifico a risorse limitate, dimostrando come le strategie attuali come il LoRA affrontino il dilemma tra plasticità e stabilità e portino a una grave dimenticanza catastrofica durante l'apprendimento continuo.
Il paper propone una strategia di post-addestramento basata su confini prosodici per modelli TTS LLM, che risolve le sfide della generazione in streaming con input testuale incrementale prevenendo il crollo del contesto e migliorando significativamente la qualità dell'audio e la precisione lessicale.
Il paper presenta RAMoEA-QA, un modello generativo gerarchico che utilizza un meccanismo di routing a due stadi per specializzare dinamicamente l'elaborazione audio e la generazione linguistica, ottenendo prestazioni superiori e una maggiore robustezza nella risposta a domande su registrazioni respiratorie rispetto ai metodi esistenti.
Questo articolo presenta la prima revisione sistematica dei Modelli Audio-Linguistici, offrendo una panoramica completa, una tassonomia unificata e un'analisi del panorama di ricerca per guidare lo sviluppo futuro e le applicazioni pratiche in ambito audio.
Il paper presenta un metodo di adattamento testuale leggero per i sistemi ASR basati su LLM, che tratta l'adattamento come un'attività di denoising del testo per migliorare le prestazioni nei nuovi domini preservando l'allineamento multimodale senza richiedere modifiche architetturali.