141 articoli
Il paper propone ImKWS, un metodo di adattamento al momento del test per il rilevamento di parole chiave che risolve il problema dello squilibrio di classe tra parole rare e rumori di fondo, migliorando l'accuratezza in scenari realistici senza richiedere dati etichettati.
Il paper presenta JHCodec, un codec audio neurale che utilizza una funzione di perdita di ricostruzione delle rappresentazioni auto-supervisionate (SSRR) per ottenere un'alta intelligibilità e una bassa latenza nel streaming, consentendo un'architettura a zero lookahead e riducendo significativamente i costi di addestramento.
Questo studio introduce un metodo post-hoc e senza riaddestramento basato sull'attivazione steering per neutralizzare l'accento nei modelli Text-to-Speech zero-shot preservando al contempo il timbro vocale originale del parlante.
Il paper propone StreamVoiceAnon+, un metodo di anonimizzazione speaker in streaming che preserva le emozioni attraverso un fine-tuning supervisionato e una distillazione emotiva a livello di frame, ottenendo un miglioramento significativo nella conservazione delle emozioni senza compromettere l'intelligibilità, la privacy o la latenza.
Il paper presenta Whisper-CD, un framework di decoding contrastivo senza addestramento che riduce significativamente le allucinazioni e aumenta l'efficienza nel riconoscimento vocale a lungo termine confrontando i logit dell'audio pulito con quelli generati da perturbazioni acustiche negative.
Questo studio empirico evidenzia le sfide dell'adattamento dei modelli di riconoscimento vocale alle lingue indigene del Pacifico a risorse limitate, dimostrando come le strategie attuali come il LoRA affrontino il dilemma tra plasticità e stabilità e portino a una grave dimenticanza catastrofica durante l'apprendimento continuo.
Questo studio cross-linguistico analizza la classificazione del parlato di bambini autistici e non autistici in finlandese, francese e slovacco, rivelando che sebbene alcuni segnali acustici siano condivisi, le prestazioni dei modelli variano significativamente tra le lingue, suggerendo la necessità di approcci che tengano conto delle specificità linguistiche e delle condizioni di registrazione.
Questo studio analizza le differenze prosodiche tra bambini autistici e non autistici in finlandese, francese e slovacco, rivelando un profilo acustico distinto e trasversale alle lingue caratterizzato da una maggiore variabilità dell'intensità e da una qualità vocale più chiara, sfidando così i modelli basati sul deficit.
Il paper presenta un sistema robusto e open-source che combina diarizzazione neurale e ASR per estrarre condizioni mediche da dialoghi clinici Hinglish sovrapposti, ottenendo il primo posto nella sfida DISPLACE-M grazie a un'architettura a cascata che supera i modelli proprietari in termini di accessibilità e competitività.
Questo articolo propone un approccio di intelligenza artificiale informato dalla comunità per sviluppare strumenti multidisciplinari che analizzino i video delle telecamere indossabili dalla polizia, integrando le prospettive dei cittadini per migliorare la trasparenza e la responsabilità governativa.
Questo articolo presenta la prima revisione sistematica dei Modelli Audio-Linguistici, offrendo una panoramica completa, una tassonomia unificata e un'analisi del panorama di ricerca per guidare lo sviluppo futuro e le applicazioni pratiche in ambito audio.
Questo lavoro propone un metodo di adattamento testuale-only per sistemi ASR basati su LLM, formulando il processo come un'attività di denoising del testo che permette di adattarsi a nuovi domini preservando l'allineamento cross-modale e ottenendo miglioramenti significativi rispetto agli stati dell'arte.
Questo studio dimostra che i modelli di linguaggio auto-supervisionati per la codifica del parlato organizzano le informazioni fonetiche in vettori lineari e composizionali che permettono di eseguire operazioni aritmetiche per generare e modulare tratti fonologici attraverso diverse lingue.
Il paper presenta V2A-DPO, un innovativo framework di ottimizzazione diretta delle preferenze progettato per allineare i modelli di generazione audio da video basati su flussi alle preferenze umane attraverso un sistema di valutazione AudioScore, una pipeline automatizzata per la creazione di dati e una strategia di apprendimento curricolare, ottenendo prestazioni superiori rispetto agli approcci esistenti.
Questo studio indaga se un modello linguistico addestrato su testo possa localizzare parole contraffatte in discorsi parzialmente manipolati, rivelando che, sebbene efficace nel riconoscere specifici stili di editing nei dati di addestramento, il modello fatica a generalizzare verso stili di modifica non visti in precedenza.
Lo studio dimostra che l'utilizzo di un modello pre-addestrato XLS-R, ottimizzato con solo i primi tre livelli per ridurre i requisiti computazionali, permette di rilevare con alta precisione le attività di tosse in registrazioni audio per lo screening automatico della tubercolosi, superando le prestazioni di modelli alternativi e rendendo fattibile l'integrazione in applicazioni per smartphone.
Il paper propone una tecnica di "self-speculative decoding" che utilizza un encoder CTC come modello di bozza per accelerare l'inferenza e migliorare l'accuratezza nei sistemi di riconoscimento vocale basati su LLM, ottenendo risultati record su nove corpora con un significativo aumento della velocità di decodifica e una minima perdita di precisione.
Il paper propone Fair-Gate, un framework interpretabile di gestione del rischio che affronta le disparità di genere nei sistemi biometrici vocali mitigando l'apprendimento di scorciatoie demografiche e l'entanglement delle caratteristiche, migliorando così l'equità senza compromettere le prestazioni di verifica.
Questo studio dimostra che l'adattamento tramite pre-addestramento continuo di wav2vec2-bert-2.0 su dati non etichettati e un limitato set di 20.000 campioni etichettati consente di raggiungere prestazioni all'avanguardia nel riconoscimento automatico del parlato in swahili, riducendo l'errore di 3,24% e superando di gran lunga i sistemi precedenti.
Il paper presenta AnimeScore, un framework basato su preferenze e un dataset di 15.000 giudizi a coppie che superano i limiti delle valutazioni soggettive tradizionali per fornire una metrica oggettiva e automatizzata dell'animosità vocale, rivelando che tale caratteristica è guidata da fattori acustici complessi come la modellazione della risonanza e la continuità prosodica piuttosto che dal semplice tono alto.