141 articoli
Il paper presenta LongAudio-RAG, un framework ibrido che risolve il problema della risposta a domande su audio di lunga durata convertendo i flussi audio in eventi acustici strutturati e recuperabili tramite SQL, permettendo così a un LLM di generare risposte precise con grounding temporale e ridotte allucinazioni, anche in un'architettura edge-cloud.
Questo rapporto descrive il sistema TCG CREST per la sfida DISPLACE-M, dimostrando che l'uso del sistema ibrido end-to-end Diarizen con clustering gerarchico agglomerativo e filtraggio mediano ha permesso di ottenere una riduzione del 39% dell'errore di diarizzazione rispetto alla baseline SpeechBrain, posizionando il team al sesto posto su 11 partecipanti.
Questo lavoro presenta un nuovo dataset multimodale per l'analisi dei guasti industriali, raccolto da un trasportatore a catena monovelocità e comprendente segnali audio e vibrazionali, progettato per supportare la ricerca sulla fusione multimodale e fornire protocolli di valutazione standardizzati per la rilevazione e la classificazione dei guasti in condizioni operative realistiche.
Questo studio presenta un sistema automatizzato basato su sensori acustici indossabili e modelli di intelligenza artificiale per la segmentazione e classificazione dei suoni intestinali, che riduce il tempo di annotazione manuale del 70% e offre agli clinici uno strumento diagnostico oggettivo e quantitativo con un'accuratezza superiore al 96%.
Lo studio dimostra che scalare i modelli di linguaggio auto-supervisionati da 126 a 4.017 lingue rivela un cambiamento qualitativo non lineare che permette di catturare sia le relazioni genealogiche profonde che i contatti linguistici a lungo termine, come evidenziato dalla formazione di un robusto macro-cluster nel Pacifico basato su firme acustiche condivise.
Il paper propone VASR, un sistema di riconoscimento vocale contestuale che utilizza un ragionamento multimodale a catena di pensiero (AV-CoT) per integrare efficacemente evidenze visive oltre al movimento delle labbra, superando il problema della dominanza di una singola modalità e ottenendo prestazioni all'avanguardia.
Il paper propone un modello di estensione della banda audio basato su Vocos che genera contenuti ad alta frequenza mancanti per segnali da 8 a 48 kHz, ottenendo prestazioni di alta qualità e throughput estremo grazie a un'architettura neurale flessibile e un raffinatore leggero.
Questo lavoro propone un framework di adattamento leggero per modelli di potenziamento vocale che, aggiornando meno dell'1% dei parametri tramite adattatori a basso rango e apprendimento auto-supervisionato, migliora significativamente la robustezza in scenari acustici reali dinamici con costi computazionali ridotti.
Lo studio valuta il compromesso tra privacy e rilevamento del morbo di Parkinson nella voce, dimostrando che l'anonimizzazione tramite kNN-VC, pur proteggendo l'identità, preserva sufficienti caratteristiche acustiche per mantenere un'alta accuratezza diagnostica, a differenza del metodo STT-TTS che degrada le prestazioni eliminando le informazioni prosodiche.
Questo articolo presenta un framework di generazione procedurale basato sull'analisi che produce il "Procedural Engine Sounds Dataset", un insieme di 19 ore di suoni di motori sintetizzati con annotazioni di controllo RPM e coppia a precisione campionaria, validato per supportare la ricerca nel campo della modellazione acustica e della sintesi neurale.
SoundWeaver è il primo sistema di serving training-free e agnostico rispetto al modello che accelera la generazione di audio da testo tramite modelli di diffusione, riducendo la latenza fino a 3 volte riutilizzando audio cached semanticamente simili senza comprometterne la qualità.
Il paper presenta WhispEar, un framework bidirezionale che utilizza la generazione di sussurri pseudo-paralleli da parte di un modello di conversione normale-sussurrato per scalare l'addestramento della conversione sussurro-parlato, superando le limitazioni dei dati e ottenendo risultati superiori rispetto ai metodi esistenti.
Il paper presenta FoleyFlow, un nuovo metodo che allinea encoder audio-visivi tramite modellazione mascherata e utilizza un flusso condizionale dinamico per generare audio sincronizzato semanticamente e ritmicamente con i video di input, superando le prestazioni dei metodi precedenti.
Il paper presenta DualTurn, un modello preaddestrato su audio conversazionale a doppio canale che genera autonomamente le future interazioni vocali per imparare dinamiche naturali di turno e prevedere azioni di agente con prestazioni superiori rispetto agli approcci esistenti.
Questo lavoro presenta il primo studio sistematico sul ragionamento consapevole dell'ambiguità nei grandi modelli audio-linguistici, riformulando il riconoscimento delle emozioni come un problema distribuzionale e dimostrando miglioramenti significativi attraverso un obiettivo allineato alle distribuzioni percettive umane e una supervisione strutturata del pensiero a catena.
Questo studio introduce la Matrice di Transfer Cross-Lingual (CLTM), un metodo sistematico per quantificare le interazioni cross-linguistiche in compiti paralinguistici come l'identificazione del genere e la verifica del parlante, rivelando attraverso l'uso di un encoder multilingue basato su HuBERT che l'efficacia del transfer dipende in modo sistematico sia dal compito specifico che dalle lingue coinvolte.
Il paper propone un framework di riconoscimento del parlato audiovisivo (AVSR) per scenari privi di risorse, che utilizza stream visivi sintetici generati tramite sincronizzazione labiale su immagini statiche per addestrare modelli su lingue come il catalano, ottenendo prestazioni vicine allo stato dell'arte e superiori ai baselines audio-only.
Questo capitolo esamina i recenti progressi nei modelli computazionali che, attraverso l'apprendimento auto-supervisionato e la fondazione visiva, spiegano come gli infanti acquisiscano il linguaggio da input acustici e audiovisivi senza ricorrere a precondizioni linguistiche, dimostrando come principi di apprendimento condivisi possano unificare diverse teorie sullo sviluppo cognitivo.
Il paper introduce Trilobyte, un nuovo schema di tokenizzazione a livello di byte che rende fattibile la compressione audio lossless basata su modelli linguistici per audio ad alta fedeltà (fino a 24 bit), superando i limiti computazionali delle tokenizzazioni precedenti e dimostrando prestazioni superiori al formato FLAC, sebbene con guadagni di compressione che diminuiscono all'aumentare della profondità di bit.
Questo studio dimostra che quattro recenti modelli di soppressione del rumore profondo possono essere resi inintelligibili dall'aggiunta di rumore avversario psicologicamente nascosto, evidenziando la necessità di contromisure pratiche prima del loro utilizzo in applicazioni critiche per la sicurezza.