141 artigos
O artigo apresenta o LongAudio-RAG, um framework híbrido que responde a perguntas sobre áudios de longa duração ao converter gravações em registros de eventos estruturados para recuperação precisa e geração de respostas por modelos de linguagem, demonstrando sua eficácia e viabilidade em uma arquitetura de borda-nuvem.
Este relatório descreve o sistema TCG CREST para o desafio DISPLACE-M, demonstrando que uma abordagem híbrida end-to-end baseada no WavLM (Diarizen) superou significativamente a linha de base SpeechBrain, alcançando uma taxa de erro de diarização (DER) de 9,21% e a sexta posição entre 11 equipes.
Este artigo apresenta um novo conjunto de dados multimodal para análise de falhas industriais, coletado de um transportador de corrente de velocidade única com sinais de áudio e vibração, projetado para suportar pesquisa em detecção de falhas e fusão multimodal sob diversas condições operacionais e de ruído.
Este estudo apresenta um sistema automatizado de segmentação e classificação de sons intestinais, utilizando sensores acústicos vestíveis e modelos de aprendizado profundo, que oferece uma avaliação objetiva e quantitativa da atividade gastrointestinal, reduzindo significativamente o tempo de anotação manual e apoiando o diagnóstico clínico.
O estudo demonstra que a expansão da cobertura linguística em modelos de fala auto-supervisionados de 126 para 4.017 línguas desencadeia uma mudança qualitativa não linear, permitindo a recuperação de linhagens filogenéticas profundas e a identificação de um macro-cluster robusto no Pacífico, evidenciando que esses modelos em larga escala conseguem capturar múltiplas camadas da história linguística e de contato.
Este artigo apresenta o VASR, um modelo de reconhecimento de fala que utiliza raciocínio multimodal e uma cadeia de pensamento áudio-visual (AV-CoT) para integrar e analisar o contexto visual rico (como cenas e texto na tela) além dos movimentos labiais, superando a dependência excessiva de uma única modalidade e alcançando desempenho state-of-the-art em reconhecimento de fala contextualizado.
Este artigo apresenta um modelo de extensão de largura de banda baseado no Vocos que gera conteúdo de alta frequência ausente em áudio de 8 a 48 kHz com qualidade competitiva e eficiência extrema, alcançando taxas de processamento em tempo real de 0,0001 em GPU e 0,0053 em CPU.
Este trabalho propõe um framework leve para adaptação on-device de modelos de aprimoramento de fala em ambientes acústicos dinâmicos, que atualiza menos de 1% dos parâmetros do modelo base via adaptadores de baixo posto e treinamento auto-supervisionado, alcançando melhorias significativas na qualidade perceptiva com rápida convergência em cenários de ruído desafiadores.
Este artigo avalia o equilíbrio entre privacidade e detecção de Parkinson em fala anonimizada, demonstrando que o método kNN-VC preserva características acústicas essenciais para manter a eficácia do diagnóstico com apenas uma leve redução no desempenho, ao contrário do método STT-TTS que degrada severamente a detecção ao eliminar informações prosódicas.
Este artigo apresenta um framework de geração procedural de dados de som de motor com anotações de controle precisas, baseado na extração de estruturas harmônicas de gravações reais, resultando no Procedural Engine Sounds Dataset, um conjunto de dados público validado para apoiar pesquisas em modelagem acústica e síntese baseada em aprendizado.
O SoundWeaver é um sistema de serviço sem treinamento e agnóstico a modelos que acelera a geração de áudio por difusão texto-para-áudio ao reiniciar o processo com base em áudio em cache semanticamente similar, reduzindo a latência em 1,8 a 3,0 vezes sem comprometer a qualidade perceptual.
O artigo apresenta o WhispEar, um framework bidirecional que utiliza a geração de sussurros pseudo-paralelos a partir de fala normal para escalar o treinamento de conversão de sussurro para fala normal, alcançando desempenho superior e disponibilizando o maior corpus paralelo bilíngue (chinês-inglês) existente.
O artigo apresenta o FoleyFlow, um modelo que gera áudio sincronizado com vídeos utilizando alinhamento multimodal baseado em mascaramento e um fluxo condicional dinâmico para garantir coerência semântica e rítmica, superando os métodos existentes em benchmarks padrão.
O artigo apresenta o DualTurn, um modelo pré-treinado generativo em áudio conversacional de dois canais que supera os métodos existentes na previsão de ações de agente e na antecipação de limites de turno, permitindo uma interação mais natural e eficiente sem depender de timeouts de silêncio.
Este trabalho reformula o reconhecimento de emoções ambíguas como um problema de raciocínio distribucional em Modelos de Linguagem e Áudio Grandes (LALMs), introduzindo um framework com objetivos alinhados a distribuições perceptivas humanas e supervisão estruturada de cadeia de pensamento que demonstra melhorias consistentes em tarefas de previsão de emoções ambíguas.
Este artigo apresenta a Matriz de Transferência Cross-Lingual (CLTM), um método sistemático para quantificar como os dados de línguas-fonte afetam o desempenho em tarefas paralinguísticas como identificação de gênero e verificação de locutor, revelando padrões de transferência distintos e dependentes da língua ao utilizar um codificador multilíngue baseado em HuBERT.
O artigo propõe um framework de reconhecimento de fala audiovisual para cenários sem recursos que utiliza dados visuais sintéticos gerados por sincronização labial de imagens estáticas com áudio real, demonstrando eficácia ao alcançar desempenho próximo ao estado da arte em catalão com menos dados e parâmetros que os métodos tradicionais.
Este capítulo revisa o avanço de modelos computacionais de aprendizado não supervisionado e fundamentado visualmente que demonstram como os princípios de percepção podem explicar a aquisição inicial da linguagem a partir de sinais acústicos e audiovisuais, sem a necessidade de pressupostos linguísticos prévios.
O artigo apresenta o Trilobyte, um esquema de tokenização em nível de byte que viabiliza a compressão sem perdas de áudio em alta fidelidade (até 24 bits) usando modelos de linguagem autoregressivos, superando o FLAC em resoluções de 8 e 16 bits, embora os ganhos de compressão diminuam à medida que a profundidade de bits aumenta.
O artigo demonstra que modelos recentes de supressão de ruído em fala podem ser facilmente enganados por ruído adversarial imperceptível, resultando em áudio ininteligível e destacando a necessidade de contramedidas antes de sua adoção em aplicações críticas.