132 artigos
Esta tese aborda o desafio de modelar emoções na linguagem falada ao integrar informações acústicas e semânticas, propondo métodos inovadores para aprendizado de representações, reconhecimento emocional em conversas e transferência de estilo emocional que preservam a identidade do falante e o conteúdo linguístico.
O artigo apresenta o SPAR-K, um framework de saída antecipada ciente de modalidade para modelos de linguagem falada intercalados que acelera a inferência reduzindo a profundidade de decodificação da fala através de um agendamento alternado periódico, preservando a qualidade perceptual e a precisão sem sobrecarga computacional adicional.
Este estudo avalia sistematicamente quatro estratégias de Decodificação Contrastiva em Modelos de Linguagem de Áudio de Grande Escala, identificando as mais eficazes e propondo uma estrutura de Matriz de Transição para explicar como essas técnicas corrigem erros específicos, como a negação falsa de áudio ou o palpite por incerteza, fornecendo diretrizes para selecionar a melhor estratégia com base no perfil de erros do modelo.
O artigo apresenta o StuPASE, um modelo de aprimoramento de fala baseado no PASE que combina um módulo de correspondência de fluxo e um ajuste fino com alvos secos para alcançar qualidade de estúdio com baixa alucinação, superando os métodos atuais em condições adversas.
O artigo apresenta o modelo Pulse-Train-Resonator (PTR), uma arquitetura de síntese diferenciável baseada em física que gera sons de motor simulando diretamente pulsos de pressão e ressonâncias acústicas, superando modelos de base harmônica com maior precisão e parâmetros interpretáveis.
Este artigo apresenta um framework de detecção de palavras-chave (KWS) multicanal e de ponta a ponta que integra um codificador espacial e priores direcionais para melhorar significativamente a robustez em ambientes ruidosos, superando os sistemas convencionais de canal único e pipeline em cascata.
Este trabalho apresenta um formalismo de Equações Diferenciais Estocásticas Interpoladas (iSDEs) e propõe um solucionador rápido que permite a amostragem eficiente em modelos de difusão para restauração de fala, como o SGMSE+, reduzindo o número de avaliações da rede neural para apenas 10.
O artigo apresenta o Speech-Omni-Lite, um framework eficiente em custo que estende backbones de Visão-Linguagem pré-treinados com capacidades de compreensão e geração de fala através de módulos leves e congelando o modelo original, alcançando desempenho competitivo em perguntas orais com poucos dados de treinamento.
Este artigo propõe uma abordagem inovadora para gerar Respostas ao Impulso de Sala (RIRs) realistas, ajustando um modelo de áudio pré-treinado de texto para áudio e utilizando modelos de linguagem visual para criar descrições acústicas, demonstrando assim a eficácia de priores generativos de áudio em larga escala para simulação acústica e aumento de dados de fala.
O artigo apresenta o MUGEN, um benchmark abrangente que revela as limitações dos Modelos Grandes de Áudio-Linguagem na compreensão de múltiplos áudios simultâneos e demonstra que estratégias de treinamento sem supervisão, como a Autoconsistência Permutacional de Áudio combinada com Cadeia de Pensamento, podem melhorar significativamente o desempenho nesses cenários.
Este artigo apresenta o DRES, um conjunto de dados de fala realista e semi-espontânea em holandês gravado em ambientes públicos ruidosos, e avalia seu impacto no desempenho de modelos de reconhecimento de fala e aprimoramento de fala, descobrindo que, apesar de alguns modelos de ASR alcançarem bons resultados, o uso de algoritmos de aprimoramento de fala de canal único não melhorou o desempenho geral.
Este artigo propõe o filtro de Wiener multicanal distribuído (dMWF), um algoritmo não iterativo e ótimo para redes de sensores acústicos sem fio que supera as limitações de convergência e de observação de fontes dos métodos existentes, alcançando desempenho equivalente ao de sistemas centralizados com menor uso de largura de banda.
Este artigo apresenta o MLVAS, um sistema multimodal que integra análise de vídeo e áudio para extrair automaticamente segmentos-chave e métricas de videolaringoscopia, visando auxiliar no diagnóstico clínico da paralisia das pregas vocais.
O artigo apresenta o ExpGest, um novo framework baseado em modelo de difusão que utiliza informações sincronizadas de áudio e texto para gerar gestos corporais completos, expressivos e controláveis, superando as limitações de rigidez e falta de contexto emocional dos métodos existentes.
Este artigo apresenta a Tarefa 5 do Desafio DCASE 2025, um benchmark de Resposta a Perguntas sobre Áudio (AQA) que abrange múltiplos domínios acústicos para avaliar e avançar as capacidades de raciocínio de modelos de linguagem-audio em direção à acuidade humana.
O artigo apresenta o BemaGANv2, um vocoder baseado em GAN aprimorado para geração de áudio de longo prazo, que substitui blocos Res por módulos AMP com função de ativação Snake e integra o Discriminador Multi-Envelope (MED) ao Discriminador Multi-Resolução (MRD) para otimizar a coerência temporal e a estrutura harmônica através de uma avaliação sistemática de estratégias de combinação de discriminadores.
O artigo apresenta o WaLi, um ataque de privacidade que demonstra ser possível reconstruir fala inteligível a partir de dados de sensores de pressão em sistemas HVAC, utilizando uma arquitetura baseada em Conformer de valor complexo e blocos de atenção global para mitigar ruídos e aliasing, revelando uma vulnerabilidade de segurança previamente ignorada nesses dispositivos.
O artigo apresenta o SUBARU, uma abordagem prática que reduz o consumo de energia em dispositivos auditivos ao utilizar amostragem sub-Nyquist e baixa resolução de bits, recuperando a qualidade do áudio por meio de um método de super-resolução que permite processamento eficiente em tempo real em ambientes ruidosos.
O artigo apresenta o ECHO, um modelo fundamental inovador que utiliza uma arquitetura de divisão de bandas e embeddings posicionais de frequência para processar sinais de máquinas de comprimento variável e taxas de amostragem arbitrárias, alcançando desempenho de ponta na detecção de anomalias e classificação de falhas em diversos conjuntos de dados industriais.
Este artigo apresenta o LibriTTS-VI, o primeiro corpus público para controle de impressão vocal, e propõe métodos inovadores de treinamento desentrelaçado e sem referência que superam o vazamento de impressão e permitem um controle numérico preciso e eficiente na síntese de fala.