152 artigos
Este artigo apresenta o S2S-ZEST, um novo framework de transferência de estilo emocional fala-para-fala que, operando sem texto e sem dados paralelos, consegue transferir características emocionais de uma referência para uma fala fonte preservando a identidade do falante e o conteúdo semântico, demonstrando desempenho superior a métodos anteriores e aplicabilidade em tarefas de reconhecimento de emoções.
Este artigo propõe o algoritmo TI-DANSE+, uma melhoria do método TI-DANSE para redes de sensores acústicos sem fio, que acelera a convergência para a solução de estimação centralizada ao utilizar somas parciais de sinais dos vizinhos e uma estratégia de poda de árvores, mantendo a eficiência em topologias dinâmicas e reduzindo o uso de largura de banda.
O artigo apresenta o Human-CLAP, um modelo de pré-treinamento contrastivo áudio-texto treinado com base em avaliações subjetivas humanas que supera o CLAP tradicional ao aumentar significativamente a correlação entre as pontuações automáticas e a percepção humana.
O artigo apresenta o VSSFlow, um framework unificado baseado em fluxo que, através de um mecanismo de agregação de condições disjuntas e aprendizado conjunto, supera os métodos específicos de domínio ao gerar simultaneamente som e fala a partir de vídeos.
O artigo apresenta o VoiceBridge, um modelo de ponte latente de um único passo que utiliza um autoencoder variacional preservador de energia e um prior neural conjunto para realizar a restauração geral de fala de alta qualidade (48 kHz) a partir de diversas distorções em uma única etapa, sem necessidade de destilação.
O artigo apresenta o LARA-Gen, um novo framework que permite o controle contínuo e de alta granularidade das emoções na geração de música, alinhando representações latentes afetivas e utilizando um espaço de valência-ativação para superar as limitações dos prompts baseados em texto, resultando em uma aderência emocional e qualidade musical superiores às abordagens existentes.
Este artigo apresenta um framework robusto de verificação de locutor baseado em uma mistura de especialistas condicionada ao ruído, que utiliza roteamento inteligente, especialização universal e aprendizado curricular para decompor o espaço de características em subespaços especializados, superando consistentemente os métodos convencionais em condições diversas de ruído.
Este artigo investiga estratégias de aprimoramento de fala no espaço latente de codecs de áudio neural, demonstrando que a previsão de representações contínuas com modelos não autoregressivos e o ajuste fino do codificador oferecem o melhor desempenho, embora com compensações entre qualidade, inteligibilidade e eficiência.
Este trabalho apresenta o primeiro framework formal para Modelos de Mundo Audiovisuais (AVWM), introduzindo o conjunto de dados AVW-4k e o modelo AV-CDiT para simular dinâmicas ambientais sincronizadas de áudio e vídeo, demonstrando melhorias significativas em tarefas de navegação contínua.
Este estudo demonstra que, em conversas diádicas em ambientes ruidosos, os falantes aumentam a complexidade dos gestos e o volume da fala, enquanto os ouvintes intensificam seus sinais de feedback, indicando uma adaptação comportamental coordenada para manter a eficácia comunicativa.
Este artigo apresenta a primeira investigação sistemática sobre como as informações de sotaque são codificadas em Tokens de Representação Discreta de Fala (DSRTs), propondo um novo quadro de avaliação que revela que a escolha das camadas é o fator mais crítico para reter essas informações, enquanto a supervisão de ASR as reduz significativamente e a redução ingênua do tamanho do código não consegue separá-las eficazmente de fonética e identidade do falante.
O artigo apresenta o EDMFormer, um modelo transformer que utiliza aprendizado auto-supervisionado e o novo conjunto de dados EDM-98 para superar as limitações dos métodos atuais na segmentação estrutural da música eletrônica, focando especificamente em características como energia, ritmo e timbre.
O artigo apresenta o Fish Audio S2, um sistema de texto-para-fala de código aberto que oferece geração multi-falante e multi-turno com controle por instruções em linguagem natural, destacando-se por uma receita de treinamento escalável e um motor de inferência otimizado para streaming com baixa latência.
O artigo apresenta o VoxEmo, um benchmark abrangente para avaliar Modelos de Linguagem de Áudio em Reconhecimento de Emoções, oferecendo um toolkit padronizado e protocolos de avaliação que capturam a ambiguidade inerente às emoções humanas e demonstram que, embora os modelos zero-shot tenham menor precisão em rótulos rígidos, eles se alinham melhor com as distribuições subjetivas humanas.
O artigo propõe a Universal Speech Content Factorization (USCF), um método linear simples e invertível que extrai representações de fala de baixo posto preservando o conteúdo fonético enquanto suprime o timbre do locutor, permitindo conversão de voz zero-shot e treinamento eficiente de modelos de síntese de fala.
Este artigo analisa a disparidade de gênero em modelos de detecção de deepfakes de áudio, demonstrando que métricas de justiça revelam desigualdades ocultas nas taxas de erro que as métricas tradicionais agregadas não capturam, destacando a necessidade de avaliações equitativas para sistemas mais robustos.
O artigo demonstra que existe uma relação não monotônica entre a profundidade da quantização vetorial residual em codecs de áudio neural e a robustez adversarial, onde configurações intermediárias otimizam o equilíbrio entre preservar o conteúdo da fala e suprimir ruídos adversariais, superando assim as defesas de compressão tradicionais.
Este artigo relata uma tentativa de replicação do modelo BSRNN para separação de fontes musicais, destacando os custos de tempo e energia decorrentes da falta de código completo, propondo uma versão otimizada com desempenho superior e liberando seus recursos para promover a reprodutibilidade e práticas mais transparentes na comunidade.
Este estudo avalia sistematicamente quatro estratégias de Decodificação Contrastiva em Modelos de Linguagem de Áudio de Grande Escala, identificando as mais eficazes e propondo uma estrutura de Matriz de Transição para explicar como essas técnicas corrigem erros específicos, como a negação falsa de áudio ou o palpite por incerteza, fornecendo diretrizes para selecionar a melhor estratégia com base no perfil de erros do modelo.
Este estudo propõe um modelo que detecta o momento adequado para validação emocional em diálogos falados em japonês utilizando apenas pistas paralinguísticas e emocionais, sem depender do contexto textual, demonstrando melhorias significativas em relação a métodos convencionais e abrindo caminho para interações humano-robô mais empáticas.