163 artigos
Este trabalho apresenta um estudo abrangente das propriedades de sistemas binários (0,1) finitos sob uma perspectiva de teoria quântica, estendendo o modelo GenomeBits para caracterizar sequências genômicas através de uma função de onda complexa que revela características de ondas sonoras.
Este estudo demonstra que, em pacientes com câncer de cabeça e pescoço, medidas objetivas de inteligibilidade e velocidade da fala correspondem às avaliações subjetivas, sugerindo que uma única medida de inteligibilidade pode ser suficiente para o monitoramento clínico desses pacientes.
Este estudo realiza uma análise de sondagem em larga escala de 11 modelos de aprendizado auto-supervisionado de fala, revelando que as camadas finais de modelos maiores recuperam inesperadamente a identidade do falante e que as representações intermediárias capturam a prosódia dinâmica melhor do que embeddings especializados, desafiando a visão de que as camadas finais contêm apenas conteúdo linguístico abstrato.
O InterActHuman é um novo framework que supera as limitações dos métodos existentes ao permitir a animação de vídeo de alta qualidade com múltiplos conceitos e interações humanas, garantindo o controle preciso de cada identidade através do alinhamento espacial e temporal de condições multimodais, como áudio e imagens de referência, a regiões específicas do vídeo.
O artigo apresenta o Vevo2, um framework unificado e controlável para geração de voz falada e cantada que supera desafios como a escassez de dados anotados e permite controle flexível de prosódia, estilo e timbre por meio de dois tokenizadores de áudio inovadores e estratégias de aprendizado conjuntas.
Este artigo propõe a arquitetura TSPC, um modelo de reconhecimento de fala de código alternado vietnamita-inglês baseado em fonemas que, através de uma abordagem de duas etapas, supera os métodos existentes com menor taxa de erro de palavras e menor consumo de recursos computacionais.
O artigo apresenta o BabyHuBERT, um modelo de aprendizado auto-supervisionado multilíngue treinado em 13.000 horas de gravações infantis que supera os modelos existentes na segmentação de falantes em gravações longas e naturais de crianças, demonstrando eficácia particular em línguas sub-representadas.
O artigo apresenta o SAM, um modelo de linguagem de áudio baseado em Mamba-2 que, ao integrar um codificador de áudio com um backbone SSM, alcança desempenho superior ou equivalente a modelos transformadores maiores com menos parâmetros, estabelecendo princípios práticos de design que destacam a importância do ajuste fino conjunto, de representações de tokens compactas e da supervisão para seguir instruções.
Este trabalho apresenta o Noise-to-Notes (N2N), um novo quadro de trabalho baseado em modelos de difusão que redefine a transcrição automática de bateria como uma tarefa generativa condicional, utilizando uma perda Pseudo-Huber anelada e recursos de modelos fundamentais de música para alcançar desempenho superior e maior robustez em benchmarks existentes.
O artigo apresenta o Schrödinger Bridge Mamba (SBM), um modelo inovador que combina o paradigma de Ponte de Schrödinger com a arquitetura Mamba para realizar aprimoramento de fala de alta qualidade em uma única etapa de inferência, superando métodos existentes em tarefas de remoção de ruído e reverberação com eficiência em tempo real.
Este artigo propõe um framework de aprendizado multi-perda que integra mixup adaptativo à energia e atenção em nível de quadro para superar desafios como complexidade emocional e dados escassos, alcançando desempenho de ponta em quatro conjuntos de dados de reconhecimento de emoções na fala.
Este artigo apresenta o conjunto de dados MultiAPI Spoof, que inclui 230 horas de fala sintética gerada por 30 APIs distintas para preencher a lacuna entre benchmarks existentes e cenários reais, juntamente com a rede Nes2Net-LA, que alcança desempenho superior na detecção de falsificação e na atribuição da fonte de áudio sintético.
O artigo apresenta o RA-QA, um novo sistema de benchmarking que harmoniza dados públicos em 9 milhões de pares de perguntas e respostas multimodais para avaliar a robustez de modelos de IA na análise de áudio respiratório sob condições de heterogeneidade do mundo real.
O artigo apresenta o Aurchestra, o primeiro sistema capaz de oferecer controle sonoro granular e em tempo real em dispositivos auditivos com recursos limitados, permitindo que os usuários ajustem independentemente os volumes de até cinco fontes sonoras simultâneas por meio de uma interface dinâmica e uma rede de extração multi-saída otimizada.
O artigo apresenta o VoxKnesset, um novo conjunto de dados aberto e longitudinal com cerca de 2.300 horas de discurso parlamentar em hebraico (2009-2025) de 393 falantes, destinado a avaliar e melhorar a modelagem de sistemas de processamento de fala para o envelhecimento vocal.
Este artigo apresenta uma avaliação sistemática de estratégias de agrupamento temporal para detecção de sons anômalos sem treinamento, propondo o agrupamento por desvio relativo (RDP) e uma estratégia híbrida que superam consistentemente o agrupamento por média e alcançam o estado da arte em cinco conjuntos de dados de referência.
Este estudo demonstra que o uso do modelo de aprimoramento de fala SAM-Audio como etapa de pré-processamento para sistemas de reconhecimento de fala zero-shot (Whisper) degrada consistentemente a precisão da transcrição, revelando que a melhoria na qualidade perceptual do áudio não se traduz necessariamente em ganhos de reconhecimento para máquinas.
Este artigo apresenta a solução "WhisperAlign" para o DL Sprint 4.0, que combina uma estratégia de fragmentação de áudio baseada em WhisperX para reconhecimento de fala e um modelo de diarização de fala ajustado especificamente para o dataset da competição, resultando em reduções significativas nas taxas de erro para transcrição e identificação de falantes em longas gravações de áudio em bengali.
O artigo propõe o "Focus-Then-Listen" (FTL), um aprimorador de áudio plug-and-play que melhora a robustez a ruídos de Grandes Modelos de Linguagem de Áudio ao separar a entrada em fala e não-fala e fundi-las de forma adaptativa à tarefa, eliminando a necessidade de retreinamento caro.
Este artigo apresenta o primeiro Desafio de Detecção de Deepfakes de Sons Ambientais, detalhando sua formulação, construção de conjunto de dados, protocolos de avaliação e os principais resultados e direções futuras obtidos a partir da análise de 1.748 submissões de 97 equipes.