141 artigos
O artigo apresenta o ImKWS, um método de adaptação em tempo de teste para detecção de palavras-chave que supera o desequilíbrio de classes entre comandos raros e ruído de fundo, utilizando uma abordagem de ramificação de entropia e consistência em transformações para garantir atualizações estáveis do modelo.
O artigo apresenta o JHCodec, um codec neural de áudio que utiliza uma perda de reconstrução de representação auto-supervisionada (SSRR) para alcançar estado da arte em inteligibilidade e baixa latência, permitindo uma arquitetura de streaming sem atraso (zero-lookahead) e treinamento eficiente em uma única GPU.
Este artigo apresenta uma abordagem pós-processamento e sem treinamento que utiliza o direcionamento de ativação durante a inferência para neutralizar sotaques em modelos de síntese de fala zero-shot, preservando simultaneamente a identidade vocal do falante original.
O artigo apresenta o StreamVoiceAnon+, uma abordagem de anonimização de fala em streaming que preserva a emoção através de ajuste fino supervisionado e destilação de nível de quadro, alcançando melhorias significativas na preservação emocional sem adicionar latência à inferência.
O artigo apresenta o Whisper-CD, um framework de decodificação contrastiva sem treinamento que utiliza perturbações acústicas para reduzir alucinações e melhorar a precisão e a velocidade na transcrição de fala longa com o modelo Whisper.
Este estudo empírico investiga estratégias de adaptação de modelos de fala para línguas indígenas do Pacífico, demonstrando que, embora a adaptação de baixo rank (LoRA) funcione inicialmente, ela sofre de esquecimento catastrófico durante a aprendizagem sequencial devido à escassez de dados e ao desvio representacional, destacando a necessidade urgente de métodos robustos para essas línguas sub-representadas.
Este estudo apresenta uma análise cross-linguística da fala de crianças autistas e não autistas em finlandês, francês e eslovaco, demonstrando que, embora existam marcadores acústicos parcialmente compartilhados, a classificação eficaz requer modelagem específica para cada língua devido à heterogeneidade dos resultados entre os idiomas.
Este estudo analisa um corpus multilíngue de finlandês, francês e eslovaco e revela que crianças autistas apresentam um perfil prosódico distintivo e complexo, caracterizado por maior variabilidade de intensidade, voz menos ofegante e menor dinâmica temporal, sugerindo marcadores independentes da língua que desafiam modelos baseados em déficits.
Este artigo apresenta um sistema robusto e de código aberto que combina diarização neural (EEND-VC) e reconhecimento de fala adaptado (Qwen3) para extrair condições médicas de diálogos clínicos em Hinglish com fala sobreposta, alcançando o primeiro lugar no desafio DISPLACE-M.
Este artigo propõe uma abordagem de inteligência artificial informada pela comunidade, desenvolvida por uma equipe multidisciplinar com foco em cientistas sociais, para criar ferramentas que analisem vídeos de câmeras corporais da polícia e integrem as perspectivas de diversos grupos na busca por transparência e responsabilidade governamental.
Este artigo apresenta a primeira revisão sistemática dos Modelos de Áudio-Linguagem (ALMs), oferecendo uma cobertura abrangente de suas arquiteturas, objetivos de treinamento e aplicações em fala, música e sons, além de estabelecer um panorama de pesquisa para orientar o desenvolvimento futuro e a implementação prática dessas tecnologias.
Este artigo apresenta um método leve de adaptação apenas com texto para sistemas de reconhecimento automático de fala baseados em grandes modelos de linguagem, que formula o processo como uma tarefa de remoção de ruído de texto para adaptar o modelo a novos domínios sem quebrar o alinhamento entre as modalidades de fala e texto, alcançando melhorias significativas em relação aos métodos existentes.
Este artigo demonstra que modelos de fala auto-supervisionados codificam informações fonéticas através de vetores composicionais e interpretáveis que permitem realizar aritmética vetorial fonológica, onde operações lineares como adição e escalonamento capturam com precisão a realização acústica contínua de características como a sonoridade.
O artigo apresenta o V2A-DPO, um novo framework de Otimização Direta de Preferências (DPO) adaptado para modelos de geração de áudio a partir de vídeo baseados em fluxo, que integra um sistema de pontuação de preferência humana (AudioScore), um pipeline automatizado para geração de dados de preferência e uma estratégia de aprendizado de currículo, resultando em desempenho superior e estado da arte em benchmarks como o VGGSound.
Este artigo investiga o uso de um modelo de linguagem treinado em fala para localizar palavras falsas em discursos parcialmente editados, descobrindo que o modelo depende excessivamente de padrões de edição específicos do conjunto de dados, o que levanta desafios para a generalização em cenários não vistos.
O artigo propõe o uso de um modelo pré-treinado XLS-R, otimizado com apenas suas três primeiras camadas para eficiência computacional, que supera outras arquiteturas na detecção automática de segmentos de tosse em gravações de pacientes com suspeita de tuberculose, viabilizando assim ferramentas de triagem escaláveis para dispositivos móveis.
Os autores propõem uma técnica de decodificação especulativa que utiliza um codificador CTC como modelo de rascunho para acelerar a inferência e melhorar a precisão de sistemas de reconhecimento automático de fala baseados em LLMs, alcançando simultaneamente uma redução na taxa de erro de palavras e um aumento significativo na velocidade de processamento.
O artigo apresenta o Fair-Gate, um framework interpretável de controle de risco que aborda o aprendizado de atalhos demográficos e o emaranhamento de características para reduzir as disparidades de desempenho relacionadas ao sexo em sistemas de biometria vocal, melhorando o equilíbrio entre utilidade e justiça.
Este artigo demonstra que o uso de pré-treinamento contínuo com dados não rotulados e pseudo-rótulos para adaptar o modelo wav2vec2-bert-2.0 permite alcançar um desempenho state-of-the-art em reconhecimento de fala em swahili, reduzindo a taxa de erro de palavras em 82% com apenas 20.000 amostras rotuladas.
O artigo apresenta o AnimeScore, um framework baseado em preferências que utiliza classificações em pares e modelos de aprendizado auto-supervisionado para avaliar objetivamente o estilo de voz "anime", superando as limitações das métricas tradicionais e fornecendo um sinal de recompensa para a otimização de modelos de fala generativa.