163 artigos
Este estudo demonstra que a escolha da codificação de características em representações de redes musicais cria um compromisso fundamental entre a riqueza estrutural e a eficiência comunicativa, onde representações simples geram maior incerteza descritiva mas menor erro de modelo, enquanto representações ricas preservam distinções finas mas aumentam o erro ao expandir o espaço de estados.
O artigo apresenta o Dolphin, um método eficiente de separação de fala áudio-visual que utiliza o codificador leve DP-LipCoder para transformar movimentos labiais em tokens semânticos discretos e um separador com atenção global-local multi-escala, alcançando qualidade superior ao estado da arte com redução de mais de 50% nos parâmetros e aceleração de 6x na inferência.
O artigo propõe o HyWA, um método que utiliza uma hiper-rede para gerar pesos personalizados em camadas específicas de um modelo de detecção de atividade vocal, superando as técnicas existentes ao melhorar a precisão média e facilitar a implantação através do reuso da mesma arquitetura.
Este artigo avalia vários codecs de compressão de áudio comuns, demonstrando que os usuários devem considerar não apenas a eficiência de compressão, mas também a qualidade perceptual sonora ao escolher um esquema de compressão digital.
O artigo propõe a AMB-DSGDN, uma rede neural que utiliza grafos semânticos dinâmicos específicos para cada modalidade e um mecanismo de atenção diferencial para filtrar ruídos e equilibrar adaptativamente a contribuição dos sinais de texto, áudio e vídeo, melhorando assim o reconhecimento de emoções em diálogos multimodais.
O artigo apresenta o \texttt{nlm}, um conjunto de externals em C++ para o ambiente Max que viabiliza a síntese modal não linear em tempo real para cordas, membranas e placas, oferecendo controle interativo de parâmetros físicos e saída multicanal para facilitar a exploração criativa por compositores e designers sonoros.
O artigo apresenta o ID-LoRA, um modelo pioneiro que gera simultaneamente a aparência visual e a voz de um sujeito em uma única passagem, utilizando uma adaptação eficiente de parâmetros (In-Context LoRA) em um backbone de difusão áudio-vídeo para superar desafios de sincronização e diluição de identidade, superando métodos existentes como o Kling 2.6 Pro em similaridade vocal e estilo de fala.
O artigo apresenta o PRoADS, um esquema de esteganografia em áudio baseado em modelos de difusão que utiliza projeção de matriz ortogonal, otimização de latente e inversão de Euler reversa para garantir segurança e uma robustez excepcional, alcançando uma taxa de erro de bits de apenas 0,15% sob compressão MP3.
O artigo apresenta o NasoVoce, uma interface montada na ponte do nariz que combina microfones e sensores de vibração para capturar sinais acústicos e de condução óssea, permitindo conversas de voz discretas e robustas a ruídos ambientais para interação com IA.
O artigo apresenta o FireRedASR2S, um sistema de reconhecimento automático de fala (ASR) industrial de ponta e tudo-em-um que integra módulos de detecção de atividade vocal, identificação de língua falada e previsão de pontuação, alcançando desempenho superior ao estado da arte em diversos benchmarks para mandarim, dialetos chineses, inglês e código misto.
O MoXaRt é um sistema de Realidade Estendida (XR) em tempo real que utiliza uma arquitetura cascata com pistas áudio-visuais para separar fontes sonoras concorrentes, melhorando significativamente a inteligibilidade da fala e reduzindo a carga cognitiva em ambientes acústicos complexos.
O artigo apresenta o G-STAR, um sistema de ponta a ponta que integra um módulo de rastreamento de falantes temporalmente consciente com um modelo de linguagem de fala (Speech-LLM) para realizar reconhecimento de fala atribuído a falantes com carimbo de tempo em conversas longas e sobrepostas, garantindo consistência de identidade em nível de reunião.
Este artigo propõe um framework de reconhecimento automático de fala para múltiplos falantes (MT-ASR) baseado apenas em codificadores que, ao adaptar e destilar os priores semânticos de grandes modelos de linguagem (LLMs) durante o treinamento e utilizar um cabeçalho de contagem de falantes para roteamento dinâmico, alcança desempenho superior em cenários com três falantes e menor custo computacional em comparação com sistemas baseados em LLMs autoregressivos.
Este artigo apresenta o Geo-ATBench, um novo benchmark e tarefa de rotulagem de áudio geoespacial que integra contexto semântico geográfico para melhorar a identificação de eventos sonoros, juntamente com o framework GeoFusion-AT que demonstra que a fusão desses dados com áudio supera abordagens baseadas apenas no som.
O artigo apresenta o AlphaFlowTSE, um modelo generativo condicional de uma única etapa para extração de fala de falante-alvo que utiliza um objetivo AlphaFlow livre de produtos vetoriais de Jacobiano para melhorar a fidelidade da fala e a generalização em cenários reais, superando as limitações de latência e confiabilidade das soluções existentes.
O artigo apresenta o PV-VASM, uma estrutura probabilística model-agnóstica que verifica a robustez de modelos de anti-falsificação de voz ao estimar a probabilidade de erro sob diversas técnicas de síntese e perturbações, oferecendo garantias teóricas de segurança contra ameaças de deepfakes.
Este artigo apresenta o HIR-SDD, um novo framework para detecção de deepfakes de voz que combina Grandes Modelos de Linguagem de Áudio com raciocínio inspirado no ser humano, utilizando um conjunto de dados anotado para melhorar a generalização e fornecer explicações interpretáveis para as previsões.
Este artigo avalia a capacidade de verificação de fala em modelos de linguagem grandes (LLMs) com entrada de áudio, identificando sua baixa discriminação de identidade e propondo uma solução de aumento leve que integra embeddings de falantes congelados via LoRA para alcançar desempenho competitivo sem sacrificar a interface de linguagem natural.
O artigo apresenta o OSUM-Pangu, um modelo de fundação de compreensão de fala totalmente open-source desenvolvido na plataforma Ascend NPU sem dependência de CUDA, que integra um encoder de áudio ao LLM OpenPangu-7B para alcançar desempenho comparável a modelos baseados em GPU enquanto promove a evolução independente da inteligência multimodal.
O artigo apresenta o VoxCare, um sistema escalável de sensores vestíveis que analisa comportamentos de comunicação natural de profissionais de saúde em tempo real sem armazenar áudio bruto, revelando como esses padrões refletem a carga de trabalho e o estresse para melhorar a entrega de cuidados.