141 artigos
O artigo apresenta o SEMamba++, uma nova arquitetura de restauração de fala que supera os modelos existentes ao incorporar vieses indutivos específicos da fala, como o bloco de extração de características em frequência (Frequency GLP) e um processamento dual tempo-frequência multi-resolução, alcançando desempenho superior com eficiência computacional.
O artigo propõe o RAF (Feedback Adversarial Relativístico), um novo objetivo de treinamento para vocoders GAN que utiliza modelos de aprendizado auto-supervisionado de fala e emparelhamento relativístico para melhorar a fidelidade e a generalização, permitindo que o BigVGAN-base alcançe qualidade perceptual superior com apenas 12% dos parâmetros do modelo LSGAN.
Este artigo apresenta um novo conjunto de dados e demonstra que a atividade muscular facial e cervical, captada por eletromiografia de superfície (sEMG), permite decodificar com precisão estados afetivos como a frustração tanto na fala vocalizada quanto na silenciosa, validando o potencial dessa tecnologia para interfaces de fala silenciosa conscientes das emoções.
O artigo apresenta o ReDimNet2, uma arquitetura aprimorada para verificação de locutor que introduz um mecanismo de agrupamento temporal no caminho de processamento 1D, permitindo uma escala mais agressiva da dimensão de canais com menor custo computacional e estabelecendo um novo estado da arte em relação ao custo versus precisão nos benchmarks VoxCeleb1.
Este estudo demonstra que a inversão acústico-articulatoria de fala limpa, utilizando um modelo treinado com dados de ressonância magnética, alcança desempenho comparável ao obtido com dados de MRI, validando a viabilidade de reconstruir formas do trato vocal sem a necessidade de aquisição de imagem ou remoção de ruído.
Este estudo compara diferentes níveis de precisão na segmentação fonética para a reconstrução da geometria do trato vocal a partir do sinal de fala, demonstrando que a correção manual após o alinhamento temporal oferece o melhor desempenho entre as abordagens fonéticas, aproximando-se dos resultados da linha de base baseada em MFCCs.
Esta revisão sistemática mapeia o cenário das Interfaces de Fala Silenciosa (SSI) na era dos Grandes Modelos de Linguagem, propondo uma taxonomia holística que integra modalidades de sensoriamento fisiológico com modelos generativos para superar limitações de ruído e privacidade, viabilizando interfaces "invisíveis" em wearables comerciais e estabelecendo diretrizes éticas para a segurança neural.
Este artigo propõe o protocolo de ajuste fino aprimorado por paralinguagem (PE-FT), que utiliza análises de camadas e cabeças de classificação auxiliares para equipar Modelos de Linguagem de Áudio com a capacidade de perceber e responder a pistas paralinguísticas, superando estratégias tradicionais de ajuste em todas as camadas.
O artigo apresenta o Dr. SHAP-AV, um framework baseado em valores de Shapley que revela como os modelos de Reconhecimento de Fala Audiovisual (AVSR) mantêm um viés persistente para o áudio mesmo sob ruído, enquanto a relação SNR é o fator dominante que dita o equilíbrio e a dinâmica das contribuições das modalidades durante a geração.
O artigo apresenta o SGMD, um modelo de difusão de movimento guiado por estilo que integra características musicais e prompts de estilo para gerar sequências de dança realistas e controláveis, superando as limitações de alinhamento estilístico e flexibilidade existentes em abordagens anteriores.
O artigo apresenta o ExSampling, um sistema integrado que utiliza aprendizado profundo para mapear automaticamente gravações de campo em faixas do Ableton Live, permitindo a performance musical em tempo real e a interação entre gravadores, compositores e performers.
Este estudo demonstra que, em pacientes com câncer de cabeça e pescoço, medidas objetivas de inteligibilidade e velocidade da fala correspondem às avaliações subjetivas, sugerindo que uma única medida de inteligibilidade pode ser suficiente para o monitoramento clínico desses pacientes.
Este estudo realiza uma análise de sondagem em larga escala de 11 modelos de aprendizado auto-supervisionado de fala, revelando que as camadas finais de modelos maiores recuperam inesperadamente a identidade do falante e que as representações intermediárias capturam a prosódia dinâmica melhor do que embeddings especializados, desafiando a visão de que as camadas finais contêm apenas conteúdo linguístico abstrato.
Este artigo propõe a arquitetura TSPC, um modelo de reconhecimento de fala de código alternado vietnamita-inglês baseado em fonemas que, através de uma abordagem de duas etapas, supera os métodos existentes com menor taxa de erro de palavras e menor consumo de recursos computacionais.
O artigo apresenta o BabyHuBERT, um modelo de aprendizado auto-supervisionado multilíngue treinado em 13.000 horas de gravações infantis que supera os modelos existentes na segmentação de falantes em gravações longas e naturais de crianças, demonstrando eficácia particular em línguas sub-representadas.
O artigo apresenta o SAM, um modelo de linguagem de áudio baseado em Mamba-2 que, ao integrar um codificador de áudio com um backbone SSM, alcança desempenho superior ou equivalente a modelos transformadores maiores com menos parâmetros, estabelecendo princípios práticos de design que destacam a importância do ajuste fino conjunto, de representações de tokens compactas e da supervisão para seguir instruções.
Este estudo revela que os modelos de linguagem fundamentais em sistemas de fala (SpeechLLMs) apresentam falhas de robustez estrutural ao processar conversas espontâneas, demonstrando que modelos de raciocínio tendem a suprimir indevidamente conteúdo fluente em favor da abstração semântica e que o ajuste fino, embora melhore resultados imediatos, prejudica a generalização.
Este trabalho apresenta o Noise-to-Notes (N2N), um novo quadro de trabalho baseado em modelos de difusão que redefine a transcrição automática de bateria como uma tarefa generativa condicional, utilizando uma perda Pseudo-Huber anelada e recursos de modelos fundamentais de música para alcançar desempenho superior e maior robustez em benchmarks existentes.
O artigo apresenta o Schrödinger Bridge Mamba (SBM), um modelo inovador que combina o paradigma de Ponte de Schrödinger com a arquitetura Mamba para realizar aprimoramento de fala de alta qualidade em uma única etapa de inferência, superando métodos existentes em tarefas de remoção de ruído e reverberação com eficiência em tempo real.
Este artigo propõe um framework de aprendizado multi-perda que integra mixup adaptativo à energia e atenção em nível de quadro para superar desafios como complexidade emocional e dados escassos, alcançando desempenho de ponta em quatro conjuntos de dados de reconhecimento de emoções na fala.