Single Microphone Own Voice Detection based on Simulated Transfer Functions for Hearing Aids

Este artigo apresenta uma abordagem baseada em simulação para a detecção da voz própria em aparelhos auditivos de microfone único, utilizando uma estratégia de aumento de dados com funções de transferência acústica simuladas e um classificador baseado em transformers que alcança alta precisão em dados simulados e demonstra viabilidade prática em gravações reais sem necessidade de medições de transferência custosas.

O essencial

Imagine que você está usando um aparelho auditivo. O objetivo principal dele é ajudar você a ouvir os outros, certo? Mas existe um problema chato: quando você fala, o seu próprio voz parece estranhamente alta, ecoando dentro da sua cabeça, como se você estivesse gritando. Isso é desconfortável e cansativo.

Para resolver isso, os fabricantes tentam criar um "detetive" dentro do aparelho que saiba a diferença entre a sua voz e a voz de alguém falando ao seu lado. Se o detetive identificar que é você falando, ele abaixa o volume da sua própria voz para ficar confortável, mas mantém o volume alto para ouvir os outros.

O problema é que a maioria desses "detetives" precisa de vários microfones (como um sistema de câmera de segurança com várias lentes) ou sensores extras, o que torna o aparelho caro, grande e complexo.

A grande ideia deste artigo é: Como fazer esse detetive funcionar usando apenas um único microfone (o que já existe em aparelhos mais simples e baratos), sem precisar medir a voz de milhões de pessoas reais?

A resposta é: Simulação e Inteligência Artificial.

Aqui está como eles fizeram isso, usando analogias do dia a dia:

1. O Problema da "Falta de Dados"

Para ensinar uma inteligência artificial (IA) a distinguir sua voz da de um estranho, você normalmente precisaria gravar milhares de pessoas falando em diferentes lugares, com diferentes tamanhos de cabeça e formatos de orelha. Isso seria como tentar ensinar um aluno a dirigir em todas as estradas do mundo antes de deixá-lo pegar no volante. É impossível e caro.

2. A Solução: O "Simulador de Voo" de Áudio

Em vez de gravar pessoas reais, os pesquisadores criaram um simulador de voo para o som. Eles usaram matemática e computadores para criar "vozes virtuais".

• A Fase 1 (A Bola de Basquete): Primeiro, eles ensinaram a IA usando uma geometria muito simples: uma esfera rígida (como uma bola de basquete) representando a cabeça. Eles simularam como o som viaja de uma fonte externa até essa bola e como o som da "boca" (um pequeno orifício vibrando na bola) viaja até o microfone. Isso é como ensinar um piloto a voar em um simulador básico, onde não há vento ou chuva, apenas o básico.
• A Fase 2 (O Manequim Realista): Depois, a IA foi "aperfeiçoada". Eles trocaram a bola de basquete por um modelo 3D muito detalhado de uma cabeça humana com tronco, usando softwares de engenharia complexos. Agora, a IA aprendeu como o som se comporta em uma cabeça real, com curvas, orelhas e ombros. É como o piloto agora voando em um simulador com clima realista e turbulência.

3. O "Treinamento" da IA

A IA (um tipo de rede neural chamada Transformer) foi treinada com esses sons simulados. Ela aprendeu a notar padrões invisíveis para nós.

• A Diferença Chave: Quando você fala, o som sai da sua boca e bate na sua cabeça e no seu corpo quase instantaneamente (como um eco muito curto e específico). Quando alguém fala ao seu lado, o som viaja pelo ar, contorna sua cabeça e chega ao microfone de um jeito diferente (como se o som tivesse que "contornar" um obstáculo).
• A IA aprendeu a identificar essas "assinaturas" de como o som viaja no espaço, mesmo com apenas um microfone.

4. O Teste Final: Do Virtual para o Real

Depois de treinada no computador com milhões de simulações, eles testaram a IA em gravadores reais de aparelhos auditivos.

• O Desafio: O mundo real é bagunçado. Tem ruído, o aparelho tem suas próprias distorções eletrônicas.
• O Truque: Eles usaram uma técnica leve de "ajuste de óculos" no final. Antes de a IA tomar uma decisão, eles ajustaram levemente os dados do gravador real para parecerem mais com os dados simulados que a IA já conhecia.
• O Resultado: A IA acertou 80% das vezes em gravadores reais, sem nunca ter sido treinada com uma única gravação real de um paciente! Isso é impressionante, pois mostra que o "simulador de voo" funcionou perfeitamente.

Por que isso é importante?

1. Custo Baixo: Permite que aparelhos auditivos mais baratos (com apenas um microfone) tenham essa tecnologia inteligente.
2. Conforto: O usuário não precisa mais ouvir sua própria voz como um trovão; o aparelho sabe quando abaixar o volume automaticamente.
3. Futuro: Abre caminho para aparelhos menores, mais baratos e mais confortáveis, pois não precisam de sensores extras complexos.

Resumo da Ópera:
Os pesquisadores criaram um "professor virtual" que ensinou uma IA a ouvir a diferença entre "eu" e "alguém" usando apenas matemática e simulações de computador. Em vez de gastar anos gravando pessoas reais, eles ensinaram a máquina a entender a física do som em cabeças virtuais, e ela conseguiu aplicar esse conhecimento no mundo real com grande sucesso. É como ensinar alguém a nadar em uma piscina de plástico cheia de dados, e depois soltá-lo no mar, e ele nada perfeitamente.

Resumo técnico

Título: Detecção de Voz Própria (OVD) com Microfone Único baseada em Funções de Transferência Simuladas para Aparelhos Auditivos

1. Problema e Motivação

A detecção de voz própria (Own Voice Detection - OVD) é crucial para aparelhos auditivos, permitindo ajustar a amplificação quando o usuário fala (para evitar que sua própria voz soe muito alta ou artificial) e mantê-la quando ouve outros (para garantir inteligibilidade).

• Desafios Atuais: A maioria das soluções existentes depende de múltiplos microfones ou sensores adicionais (como acelerômetros), o que aumenta o custo, o consumo de energia e a complexidade de calibração. Isso limita sua aplicação em dispositivos de entrada ou em casos de perda auditiva unilateral.
• Limitações de Métodos Anteriores: Abordagens baseadas em processamento de sinal tradicional (como filtragem adaptativa) ou aprendizado de máquina (ML) muitas vezes exigem medições de funções de transferência (TFs) reais, que são difíceis de obter em larga escala para diferentes anatomias e configurações de dispositivos. Além disso, muitos métodos ML focam em características vocais dependentes do falante, o que pode ser lento e menos robusto.

2. Metodologia Proposta

O artigo propõe uma abordagem baseada em análise espacial utilizando um único microfone, focando nas diferenças nas trajetórias de propagação acústica entre a voz do usuário (própria) e a de falantes externos.

• Geração de Dados por Simulação (Data Augmentation):

  • Para superar a dificuldade de coletar medições reais massivas, os autores desenvolveram um pipeline de duas etapas para gerar Funções de Transferência Acústicas (ATFs) sintéticas:
    1. Modelagem Analítica: Baseada em geometrias simplificadas (esfera rígida com um capô vibrante representando a boca). Isso permite uma geração escalável de dados com variação controlada de ângulos, distâncias e raios.
    2. Modelagem Numérica: Utilizando o software Mesh2HRTF (Método de Elementos de Contorno - BEM), a complexidade geométrica aumenta progressivamente: Esfera Rígida $\rightarrow$ Cabeça Humana $\rightarrow$ Cabeça e Tronco.
  • Estratégia de Treinamento: O modelo é treinado inicialmente com ATFs analíticas para aprender padrões espaciais gerais e, em seguida, é fine-tuned (ajustado finamente) progressivamente com ATFs numéricas de maior realismo anatômico.

• Arquitetura do Modelo:

  • Classificador: Um classificador baseado em Transformer (especificamente um Conformer encoder) com temporal gate pooling.
  • Entrada: Espectrogramas log-mel derivados de sinais de áudio processados com as ATFs simuladas.
  • Tarefa: Classificação binária ao nível de segmento (voz própria vs. falante externo). O modelo agrega características de quadros individuais para tomar uma decisão sobre o segmento inteiro.

• Adaptação para Dados Reais:

  • Para lidar com a discrepância de distribuição entre dados simulados e gravações reais de aparelhos auditivos, os autores aplicam uma compensação de características no tempo de teste (test-time feature compensation). Isso envolve alinhar a média e o desvio padrão dos espectros dos dados reais com os dados de treinamento simulados, sem necessidade de fine-tuning adicional do modelo.

3. Principais Contribuições

1. Abordagem de Microfone Único: Demonstra a viabilidade de OVD robusta usando apenas um microfone, eliminando a necessidade de arrays de microfones caros.
2. Pipeline de Simulação Hierárquico: Introdução de uma estratégia de aumento de dados que transita de modelos físicos simples (esfera) para modelos anatômicos complexos (cabeça e tronco), permitindo que o modelo generalize melhor.
3. Validação em Dados Reais: O modelo foi testado em gravações reais de um protótipo de aparelho auditivo, alcançando desempenho significativo sem fine-tuning nos dados reais, apenas com compensação de características.
4. Análise de Cues Acústicos: O estudo confirma que o modelo aprende a distinguir com base em características espaciais e espectrais (inclinação espectral, padrões de difração) e não apenas em diferenças de volume (amplitude).

4. Resultados Experimentais

• Dados Simulados (Cabeça e Tronco):
  • Segmentos Longos (até 15s): Precisão de 95,52%.
  • Segmentos Curtos (1s): Precisão de 90,02%, demonstrando robustez para cenários de baixa latência.
• Dados Reais (Protótipo de Aparelho Auditivo):
  • Com a compensação de características no tempo de teste, o modelo atingiu 80,00% de precisão em gravações reais, sem ter sido treinado ou ajustado com esses dados específicos.
  • O limite superior (com compensação baseada em rótulos verdadeiros) foi de 86,50%.
• Comparação com Baselines:
  • Em comparação com um modelo ResNet baseado em dados medidos (López-Espejo et al.), a abordagem proposta (Conformer pequeno) superou o baseline em precisão geral e na detecção de falantes externos, mesmo usando menos parâmetros ou configuração similar.
• Robustez ao Ruído: O modelo manteve desempenho consistente em diferentes níveis de SNR (0 a 30 dB) e tipos de ruído (música, fala, ruído ambiente) no conjunto de dados LibriSpeech.

5. Significado e Conclusão

Este trabalho estabelece um novo paradigma para OVD em aparelhos auditivos, provando que simulações acústicas realistas podem substituir medições físicas caras e limitadas para treinar modelos de aprendizado de máquina.

• Viabilidade Prática: A capacidade de generalizar de dados simulados para dispositivos reais sugere que essa abordagem pode ser adotada em produtos comerciais, especialmente para dispositivos de baixo custo ou para usuários com perda auditiva unilateral.
• Futuro: O estudo focou na detecção offline de segmentos. O trabalho futuro visa implementar uma versão em tempo real (causal) com baixa latência para execução direta no hardware do aparelho auditivo.

Em resumo, o artigo oferece uma solução escalável, de baixo custo e altamente precisa para um problema persistente na audiologia, utilizando avanços em modelagem acústica computacional e arquiteturas de deep learning modernas.