SUBARU: A Practical Approach to Power Saving in Hearables Using SUB-Nyquist Audio Resolution Upsampling

O artigo apresenta o SUBARU, uma abordagem prática que reduz o consumo de energia em dispositivos auditivos ao utilizar amostragem sub-Nyquist e baixa resolução de bits, recuperando a qualidade do áudio por meio de um método de super-resolução que permite processamento eficiente em tempo real em ambientes ruidosos.

O essencial

Imagine que você está usando um fone de ouvido inteligente (um "hearable") em um dia muito barulhento, como num ônibus lotado ou numa festa. O problema é que os microfones desses fones costumam captar todo o barulho ao redor, deixando sua voz difícil de entender. Além disso, para processar esse áudio com qualidade, o fone gasta muita bateria, o que faz ele descarregar rápido.

Os pesquisadores criaram uma solução chamada SUBARU. Pense no SUBARU como um "sistema de entrega inteligente" que divide o trabalho entre o fone de ouvido e o seu celular.

Aqui está como funciona, explicado de forma simples:

1. O Problema: O Fone "Gastador" de Energia

Normalmente, os microfones do fone de ouvido (chamados de microfone de ar e microfone de osso) gravam o som com uma qualidade altíssima, como se estivessem tirando uma foto em 8K. Isso exige muita energia para processar e transmitir. É como tentar enviar um filme inteiro em 4K para o celular via Bluetooth: demora e gasta muitos dados.

2. A Solução: O "Rascunho" Rápido (Sub-Nyquist)

O SUBARU muda a estratégia. Em vez de enviar o "filme em 4K" direto do fone, ele envia apenas um "rascunho" rápido e de baixa qualidade.

• A Analogia: Imagine que você precisa enviar um desenho complexo para um amigo. Em vez de enviar a pintura final com todos os detalhes (o que demora e gasta tinta), você envia um esboço rápido feito com lápis simples (baixa resolução).
• Na prática: O fone de ouvido grava o som com uma qualidade muito menor (baixa frequência e poucos bits). Isso faz com que o fone gaste 3 vezes menos bateria. É como se o fone estivesse "economizando energia" ao enviar apenas o essencial.

3. O "Mágico" no Celular: Reconstrução Inteligente

Aqui entra a parte genial. O "rascunho" chega ao seu celular (que tem uma bateria muito maior e um processador mais forte). O SUBARU usa uma Inteligência Artificial avançada no celular para "pintar" esse esboço novamente, transformando-o na imagem original de alta qualidade.

• A Analogia: É como se você enviasse um esboço de um gato para um artista profissional. O artista olha o esboço e, usando sua experiência, completa os detalhes, as cores e a textura, devolvendo uma obra de arte perfeita.
• O Truque: O sistema não apenas melhora o som, ele usa dois tipos de "ouvidos" no fone: um que ouve o som pelo ar e outro que sente as vibrações da sua garganta (microfone de osso). Mesmo que o som do ar esteja cheio de ruído, a vibração da sua voz é clara. O SUBARU mistura essas duas informações para "limpar" o ruído e recuperar as frequências altas que foram perdidas no "rascunho".

4. Por que isso é incrível?

• Bateria que dura mais: Como o fone gasta menos energia para gravar e enviar, ele pode durar horas a mais no seu dia.
• Som cristalino: Mesmo vindo de um "rascunho", o som final no seu celular soa como se tivesse sido gravado em estúdio, sem o barulho do ônibus ou da festa.
• Tempo Real: O sistema é tão rápido que funciona ao vivo. Você fala, o fone envia o "rascunho", o celular conserta em milissegundos e a outra pessoa ouve sua voz limpa quase instantaneamente.

Resumo da Ópera

O SUBARU é como ter um assistente pessoal no seu fone que diz: "Não precisa enviar tudo, eu só preciso do básico para economizar sua bateria. Deixe o trabalho pesado de deixar o som perfeito para o seu celular, que é mais forte."

Isso permite que você use seus fones inteligentes o dia todo, mesmo em lugares muito barulhentos, sem ficar com medo de ficar sem bateria.

Resumo técnico

1. Problema Identificado

Os dispositivos hearables (wearables auditivos como fones de ouvido inteligentes) enfrentam um dilema crítico entre eficiência energética e qualidade de áudio.

• Consumo de Energia: Os microfone de condução aérea (ACM) e os microfones de condução óssea (BCM) tradicionais operam em taxas de amostragem Nyquist (acima de 16 kHz) e resoluções de bits elevadas (12-24 bits) para capturar áudio de banda larga. Isso consome muita energia nos ADCs (Conversores Analógico-Digitais) dos dispositivos wearables, que possuem baterias pequenas.
• Limitações das Soluções Atuais:
  • Algoritmos existentes de Melhoria de Fala (SE) não exploram a redução conjunta da frequência de amostragem e da resolução de bits nos ADCs.
  • Métodos de Bandwidth Extension (BWE - Extensão de Largura de Banda) atuais geralmente operam em sinais de banda estreita, mas não conseguem reconstruir sinais de banda larga a partir de amostragens sub-Nyquist (abaixo de 16 kHz) com baixa resolução de bits.
  • Modelos de ponta (SOTA), como GANs (Redes Adversariais Generativas), oferecem alta qualidade, mas possuem complexidade computacional e de memória proibitiva para dispositivos móveis e wearables, impedindo processamento em tempo real (streaming).

2. Metodologia: SUBARU

O authors propõem o SUBARU (Sub-Nyquist Audio Resolution Upsampling), uma abordagem que utiliza uma arquitetura dividida (split architecture) para equilibrar consumo de energia e qualidade de áudio.

Arquitetura Dividida

• No Hearable (Dispositivo Wearable): Realiza apenas a amostragem sub-Nyquist (ex: 4 kHz) e baixa resolução de bits (ex: 8 bits) dos sinais do ACM e BCM. Isso reduz drasticamente o consumo de energia no dispositivo.
• Na Plataforma Móvel (Smartphone): Recebe os dados de baixa resolução via Bluetooth e executa o algoritmo SUBARU para reconstruir o áudio de alta fidelidade (ex: 16-24 kHz, 12-16 bits) e realizar a melhoria de fala multimodal (SE).

Design do Modelo (Baseado em U-Net)

O SUBARU é um modelo híbrido que combina processamento baseado em espectro e forma de onda, composto por quatro módulos principais:

1. Rede de Melhoria Espectral (Spectral Enhancement Network): Usa uma arquitetura U-Net 2D com camadas residuais e um bloco Mamba (em vez de Transformers) na camada de gargalo para capturar correlações globais com menos parâmetros. Processa o espectrograma do áudio ruidoso de baixa resolução.
2. Rede de Upsampling (Upsampling Network): Inspirada no HiFi-GAN, converte o espectrograma enriquecido de volta para a forma de onda bruta, realizando um upsampling de 256x em 4 estágios.
3. Rede de Melhoria Temporal (Time Enhancement Network): Uma U-Net 1D que funde as características do áudio (ACM) e da vibração (BCM). Utiliza o sinal menos ruidoso do BCM para refinar o sinal do ACM no domínio do tempo.
4. Rede de Melhoria de Amplitude e Fase (Amplitude-Phase Enhancement Network): Remove artefatos e ruído tanto no domínio da amplitude quanto da fase. É crucial para reconstruir fases limpas em condições ruidosas, utilizando transformadas de Fourier de curta duração (STFT).

Funções de Perda (Loss Functions)

Para garantir alta qualidade perceptiva e estabilidade no treinamento, o SUBARU utiliza uma combinação de quatro funções de perda:

• Perda Multi-Escala e Multi-Período: Operam no domínio do tempo para garantir a fidelidade da forma de onda.
• Perda de Espectro de Fase: Inclui perdas de "anti-wrapping" para fase instantânea e atraso de grupo, essenciais para a reconstrução de áudio limpo.
• Perda STFT Multi-Resolução: Operam no domínio da frequência para preservar o conteúdo espectral.

3. Principais Contribuições

1. Redução de Consumo de Energia: Demonstra que reduzir a amostragem para 4 kHz e 8 bits nos hearables resulta em uma economia de energia de 3,31x em comparação com configurações tradicionais (24 kHz, 12 bits).
2. Arquitetura Híbrida Eficiente: Combina métodos baseados em espectro e forma de onda, permitindo treinamento conjunto e reconstrução de fase limpa, superando limitações de modelos puramente baseados em forma de onda ou espectro.
3. Uso de Mamba: Substitui Transformers por blocos Mamba nas camadas de gargalo, reduzindo o número de parâmetros em ~3x (mantendo a performance) e acelerando o treinamento.
4. Operação em Streaming em Tempo Real: O modelo foi otimizado para rodar em plataformas móveis com latência extremamente baixa, permitindo processamento quadro a quadro.
5. Validação Multimodal e em Condições Reais: Avaliado com dados de ACM e BCM (vibração e acelerômetro) em ambientes ruidosos reais (ônibus, sala de aula, carro), não apenas com ruído simulado.

4. Resultados Experimentais

Os resultados foram comparados contra 10 modelos baseline (incluindo GANs, U-Nets e modelos de Difusão) em datasets de fala (VCTK) e música (MagnaTagATune).

• Desempenho de Inferência:
  • Desktop (GPU): Tempo de inferência de 1,74 ms por quadro de 1s (superior a todos os GANs, que levam de 6ms a 36ms).
  • Mobile (Google Pixel 7): Tempo de inferência de 71 ms, bem abaixo do limite de 150 ms recomendado pela ITU para comunicações de voz em tempo real.
• Qualidade de Áudio:
  • O SUBARU superou os modelos U-Net SOTA e alcançou desempenho comparável ou superior aos GANs em métricas como LSD (Distância Espectral Logarítmica), PESQ (Qualidade Perceptiva) e STOI (Inteligibilidade).
  • Em condições ruidosas, o SUBARU recuperou a inteligibilidade da fala e a qualidade musical de forma eficaz, mesmo partindo de sinais amostrados a 4 kHz/8 bits.
• Eficiência de Recursos:
  • O modelo total possui apenas 3,61 milhões de parâmetros e ocupa 13,77 MB de memória, sendo significativamente menor que modelos GAN (que podem ter centenas de milhões de parâmetros).
• Economia de Bateria:
  • A redução de 3,31x no consumo do ADC do heearable compensa o pequeno aumento de consumo no smartphone (aprox. 1,16 W para rodar o modelo), resultando em um ganho líquido de vida útil da bateria do dispositivo wearable.

5. Significância e Impacto

O SUBARU representa um avanço prático para a indústria de hearables e assistentes de voz:

• Viabilidade de Hearables de Baixo Custo e Baixo Consumo: Permite que dispositivos com baterias minúsculas operem por muito mais tempo, transferindo a carga computacional pesada para o smartphone, que possui bateria abundante.
• Qualidade em Ambientes Reais: A capacidade de reconstruir áudio de alta fidelidade a partir de dados sub-Nyquist ruidosos torna a tecnologia viável para uso em ambientes urbanos barulhentos, onde a inteligibilidade da fala é crítica.
• Padrão para Processamento Multimodal: Estabelece uma nova abordagem para o uso combinado de microfone e sensores de vibração (BCM) em arquiteturas divididas, superando as limitações de modelos que exigem processamento completo no dispositivo wearable.

Em resumo, o SUBARU preenche a lacuna entre a necessidade de eficiência energética extrema em wearables e a demanda por alta qualidade de áudio e processamento de fala em tempo real, utilizando uma arquitetura de IA otimizada e uma estratégia de amostragem inteligente.