Resumo Técnico: ChladniSonify

Declaração do Problema

No domínio da arte de novas mídias, o mapeamento entre elementos visuais e auditivos é frequentemente altamente subjetivo e carece de fundamentação teórica. Embora os padrões de Chladni — estruturas geométricas formadas por areia em placas vibratórias — ofereçam um meio natural para integração áudio-visual devido à sua correspondência estrita entre modos de vibração e frequências, as ferramentas de criação existentes enfrentam três limitações críticas:

1. Alto Limiar Técnico: A criação de simulações baseadas em física exige expertise em mecânica da elasticidade e análise de elementos finitos, resultando frequentemente em computações offline que não atendem aos requisitos de interação em tempo real.
2. Falta de Controle: Ferramentas gerais de sonificação de imagens dependem de ajuste estatístico de dados (abordagens de caixa-preta), impedindo que os artistas controlem com precisão a correspondência entre estruturas de linhas nodais e o som de saída.
3. Mapeamento Incontrolável: Os métodos existentes não podem garantir a "correspondência visual-acústica estrita" necessária para a arte baseada em Chladni, levando a resultados não reproduzíveis.

Metodologia

O artigo propõe o ChladniSonify, um sistema de mapeamento visual-acústico em tempo real projetado para preencher essas lacunas através de um pipeline técnico de três etapas:

1. Construção de Conjunto de Dados Fisicamente Consistente

Em vez de depender de dados experimentais brutos ou treinamento de caixa-preta, os autores construíram um conjunto de dados emparelhado baseado na teoria de vibração de placas finas de Kirchhoff-Love.

• Modelagem: Uma placa quadrada de aço inoxidável ($0,16m \times 0,16m$, espessura de $0,8mm$) foi modelada numericamente. As frequências naturais ($f_{n,m}$) foram calculadas usando coeficientes de frequência adimensionais ($\lambda_{n,m}$) derivados do trabalho de Leissa.
• Verificação: As frequências teóricas e as formas modais foram verificadas e calibradas contra simulações de elementos finitos ANSYS. O desvio relativo máximo entre as frequências teóricas e simuladas foi mantido abaixo de 9,3%.
• Síntese e Aumento: Um conjunto de dados de 1.500 imagens sintéticas (15 modos, 100 imagens cada) foi gerado. Para simular condições do mundo real, foi aplicado aumento de dados multidimensional, incluindo perturbação de canais de cor, ruído de Poisson para distribuição de grãos de areia e transformações de filtros de imagem. O conjunto de dados final compreendeu 4.500 imagens (3.600 para treinamento, 900 para teste).

2. Reconhecimento de Padrões Leve (CNN + CBAM)

Para alcançar inferência de baixa latência adequada para implantação na borda, os autores projetaram uma Rede Neural Convolucional (CNN) aprimorada pelo Módulo de Atenção de Bloco Convolucional (CBAM).

• Arquitetura: Uma espinha dorsal CNN de 4 camadas foi integrada com um módulo CBAM.
• Otimização: Reconhecendo que os padrões de Chladni são definidos por linhas nodais esguias, o kernel de convolução do submódulo de atenção espacial foi otimizado do padrão $7\times7$ para $5\times5$. Este ajuste corresponde melhor à escala espacial de características nodais lineares, reduzindo a interferência de ruído de fundo.
• Treinamento: Os modelos foram treinados usando PyTorch em uma CPU Apple M4 com tamanho de lote de 32, otimizador Adam e estratégias de parada antecipada.

3. Sistema de Mapeamento Visual-Acuístico em Tempo Real

Um sistema ponta a ponta foi construído usando Python e Max/MSP, comunicando-se via UDP.

• Fluxo de Trabalho: Vídeo da câmera $\rightarrow$ Extração de quadro $\rightarrow$ Transmissão UDP para Python $\rightarrow$ Inferência CNN $\rightarrow$ Extração de ID de modo $\rightarrow$ Mapeamento de frequência (via fórmulas físicas) $\rightarrow$ Retorno UDP para Max/MSP $\rightarrow$ Renderização de áudio de onda senoidal.
• Transparência: As regras de mapeamento não são aprendidas estatisticamente, mas derivadas estritamente das fórmulas físicas de vibração de placas finas, garantindo que a frequência de saída corresponda exatamente à ordem do modo reconhecido $(n,m)$.

Contribuições Principais

1. Conjunto de Dados de Referência: Criação de um conjunto de dados fisicamente calibrado de padrões de Chladni e frequências, verificado por simulação ANSYS, fornecendo uma base reproduzível para mapeamento visual-acústico.
2. Modelo de Reconhecimento Otimizado: Desenvolvimento de uma arquitetura leve CNN-CBAM especificamente ajustada para linhas nodais esguias, alcançando alta precisão com latência de inferência mínima.
3. Sistema de Mapeamento Transparente: Implementação de um sistema de link completo onde o mapeamento visual-audio é governado pela física clássica em vez de ajuste estatístico, oferecendo aos artistas parâmetros controláveis e interpretáveis.

Resultados Experimentais

O sistema foi avaliado em um conjunto de teste sintético com os seguintes resultados:

• Precisão de Classificação: O modelo CNN-CBAM alcançou 99,33% de precisão no conjunto de teste, com uma pontuação F1 de 0,9924.
• Latência: A latência de inferência de imagem única foi de 7,03 ms em uma CPU. A latência ponta a ponta do link completo (da captura da imagem à saída de áudio) foi em média 42,6 ms (máximo 48 ms), satisfazendo os requisitos de interação em tempo real.
• Consistência de Mapeamento: Para amostras identificadas corretamente, a frequência mapeada mostrou um desvio relativo de 0% em relação ao benchmark teórico, provando que o sistema adere estritamente às leis físicas.
• Estudo de Ablação: O kernel otimizado $5\times5$ no módulo CBAM superou o kernel padrão $7\times7$ (99,33% vs. 98,50% de precisão), confirmando a importância de adaptar o mecanismo de atenção à geometria específica dos padrões de Chladni.

Significado e Alegações

O artigo posiciona o ChladniSonify não como uma nova descoberta teórica em aprendizado profundo ou física, mas como um protótipo de engenharia prática que aborda pontos de dor específicos na criação de arte de novas mídias.

• Reprodutibilidade: Fornece um fluxo de trabalho reproduzível para a ligação áudio-visual de Chladni, afastando-se de mapeamentos subjetivos ou de caixa-preta.
• Acessibilidade: Ao reduzir o limiar técnico, permite que artistas criem instalações interativas sem necessidade de profunda expertise em simulação de elementos finitos ou arquiteturas complexas de aprendizado profundo.
• Viabilidade em Tempo Real: Demonstra que mapeamento visual-acústico baseado em física de alta precisão é alcançável em tempo real em hardware padrão, permitindo novas formas de performance ao vivo e instalação interativa onde mudanças visuais direcionam diretamente e com precisão a saída acústica.

Os autores reconhecem limitações atuais, incluindo a restrição a placas quadradas com condições de contorno específicas, um conjunto de dados limitado de 15 modos e a dependência de dados sintéticos para treinamento. Trabalhos futuros são propostos para expandir a adaptabilidade geométrica, aumentar a cobertura de modos e validar o sistema com dados experimentais de filmagem real.