Resumen Técnico: ChladniSonify

Declaración del Problema

En el ámbito del arte de nuevos medios, la correspondencia entre elementos visuales y auditivos suele ser altamente subjetiva y carece de fundamentación teórica. Si bien los patrones de Chladni —estructuras geométricas formadas por arena en placas vibrantes— ofrecen un medio natural para la integración audio-visual debido a su estricta correspondencia entre modos de vibración y frecuencias, las herramientas de creación existentes enfrentan tres limitaciones críticas:

1. Alto Umbral Técnico: La creación de simulaciones basadas en física requiere experiencia en mecánica de la elasticidad y análisis de elementos finitos, lo que a menudo resulta en cálculos fuera de línea que no cumplen con los requisitos de interacción en tiempo real.
2. Falta de Control: Las herramientas generales de sonificación de imágenes dependen del ajuste de datos estadísticos (enfoques de caja negra), lo que impide que los artistas controlen con precisión la correspondencia entre las estructuras de líneas nodales y el sonido de salida.
3. Correspondencia Incontrolable: Los métodos existentes no pueden garantizar la "estricta correspondencia visual-acústica" requerida para el arte basado en Chladni, lo que conduce a resultados no reproducibles.

Metodología

El artículo propone ChladniSonify, un sistema de mapeo visual-acústico en tiempo real diseñado para cerrar estas brechas mediante una tubería técnica de tres etapas:

1. Construcción de un Conjunto de Datos Físicamente Consistente

En lugar de depender de datos experimentales brutos o de entrenamiento de caja negra, los autores construyeron un conjunto de datos emparejado basado en la teoría de vibración de placas delgadas de Kirchhoff-Love.

• Modelado: Se modeló numéricamente una placa cuadrada de acero inoxidable ($0.16m \times 0.16m$, $0.8mm$ de espesor). Las frecuencias naturales ($f_{n,m}$) se calcularon utilizando coeficientes de frecuencia adimensionales ($\lambda_{n,m}$) derivados del trabajo de Leissa.
• Verificación: Las frecuencias teóricas y las formas modales se verificaron y calibraron frente a simulaciones de elementos finitos en ANSYS. La desviación relativa máxima entre las frecuencias teóricas y simuladas se mantuvo por debajo del 9.3%.
• Síntesis y Aumento: Se generó un conjunto de datos de 1,500 imágenes sintéticas (15 modos, 100 imágenes cada uno). Para simular condiciones del mundo real, se aplicó aumento de datos multidimensional, incluyendo perturbación de canales de color, ruido de Poisson para la distribución de granos de arena y transformaciones de filtros de imagen. El conjunto de datos final comprendió 4,500 imágenes (3,600 de entrenamiento, 900 de prueba).

2. Reconocimiento de Patrones Ligero (CNN + CBAM)

Para lograr una inferencia de baja latencia adecuada para la implementación en el borde, los autores diseñaron una Red Neuronal Convolucional (CNN) potenciada por el Módulo de Atención de Bloque Convolucional (CBAM).

• Arquitectura: Se integró una columna vertebral CNN de 4 capas con un módulo CBAM.
• Optimización: Reconociendo que los patrones de Chladni están definidos por líneas nodales delgadas, el núcleo de convolución del submódulo de atención espacial se optimizó del estándar $7\times7$ a $5\times5$. Este ajuste coincide mejor con la escala espacial de las características nodales lineales, reduciendo la interferencia del ruido de fondo.
• Entrenamiento: Los modelos se entrenaron utilizando PyTorch en una CPU Apple M4 con un tamaño de lote de 32, optimizador Adam y estrategias de parada temprana.

3. Sistema de Mapeo Visual-Acuático en Tiempo Real

Se construyó un sistema de extremo a extremo utilizando Python y Max/MSP, comunicándose mediante UDP.

• Flujo de trabajo: Video de la cámara $\rightarrow$ Extracción de cuadros $\rightarrow$ Transmisión UDP a Python $\rightarrow$ Inferencia CNN $\rightarrow$ Extracción de ID de modo $\rightarrow$ Mapeo de frecuencia (mediante fórmulas físicas) $\rightarrow$ Retorno UDP a Max/MSP $\rightarrow$ Renderizado de audio de onda sinusoidal.
• Transparencia: Las reglas de mapeo no se aprenden estadísticamente, sino que se derivan estrictamente de las fórmulas físicas de la vibración de placas delgadas, asegurando que la frecuencia de salida corresponda exactamente al orden de modo reconocido $(n,m)$.

Contribuciones Clave

1. Conjunto de Datos de Referencia: Creación de un conjunto de datos físicamente calibrado de patrones y frecuencias de Chladni, verificado mediante simulación ANSYS, que proporciona una base reproducible para el mapeo visual-acústico.
2. Modelo de Reconocimiento Optimizado: Desarrollo de una arquitectura CNN-CBAM ligera sintonizada específicamente para líneas nodales delgadas, logrando alta precisión con latencia de inferencia mínima.
3. Sistema de Mapeo Transparente: Implementación de un sistema de enlace completo donde el mapeo de visual a audio está gobernado por la física clásica en lugar del ajuste estadístico, ofreciendo a los artistas parámetros controlables e interpretables.

Resultados Experimentales

El sistema se evaluó en un conjunto de pruebas sintético con los siguientes resultados:

• Precisión de Clasificación: El modelo CNN-CBAM logró una precisión del 99.33% en el conjunto de pruebas, con una puntuación F1 de 0.9924.
• Latencia: La latencia de inferencia de imagen única fue de 7.03 ms en una CPU. La latencia de extremo a extremo de enlace completo (desde la captura de imagen hasta la salida de audio) promedió 42.6 ms (máximo 48 ms), satisfaciendo los requisitos de interacción en tiempo real.
• Consistencia de Mapeo: Para las muestras identificadas correctamente, la frecuencia mapeada mostró una desviación relativa del 0% respecto al punto de referencia teórico, demostrando que el sistema se adhiere estrictamente a las leyes físicas.
• Estudio de Ablación: El núcleo optimizado de $5\times5$ en el módulo CBAM superó al núcleo estándar de $7\times7$ (99.33% vs. 98.50% de precisión), confirmando la importancia de adaptar el mecanismo de atención a la geometría específica de los patrones de Chladni.

Significado y Afirmaciones

El artículo posiciona a ChladniSonify no como un avance teórico novedoso en el aprendizaje profundo o la física, sino como un prototipo de ingeniería práctica que aborda puntos de dolor específicos en la creación de arte de nuevos medios.

• Reproducibilidad: Proporciona un flujo de trabajo reproducible para el enlace audio-visual de Chladni, alejándose de mapeos subjetivos o de caja negra.
• Accesibilidad: Al reducir el umbral técnico, permite a los artistas crear instalaciones interactivas sin necesidad de experiencia profunda en simulación de elementos finitos o arquitecturas complejas de aprendizaje profundo.
• Viabilidad en Tiempo Real: Demuestra que el mapeo visual-acústico basado en física de alta precisión es alcanzable en tiempo real en hardware estándar, habilitando nuevas formas de interpretación en vivo e instalaciones interactivas donde los cambios visuales impulsan directa y con precisión la salida acústica.

Los autores reconocen las limitaciones actuales, incluida la restricción a placas cuadradas con condiciones de contorno específicas, un conjunto de datos limitado de 15 modos y la dependencia de datos sintéticos para el entrenamiento. Se propone trabajo futuro para expandir la adaptabilidad geométrica, aumentar la cobertura de modos y validar el sistema con datos experimentales capturados en la realidad.