Riepilogo Tecnico: ChladniSonify

Enunciato del Problema

Nel campo della new media art, la mappatura tra elementi visivi e sonori è spesso altamente soggettiva e priva di fondamento teorico. Sebbene i pattern di Chladni—strutture geometriche formate dalla sabbia su lastre vibranti—offrano un mezzo naturale per l'integrazione audio-visiva grazie alla loro stretta corrispondenza tra modi di vibrazione e frequenze, gli strumenti di creazione esistenti presentano tre limitazioni critiche:

1. Alta Soglia Tecnica: La creazione di simulazioni basate sulla fisica richiede competenze in meccanica dell'elasticità e analisi agli elementi finiti, spesso risultando in calcoli offline che non soddisfano i requisiti di interazione in tempo reale.
2. Mancanza di Controllo: Gli strumenti generici di sonificazione delle immagini si basano sull'adattamento statistico dei dati (approcci black-box), impedendo agli artisti di controllare con precisione la corrispondenza tra le strutture delle linee nodali e il suono in uscita.
3. Mappatura Incontrollabile: I metodi esistenti non possono garantire la "stretta corrispondenza visivo-acustica" richiesta per l'arte basata su Chladni, portando a risultati non riproducibili.

Metodologia

Il documento propone ChladniSonify, un sistema di mappatura visivo-acustica in tempo reale progettato per colmare queste lacune attraverso una pipeline tecnica in tre fasi:

1. Costruzione di un Dataset Fisicamente Coerente

Invece di affidarsi a dati sperimentali grezzi o a training black-box, gli autori hanno costruito un dataset accoppiato basato sulla teoria della vibrazione delle lastre sottili Kirchhoff-Love.

• Modellazione: Una lastra quadrata in acciaio inossidabile ($0.16m \times 0.16m$, spessore $0.8mm$) è stata modellata numericamente. Le frequenze naturali ($f_{n,m}$) sono state calcolate utilizzando coefficienti di frequenza adimensionali ($\lambda_{n,m}$) derivati dal lavoro di Leissa.
• Verifica: Le frequenze teoriche e le forme modali sono state verificate e calibrate rispetto alle simulazioni agli elementi finiti ANSYS. La massima deviazione relativa tra frequenze teoriche e simulate è stata mantenuta sotto il 9.3%.
• Sintesi e Augmentation: È stato generato un dataset di 1.500 immagini sintetiche (15 modi, 100 immagini ciascuno). Per simulare le condizioni reali, è stata applicata un'augmentation multidimensionale dei dati, inclusa la perturbazione dei canali di colore, rumore di Poisson per la distribuzione dei granelli di sabbia e trasformazioni di filtri immagine. Il dataset finale comprendeva 4.500 immagini (3.600 per l'addestramento, 900 per il test).

2. Riconoscimento di Pattern Leggero (CNN + CBAM)

Per raggiungere un'inferenza a bassa latenza adatta al deployment lato edge, gli autori hanno progettato una Rete Neurale Convoluzionale (CNN) potenziata dal Modulo di Attenzione a Blocchi Convoluzionali (CBAM).

• Architettura: Un backbone CNN a 4 livelli è stato integrato con un modulo CBAM.
• Ottimizzazione: Riconoscendo che i pattern di Chladni sono definiti da linee nodali sottili, il kernel di convoluzione del sottomodulo di attenzione spaziale è stato ottimizzato dallo standard $7\times7$ a $5\times5$. Questo aggiustamento corrisponde meglio alla scala spaziale delle caratteristiche nodali lineari, riducendo l'interferenza del rumore di fondo.
• Addestramento: I modelli sono stati addestrati utilizzando PyTorch su una CPU Apple M4 con una dimensione del batch di 32, ottimizzatore Adam e strategie di early stopping.

3. Sistema di Mappatura Visivo-Acustica in Tempo Reale

È stato costruito un sistema end-to-end utilizzando Python e Max/MSP, che comunicano tramite UDP.

• Flusso di Lavoro: Video della telecamera $\rightarrow$ Estrazione dei frame $\rightarrow$ Trasmissione UDP a Python $\rightarrow$ Inferenza CNN $\rightarrow$ Estrazione ID del modo $\rightarrow$ Mappatura della frequenza (tramite formule fisiche) $\rightarrow$ Ritorno UDP a Max/MSP $\rightarrow$ Rendering audio dell'onda sinusoidale.
• Trasparenza: Le regole di mappatura non sono apprese statisticamente ma sono strettamente derivate dalle formule fisiche della vibrazione delle lastre sottili, garantendo che la frequenza in uscita corrisponda esattamente all'ordine del modo riconosciuto $(n,m)$.

Contributi Chiave

1. Dataset di Riferimento: Creazione di un dataset fisicamente calibrato di pattern di Chladni e frequenze, verificato tramite simulazione ANSYS, fornendo una base riproducibile per la mappatura visivo-acustica.
2. Modello di Riconoscimento Ottimizzato: Sviluppo di un'architettura CNN-CBAM leggera specificamente sintonizzata per le linee nodali sottili, che raggiunge alta accuratezza con latenza di inferenza minima.
3. Sistema di Mappatura Trasparente: Implementazione di un sistema full-link in cui la mappatura da visivo ad audio è governata dalla fisica classica piuttosto che dall'adattamento statistico, offrendo agli artisti parametri controllabili e interpretabili.

Risultati Sperimentali

Il sistema è stato valutato su un set di test sintetico con i seguenti risultati:

• Accuratezza di Classificazione: Il modello CNN-CBAM ha raggiunto un'accuratezza del 99.33% sul set di test, con un F1-score di 0.9924.
• Latenza: La latenza di inferenza per singola immagine è stata di 7.03 ms su CPU. La latenza end-to-end completa (dall'acquisizione dell'immagine all'output audio) è stata in media di 42.6 ms (massimo 48 ms), soddisfacendo i requisiti di interattività in tempo reale.
• Coerenza di Mappatura: Per i campioni correttamente identificati, la frequenza mappata ha mostrato una deviazione relativa dello 0% rispetto al benchmark teorico, dimostrando che il sistema aderisce strettamente alle leggi fisiche.
• Studio di Ablazione: Il kernel ottimizzato $5\times5$ nel modulo CBAM ha superato il kernel standard $7\times7$ (99.33% vs 98.50% di accuratezza), confermando l'importanza di adattare il meccanismo di attenzione alla geometria specifica dei pattern di Chladni.

Significato e Affermazioni

Il documento posiziona ChladniSonify non come una novità teorica nel deep learning o nella fisica, ma come un prototipo ingegneristico pratico che affronta specifici punti critici nella creazione di new media art.

• Riproducibilità: Fornisce un flusso di lavoro riproducibile per il collegamento audio-visivo di Chladni, allontanandosi da mappature soggettive o black-box.
• Accessibilità: Abbassando la soglia tecnica, permette agli artisti di creare installazioni interattive senza bisogno di una profonda competenza nella simulazione agli elementi finiti o in architetture complesse di deep learning.
• Fattibilità in Tempo Reale: Dimostra che una mappatura visivo-acustica ad alta precisione e basata sulla fisica è realizzabile in tempo reale su hardware standard, abilitando nuove forme di performance dal vivo e installazioni interattive in cui i cambiamenti visivi guidano direttamente e accuratamente l'output acustico.

Gli autori riconoscono le limitazioni attuali, inclusa la restrizione a lastre quadre con condizioni al contorno specifiche, un dataset limitato a 15 modi e l'affidamento su dati sintetici per l'addestramento. È proposto un lavoro futuro per espandere l'adattabilità geometrica, aumentare la copertura dei modi e validare il sistema con dati sperimentali reali.