Technische Samenvatting: ChladniSonify

Probleemstelling

In het domein van nieuwe media-kunst is de mapping tussen visuele en auditieve elementen vaak sterk subjectief en mist theoretische onderbouwing. Hoewel Chladni-figuren—geometrische structuren die ontstaan door zand op trillende platen—een natuurlijk medium bieden voor audio-visuele integratie vanwege hun strikte correspondentie tussen trillingsmodi en frequenties, staan bestaande creatietools voor drie kritieke beperkingen:

1. Hoge technische drempel: Het creëren van fysisch gebaseerde simulaties vereist expertise in elasticiteitsmechanica en eindige-elementenanalyse, wat vaak leidt tot offline berekeningen die niet voldoen aan eisen voor real-time interactie.
2. Gebrek aan controle: Algemene tools voor beeldsonificatie vertrouwen op statistische datafitting (black-box benaderingen), waardoor kunstenaars de correspondentie tussen knooppuntslijnenstructuren en uitgaand geluid niet precies kunnen beheersen.
3. Onbeheersbare mapping: Bestaande methoden kunnen de voor Chladni-gebaseerde kunst vereiste "strikt visueel-acoustische correspondentie" niet garanderen, wat leidt tot niet-reproduceerbare resultaten.

Methodologie

Het artikel stelt ChladniSonify voor, een real-time visueel-acoustisch mappingsysteem ontworpen om deze gaten te dichten via een technische pijplijn in drie fasen:

1. Constructie van een fysisch consistente dataset

In plaats van te vertrouwen op ruwe experimentele data of black-box training, construeerden de auteurs een gepaarde dataset gebaseerd op de Kirchhoff-Love-theorie voor trillingen van dunne platen.

• Modellering: Een vierkante roestvrijstalen plaat ($0,16m \times 0,16m$, dikte $0,8mm$) werd numeriek gemodelleerd. Natuurlijke frequenties ($f_{n,m}$) werden berekend met behulp van dimensieloze frequentiecoëfficiënten ($\lambda_{n,m}$) afgeleid uit het werk van Leissa.
• Verificatie: Theoretische frequenties en modeshapes werden geverifieerd en gekalibreerd tegen ANSYS eindige-elementensimulaties. De maximale relatieve afwijking tussen theoretische en gesimuleerde frequenties werd onder 9,3% gehouden.
• Synthese & Augmentatie: Er werd een dataset van 1.500 synthetische afbeeldingen gegenereerd (15 modi, 100 afbeeldingen per modus). Om realistische omstandigheden te simuleren, werd multidimensionale data-augmentatie toegepast, inclusief verstoring van kleurkanalen, Poisson-ruis voor de verdeling van zandkorrels en beeldfiltertransformaties. De uiteindelijke dataset bestond uit 4.500 afbeeldingen (3.600 voor training, 900 voor testen).

2. Lichtgewicht patroonherkenning (CNN + CBAM)

Om inferentie met lage latentie te bereiken die geschikt is voor implementatie aan de rand van het netwerk, ontwierpen de auteurs een Convolutional Neural Network (CNN) versterkt door de Convolutional Block Attention Module (CBAM).

• Architectuur: Een 4-laags CNN-ruggengraat werd geïntegreerd met een CBAM-module.
• Optimalisatie: Omdat Chladni-figuren worden gedefinieerd door slanke knooppuntslijnen, werd het convolutiekern van de ruimtelijke attentiesubmodule geoptimaliseerd van de standaard $7\times7$ naar $5\times5$. Deze aanpassing past beter bij de ruimtelijke schaal van lineaire knooppuntskenmerken en vermindert interferentie van achtergrondruis.
• Training: Modellen werden getraind met PyTorch op een Apple M4 CPU met een batchgrootte van 32, de Adam-optimizer en strategieën voor vroegtijdig stoppen.

3. Real-time visueel-acoustisch mappingsysteem

Er werd een end-to-end systeem gebouwd met Python en Max/MSP, dat communiceert via UDP.

• Werkstroom: Camera-video $\rightarrow$ Frame-extractie $\rightarrow$ UDP-transmissie naar Python $\rightarrow$ CNN-inferentie $\rightarrow$ Extractie van modus-ID $\rightarrow$ Frequentiemapping (via fysische formules) $\rightarrow$ UDP-terugkeer naar Max/MSP $\rightarrow$ Audio-rendering van sinusgolven.
• Transparantie: De mappingsregels worden niet statistisch geleerd maar zijn strikt afgeleid van de fysische formules voor trillingen van dunne platen, waardoor ervoor wordt gezorgd dat de uitgaande frequentie exact overeenkomt met de herkende modusorde $(n,m)$.

Belangrijkste bijdragen

1. Benchmarck-dataset: Creatie van een fysisch gekalibreerde dataset van Chladni-figuren en frequenties, geverifieerd door ANSYS-simulatie, die een reproduceerbare basis biedt voor visueel-acoustische mapping.
2. Geoptimaliseerd herkenningsmodel: Ontwikkeling van een lichtgewicht CNN-CBAM-architectuur die specifiek is afgestemd op slanke knooppuntslijnen, met hoge nauwkeurigheid en minimale inferentielatentie.
3. Transparant mappingsysteem: Implementatie van een full-link-systeem waarbij de mapping van visueel naar auditief wordt gestuurd door klassieke fysica in plaats van statistische fitting, waardoor kunstenaars controleerbare en interpreteerbare parameters krijgen.

Experimentele resultaten

Het systeem werd geëvalueerd op een synthetische testset met de volgende resultaten:

• Classificienauwkeurigheid: Het CNN-CBAM-model behaalde 99,33% nauwkeurigheid op de testset, met een F1-score van 0,9924.
• Latentie: De inferentielatentie voor een enkele afbeelding was 7,03 ms op een CPU. De volledige end-to-end-latentie (van beeldopname tot audio-uitvoer) bedroeg gemiddeld 42,6 ms (maximaal 48 ms), wat voldoet aan eisen voor real-time interactie.
• Mapping-consistentie: Voor correct geïdentificeerde samples toonde de gemapte frequentie een 0% relatieve afwijking ten opzichte van de theoretische benchmark, wat bewijst dat het systeem strikt adhereert aan natuurwetten.
• Ablatiestudie: De geoptimaliseerde $5\times5$-kern in de CBAM-module presteerde beter dan de standaard $7\times7$-kern (99,33% versus 98,50% nauwkeurigheid), wat het belang bevestigt van het afstemmen van het attentiemechanisme op de specifieke geometrie van Chladni-figuren.

Betekenis en claims

Het artikel positioneert ChladniSonify niet als een nieuw theoretisch doorbraak in deep learning of fysica, maar als een praktisch engineering-prototype dat specifieke pijnpunten in de creatie van nieuwe media-kunst aanpakt.

• Reproduceerbaarheid: Het biedt een reproduceerbare workflow voor Chladni audio-visuele koppeling, weg van subjectieve of black-box mappings.
• Toegankelijkheid: Door de technische drempel te verlagen, stelt het kunstenaars in staat interactieve installaties te creëren zonder diepe expertise in eindige-elementensimulatie of complexe deep learning-architecturen.
• Haalbaarheid in real-time: Het toont aan dat hoge precisie, fysisch gebaseerde visueel-acoustische mapping in real-time haalbaar is op standaardhardware, wat nieuwe vormen van live-optredens en interactieve installaties mogelijk maakt waarbij visuele veranderingen direct en nauwkeurig de akoestische output aansturen.

De auteurs erkennen huidige beperkingen, waaronder de beperking tot vierkante platen met specifieke randvoorwaarden, een beperkte dataset van 15 modi, en de afhankelijkheid van synthetische data voor training. Voor toekomstig werk wordt voorgesteld om de geometrische aanpasbaarheid uit te breiden, de modusdekking te vergroten en het systeem te valideren met experimentele data van echte opnames.