What Is Sonification? Toward a Philosophy of Sonification

Stel je voor dat je een superkracht hebt: het vermogen om data te horen. Niet alleen getallen op een spreadsheet, maar de verborgen verhalen binnenin die data. Dit is de wereld van sonificatie, een vakgebied waar wetenschappers, kunstenaars en ontwerpers informatie omzetten in geluid. Denk erover na als het vertalen van een vreemde taal; in plaats van een Franse roman naar Engelse tekst te vertalen, verander je een weerkaart of een beursgrafiek in een melodie of een ritme. Maar hier komt het lastige deel: als je data in een liedje verandert, is het dan wetenschap? Is het kunst? Of is het iets heel anders? Jarenlang hebben mensen gedebatteerd over de vraag of sonificatie slechts "wetenschap met een beat" is of "muziek met een doel", waarbij ze vaak vastliepen in een lus van definities. Om dit op te lossen, moeten we naar twee grote ideeën kijken. Stel eerst een recept voor: het recept zelf (de regels voor het mengen van ingrediënten) is hetzelfde of je nu een taart bakt voor een verjaardag of voor een wetenschapsbeurs. Stel daarnaast een kiem voor: een kiem heeft een vaste genetische code, maar groeit in verschillende vormen afhankelijk van de bodem en het zonlicht die het vindt. Dit artikel gebruikt deze ideeën om een conceptueel kader aan te bieden om te bepalen wat sonificatie werkelijk is, waarbij wordt gesuggereerd dat het zowel een strikt technisch instrument als een flexibele creatieve praktijk kan zijn zonder zijn kernidentiteit te verliezen.

---

De Klank van Data: Wat is Sonificatie Eigenlijk?

Dus, je hebt een stapel data. Misschien is het de temperatuur van een ster, de beweging van een robot, of de hartslag van een patiënt. Je wilt het beluisteren. Je bouwt een systeem dat die getallen omzet in geluiden. Maar dan duikt er een vraag op: "Is dit muziek?" Als het geluid mooi is, is het dan kunst? Als het geluid een wetenschapper helpt een fout te ontdekken, is het dan wetenschap?

Dit artikel, gepresenteerd op de 31e International Conference on Auditory Display, pakt precies deze verwarring aan. De auteur, Rubén García-Benito, betoogt dat we de verkeerde vraag stellen. We hebben geprobeerd sonificatie in een doos met het label "Muziek" te passen of in een doos met het label "Wetenschap", maar het past in geen van beide. In plaats daarvan suggereert hij dat sonificatie een transcategorale praktijk is. Dat is een chique manier om te zeggen dat het een technisch instrument is dat overal naartoe kan reizen—naar een concertzaal, een laboratorium of een klaslokaal—zonder zijn kernidentiteit te veranderen.

Om dit uit te leggen, gebruikt het artikel twee filosofische hulpmiddelen, die we kunnen zien als een Blauwdruk en een Groeiwijzer.

De Blauwdruk: De Onveranderlijke Regels

Laten we eerst kijken naar de "Blauwdruk". Het artikel gebruikt een filosofie genaamd Materialistische Gnoseologie (denk aan het bestuderen van hoe we kennis opbouwen door fysieke handelingen). De auteur breekt sonificatie af in drie lagen:

1. Het Fysieke Materiaal (M1): De eigenlijke draden, luidsprekers en lichtsensoren.
2. De Menselijke Ervaring (M2): Hoe je je voelt, wat je hoort, en of het geluid mooi of irritant is.
3. De Regels (M3): De onzichtbare, wiskundige logica die zegt: "Als de data stijgt, gaat de toonhoogte omhoog."

Het artikel betoogt dat de identiteit van sonificatie voornamelijk leeft in de Regels (M3). Het is het recept. Of je dit recept nu gebruikt om een blind persoon te helpen navigeren door een kamer, om een sterrenstelsel te analyseren, of om een symfonie te schrijven, de regel die de data met het geluid verbindt, blijft hetzelfde.

Hier is de grote bevinding: Sonificatie wordt gedefinieerd door zijn regels, niet door zijn publiek.
Het artikel suggereert dat sonificatie niet simpelweg "muziek" wordt omdat het goed klinkt of in een concertzaal wordt gespeeld, noch dat het zijn identiteit verliest wanneer het in een lab wordt gebruikt. De auteur stelt dat als je de regels aanpast om het geluid "mooier" te maken zonder rekening te houden met de data, je het risico loopt de technische identiteit van de praktijk te verplaatsen. Met andere woorden: als muzikale voorkeur de data-naar-geluid-logica overrulet, kan de praktijk ophouden te functioneren als sonificatie, zelfs als het geluid blijft bestaan. Maar als je de strikte data-naar-geluid regels aanhoudt, blijft het sonificatie, zelfs als het publiek het evalueert als een prachtig kunstwerk.

De Groeiwijzer: Hoe het van Vorm Verandert

Vervolgens gebruikt het artikel een tweede hulpmiddel van filosoof Gilbert Simondon, dat lijkt op een Groeiwijzer. Dit helpt te verklaren hoe sonificatie er op verschillende plaatsen zo verschillend uit kan zien zonder te breken.

Stel je een kiem voor. De kiem heeft een specifieke genetische code (de M3-regels). Maar wanneer je hem in een woestijn plant, groeit hij op één manier. Wanneer je hem in een regenwoud plant, groeit hij op een andere manier. De kiem is nog steeds dezelfde kiem, maar de vorm verandert afhankelijk van de omgeving.

Het artikel suggereert dat sonificatie een metastabiel systeem is. Dit betekent dat het geen afgerond, rigide object is. Het is een systeem vol potentieel dat zich aanpast aan zijn omgeving.

• In een wetenschappelijk laboratorium is de "bodem" strikte testen en nauwkeurigheid. De sonificatie groeit om precies en helder te zijn.
• In een kunstgalerie is de "bodem" emotie en expressie. De sonificatie groeit om boeiend en suggestief te zijn.
• In een klaslokaal is de "bodem" leren. De sonificatie groeit om educatief te zijn.

Het artikel betoogt dat deze aanpasbaarheid geen zwakte is. Het is een kracht. De "kiem" (de technische regel) blijft hetzelfde, maar de "plant" (de uiteindelijke geluidservaring) verandert om bij de situatie te passen. Dit verklaart waarom dezelfde sonificatietechniek gebruikt kan worden voor een serieuze medische diagnose en een leuk videospel zonder dat de techniek zelf haar identiteit verliest.

Waarom dit ertoe doet

Waarom zou een nieuwsgierige tiener dit interessant vinden? Omdat het de verwarring wegneemt die mensen er vaak van weerhoudt om sonificatie serieus te nemen.

• Voor Wetenschappers: Het betekent dat je je niet hoeft te verontschuldigen als je data-geluid muzikaal is. Zolang de regels strikt zijn, is het valide wetenschap.
• Voor Kunstenaars: Het betekent dat je niet hoeft te doen alsof je kunst "slechts data" is om serieus genomen te worden. Je kunt de regels van sonificatie gebruiken om kunst te creëren zonder de technische integriteit te verliezen, mits de data-naar-geluid logica de drijfveer blijft.
• Voor Iedereen: Het helpt ons te begrijpen dat alleen omdat twee dingen hetzelfde materiaal gebruiken (geluid), ze niet hetzelfde ding zijn. Een hamer is nog steeds een hamer, of je hem nu gebruikt om een huis te bouwen of om een ritme te tikken in een liedje. Het gereedschap is hetzelfde; het gebruik is anders.

Het artikel beweert niet elk mysterie van geluid en data te hebben opgelost. Het geeft geen nieuwe formule voor het maken van betere sonificaties. In plaats daarvan biedt het een nieuwe manier van denken over deze zaken. Het suggereert dat we moeten stoppen met de vraag "Is dit muziek of wetenschap?" en moeten beginnen met de vraag "Wat zijn de regels, en hoe worden ze gebruikt?"

Door de onveranderlijke regels (de technische identiteit) te scheiden van de veranderlijke ervaring (de artistieke of wetenschappelijke context), geeft het artikel ons een kaart om door de chaotische, opwindende wereld van het omzetten van data in geluid te navigeren. Het suggereert dat sonificatie een unieke, krachtige praktijk is die de kloof kan overbruggen tussen de kille, harde feiten van de wetenschap en de warme, emotionele wereld van de kunst, terwijl het tegelijkertijd zijn eigen duidelijke identiteit intact houdt.