A Large-Scale Computer-Vision Mapping of the Geometric Structures of Stroboscopically-Induced Visual Hallucinations

Deze studie gebruikt een onbeheerd computer-vision-pipeline om duizenden tekeningen van stroboscopisch geïnduceerde visuele hallucinaties te analyseren, waardoor een gestructureerde kaart van geometrische patronen ontstaat die nieuwe inzichten biedt in de onderliggende neurale mechanismen.

De kern

De Droommachine: Een Reis door de Geometrie van Hallucinaties

Stel je voor dat je je ogen sluit en een ritje maakt door een tunnel van licht en kleur. Dit is precies wat er gebeurde met meer dan 40.000 mensen tijdens een groot kunstproject in het Verenigd Koninkrijk, genaamd Dreamachine. Ze zaten met gesloten ogen voor flitsende lichten, wat hun hersenen aan het werk zette en visuele hallucinaties veroorzaakte. Na het ritje mochten ze hun ervaringen tekenen.

De onderzoekers van dit paper hebben een enorme puzzel opgelost: ze namen 10.598 tekeningen en gebruikten slimme computerkunst (kunstmatige intelligentie) om te ontdekken wat er precies in die tekeningen te zien was. Hier is wat ze vonden, vertaald naar simpele taal:

1. Het Grote Experiment: Een "Droommachine"

De "Droommachine" was geen echte machine die dromen opneemt, maar een installatie met flitsende lichten. Als je met gesloten ogen voor zo'n licht zit, beginnen je hersenen vanzelf patronen te zien. Het is alsof je hersenen een eigen televisie aanzetten als er geen beeld van buitenaf komt.

Deelnemers tekenden wat ze zagen. De onderzoekers wilden weten: Zien we allemaal hetzelfde, of is het een chaos van gekke vormen?

2. De Digitale Detektive: De Computer als Kunstcriticus

In plaats van dat een paar mensen 10.000 tekeningen met de hand bekeken (wat jaren zou duren), lieten ze een slimme computerprogramma (een "Vision Transformer") de tekeningen analyseren.

• De Analogie: Stel je voor dat je een berg met 10.000 verschillende sokken hebt. Je wilt ze sorteren. Een mens zou ze één voor één bekijken. De computer kijkt echter naar de "stijl" van de sokken: de kleuren, de lijnen en de vormen. Hij groepeert sokken die op elkaar lijken, zonder dat hij weet wat een "sok" is.
• Het Resultaat: De computer groepeerde de tekeningen in 15 verschillende categorieën.

3. Wat Vonden Ze? Meer dan Alleen Spiraaltjes

Vroeger dachten wetenschappers dat hallucinaties altijd uit vier specifieke vormen bestonden (de "Klüver-vormen"): roosters, spinnenwebben, tunnels en spiraaltjes. Het was alsof ze dachten dat alle muziek uit slechts vier akkoorden bestaat.

Deze studie toont aan dat het universum van hallucinaties veel rijker is:

• De Bekenden (De Klassiekers): Ja, veel mensen tekenden de bekende vormen: spiraaltjes, tunnels en roosters. Dit bevestigt wat we al wisten.
• De Nieuwkomers (De Verassingen): De computer vond ook vormen die we nog nooit zo goed hadden beschreven! Denk aan:
  • Vierkante concentrische patronen: Niet alleen ronde cirkels, maar ook vierkante ringen.
  • Kruisen en Ruitjes: Patronen die lijken op een kruis of een ruit.
  • Golvende lijnen: Zeg maar, een soort zigzag-achtige strepen.

De Metafoor: Als de oude theorieën zeiden dat hallucinaties alleen maar "ronde balletjes" zijn, dan zeggen deze nieuwe resultaten: "Nee, kijk eens! We hebben ook vierkante balletjes, kruisjes en zelfs ruitjes!"

4. Waarom is dit belangrijk?

Dit is als het vinden van een nieuwe kaart voor een land dat we al dachten te kennen.

• Voor de Wetenschap: De theorieën over hoe onze hersenen werken (vooral het visuele deel) moeten nu worden aangepast. De hersenen blijken niet alleen ronde patronen te kunnen maken, maar ook vierkante en kruisvormige patronen. Dit dwingt wetenschappers om hun modellen bij te stellen.
• Voor de Mensheid: Het laat zien dat onze hersenen, zelfs als we dromen of hallucineren, een soort "architect" zijn die graag met geometrie speelt. Het is alsof onze hersenen een eigen taal van vormen spreken.

5. De "Ruis" in het Signaal

Niet alles wat getekend werd, was een pure hallucinatie.

• Sommige mensen tekenden gewoon tekst of herkenbare objecten (zoals een gezicht of een boom).
• Sommige tekeningen waren een mix van alles.
• De computer liet ongeveer 40% van de tekeningen "los" (ze pasten in geen enkele groep). Dit is als een grote bak met losse puzzelstukken die niet in de hoofdpatronen passen. Dat is heel normaal bij zo'n groot en divers experiment.

Conclusie

Dit onderzoek is een mooi voorbeeld van hoe kunst en technologie samenwerken. Door duizenden mensen te laten tekenen en die tekeningen met slimme computers te laten analyseren, hebben we een nieuwe, gedetailleerde kaart gemaakt van wat er gebeurt in onze hersenen als we "zien" zonder dat er iets te zien is.

Het bewijst dat onze innerlijke wereld van licht en vorm veel complexer, kleurrijker en gevarieerder is dan we ooit dachten. De hersenen zijn niet alleen een projector voor spiraaltjes; ze zijn een volledige kunstgalerie met vierkanten, kruisen en alles daartussenin!

Technische samenvatting

Probleemstelling

Visuele hallucinaties (VH's) komen voor bij psychedelische toestanden, psychiatrische aandoeningen en neurologische stoornissen. Hoewel "simpele" hallucinaties (geometrische patronen, kleuren) vaak worden gerelateerd aan de neurale architectuur van de primaire visuele cortex (V1), ontbreekt het aan grote, gestructureerde fenomenologische datasets om deze mechanismen systematisch te bestuderen.
Bestaande theorieën, zoals de Klüver-vormconstanten (roosters, spinnenwebben, tunnels, spiralen) en neurale-veldmodellen, proberen deze patronen te verklaren. Deze modellen voorspellen echter voornamelijk rotatie-symmetrische patronen als gevolg van een log-polaire retinocorticale transformatie. Echter, eerdere studies waren beperkt tot kleine steekproeven en kwalitatieve beschrijvingen, waardoor het onduidelijk bleef of de bestaande theorieën het volledige spectrum van geometrische hallucinaties kunnen dekken. Er is een gebrek aan kwantitatief, data-gedreven bewijs voor de diversiteit van deze patronen.

Methodologie

De auteurs ontwikkelden een onbewaakte computer-vision pipeline om een ongeëvenaard groot dataset van tekeningen te analyseren.

1. Dataverzameling:

   • Bron: 10.598 getekende afbeeldingen van bezoekers van de "Dreamachine", een grote publieke kunst-wetenschapsinstallatie in het VK (2022).
   • Stimulus: De installatie gebruikte stroboscopische lichtstimulatie (SLS) met gesloten ogen om hallucinaties op te wekken (High Sensory modus). Een minderheid van de bezoekers zag een niet-stroboscopische versie (Deep Listening), die als ruis in de dataset fungeert.
   • Proces: Bezoekers tekenden hun ervaringen direct na de sessie met pastelkrijt op A3-papier.

2. Data-preprocessing:

   • Filtering van beschadigde, gedupliceerde, tekst-only of verkeerd ingeknipte afbeeldingen.
   • Einddataset: 9.700 analyseerbare tekeningen.
   • Normalisatie: Histogram-gelijkmaken en Gaussische vervaging om scan-artefacten te verminderen.
   • Test-time augmentatie (TTA): Voor elke tekening werden 48 gevarieerde versies gegenereerd (rotaties, spiegelingen, kleurinverties, jitter) om robuustere kenmerken te verkrijgen.

3. Kenmerkextractie (Feature Extraction):

   • Gebruik van een self-supervised Vision Transformer (DINOv2 ViT-L/14), getraind op 142 miljoen natuurlijke afbeeldingen.
   • Het model extrahert 1.024-dimensionale feature vectors per tekening. De vectors van de 48 augmentaties werden gemiddeld tot één representatieve vector per tekening.

4. Clustering en Dimensiereductie:

   • PCA: Reductie van de feature vectors (behoud van >90% variantie).
   • UMAP: Verdere reductie naar een 6-dimensionale ruimte om de lokale structuur te behouden.
   • HDBSCAN: Een dichtheidsgebaseerd clustering-algoritme dat clusters van variabele dichtheid kan detecteren en uitbijters als "ruis" (noise) labelt, in plaats van alle data te forceren in clusters (zoals K-means).

5. Kwalitatieve Analyse:

   • Inductieve thematische analyse van de gegenereerde clusters door twee onderzoekers om visuele patronen te coderen en te categoriseren.

Belangrijkste Resultaten

De analyse resulteerde in 15 distincte clusters die 59,1% van de tekeningen omvatten; de rest werd als ruis gelabeld. De clusters werden onderverdeeld in drie hoofdcategorieën:

1. Klüveriaanse Geometrieën (40,9% van de dataset):

   • Deze clusters bevestigen de klassieke vormconstanten:
     • Tunnels/Cobwebs: Radiale lijnen en spinnenweb-achtige patronen (Clusters 1, 2, 7).
     • Spiralen: Duidelijke spiraalvormen (Cluster 7).
     • Lattices: Roosters, ruitjes en honingraatpatronen (Cluster 3, 11).
   • Dit ondersteunt de bestaande theorieën dat V1-dynamiek deze patronen kan genereren.

2. Niet-Klüveriaanse Geometrieën (9,9% van de dataset):

   • Dit is een cruciale ontdekking: systematisch terugkerende patronen die niet door de klassieke Klüver-categorieën of huidige neurale-veldmodellen worden voorspeld.
   • Vier-voudige rotatiesymmetrie: Patronen met een symmetrieas van 90 graden, zoals geconcentreerde vierkanten, kruisen en ruiten (Clusters 13, 14).
   • Andere vormen: Golvende/zigzag-strepen, snijdende kromme lijnen en driehoekige lattices (Clusters 10, 15).
   • Deze patronen komen voor op alle locaties en zijn dus geen artefacten van specifieke sessies.

3. Niet-Geometrische Inhoud (8,3%):

   • Diffuse kleurvlakken, tekst/schrift en semantische inhoud (herkenbare objecten/scènes), die waarschijnlijk complexere hallucinaties of reflectieve gedachten vertegenwoordigen.

Bijdragen en Betekenis

1. Data-gedreven Phenomenologie:
   Het artikel levert de eerste grote-schaal, kwantitatieve analyse van de geometrie van visuele hallucinaties. Het bewijst dat computer-vision pipelines effectief kunnen worden ingezet om grote, openbare fenomenologische datasets te structureren zonder voorafgaande hypothesen.

2. Uitdaging voor Bestaande Modellen:
   De prevalentie van vier-voudige rotatiesymmetrie (vierkanten, kruisen) en andere niet-voorspelde patronen plaatst nieuwe empirische beperkingen op neurale-veldmodellen. De huidige modellen, die gebaseerd zijn op een log-polaire transformatie van V1, kunnen deze patronen niet goed verklaren. Dit suggereert dat de neurale mechanismen achter hallucinaties complexer zijn dan alleen rotatie-symmetrische patronen.

3. Nieuwe Hypothesen:
   De studie identificeert ondergerapporteerde patronen (zoals astroiden en concentrische vierkanten) die als nieuwe doelwitten dienen voor toekomstig neurofysiologisch onderzoek. Het koppelen van specifieke SLS-parameters (frequentie, helderheid) aan deze specifieke geometrische uitkomsten wordt nu mogelijk gemaakt door de data-gedreven classificatie.

4. Methodologische Innovatie:
   Het toont de haalbaarheid van "participatory science" waarbij publieke kunstinstallaties worden gebruikt voor wetenschappelijke dataverzameling, gecombineerd met state-of-the-art deep learning (DINOv2) voor analyse.

Conclusie:
De studie toont aan dat het spectrum van simpele visuele hallucinaties veel breder en gevarieerder is dan de klassieke theorieën suggereren. Door een data-gedreven aanpak te combineren met computer-vision, kunnen onderzoekers nu de relatie tussen neurale dynamiek en waargenomen geometrie nauwkeuriger modelleren, wat leidt tot een beter begrip van zowel de visuele cortex als de aard van bewustzijn.