Spatial correspondences of Audiovisual Stimuli on Double Flash Illusion Perception and its Cognitive Modeling

Diese Studie zeigt, dass die Anfälligkeit für den Sound-Induced Flash Illusion im peripheren Gesichtsfeld aufgrund einer erhöhten Gewichtung audiovisueller Integration in einem bayesschen Modell steigt, während die räumliche Kongruenz der Reize keinen Einfluss auf die Illusion hat.

Das Wesentliche

Das große Rätsel: Wenn das Ohr die Augen austrickst

Stellen Sie sich vor, Sie schauen auf eine Leinwand. Dort flackert kurz ein weißer Lichtpunkt auf. Gleichzeitig hören Sie zwei kurze Pieptöne. Ihr Gehirn ist verwirrt: Es sieht einen Blitz, hört aber zwei Töne. Was passiert dann?

In den meisten Fällen täuscht Ihr Gehirn Sie: Sie sehen plötzlich zwei Lichtblitze, obwohl nur einer war. Dieses Phänomen nennt man die „Sound-Induced Flash Illusion" (SIFI) – oder auf Deutsch: die durch Ton ausgelöste Blitz-Illusion. Es ist, als würde das Ohr dem Auge sagen: „Hey, ich habe zwei Dinge gehört, also müssen es auch zwei Lichter gewesen sein!"

Die Forscher an der Peking-Universität wollten herausfinden: Wo auf dem Bildschirm passiert dieser Trick am stärksten? Und spielt es eine Rolle, ob Ton und Licht genau am selben Ort sind?

---

Experiment 1 & 2: Der „Radar-Effekt" am Rand

Stellen Sie sich Ihr Gesichtsfeld wie ein riesiges Rad vor.

• Die Mitte (Fovea): Das ist der Bereich direkt vor Ihrer Nase, wo Sie scharf sehen können.
• Der Rand (Peripherie): Das ist der Bereich ganz am Rand Ihres Sichtfeldes, wo Sie Dinge nur unscharf wahrnehmen.

Die Forscher ließen Teilnehmer Lichtblitze in verschiedenen Entfernungen von der Mitte sehen (von 0° bis 60° nach außen).

Das Ergebnis war überraschend:

1. Alleiniges Sehen: Wenn nur Licht ohne Ton war, sahen die Leute in der Mitte und am Rand fast gleich gut.
2. Licht + Ton: Sobald ein Ton dazu kam, passierte etwas Magisches.
   • In der Mitte waren die Leute robust: Sie sagten meist „Ich habe nur einen Blitz gesehen", auch wenn zwei Töne kamen.
   • Am Rand war das Gehirn viel leichter zu täuschen. Je weiter außen der Blitz war, desto eher glaubten die Leute: „Da waren zwei!"

Die Analogie:
Stellen Sie sich vor, Sie sind ein Detektiv.

• In der Mitte (wo Sie scharf sehen) haben Sie ein hochauflösendes Foto des Tatorts. Sie können genau sagen: „Das war nur ein Licht." Sie ignorieren die Gerüchte (die Töne).
• Am Rand (wo es unscharf ist) haben Sie nur ein verwackeltes, unscharfes Foto. Hier ist Ihr Gehirn unsicher. Es denkt: „Ich bin mir nicht sicher, was ich sehe. Aber ich höre zwei Töne! Da ich mir beim Sehen nicht sicher bin, vertraue ich lieber dem Gehör."

Die mathematische Erkenntnis:
Die Forscher haben ein Computermodell (Bayes'sche Statistik) benutzt, um zu verstehen, warum das passiert.
Es stellte sich heraus: Es liegt nicht daran, dass das Sehen am Rand schlechter ist (das wusste man schon). Es liegt daran, dass das Gehirn am Rand dem Gehör automatisch mehr Gewicht gibt.

• Mitte: Das Gehirn sagt: „Das Auge hat das Sagen."
• Rand: Das Gehirn sagt: „Das Auge ist unsicher, also lasse ich das Ohr mehr mitbestimmen."

Die Wahrscheinlichkeit, dass Ton und Licht als „ein gemeinsames Ereignis" zusammengefasst werden, steigt am Rand wie eine Glockenkurve an.

---

Experiment 3: Ist der Ort des Tons wichtig?

Die Forscher fragten sich weiter: „Was ist, wenn der Ton nicht genau dort ist, wo das Licht ist?"

• Szenario A: Licht links, Ton kommt von links (gleicher Ort).
• Szenario B: Licht links, Ton kommt von rechts (entgegengesetzter Ort).

Das Ergebnis: Es spielte keine Rolle!
Ob der Ton von links, rechts oder von beiden Seiten kam – die Illusion trat genauso stark auf.

Die Analogie:
Stellen Sie sich vor, Sie hören ein Geräusch und sehen einen Blitz.

• Früher dachte man, das Gehirn sei wie ein Puzzle-Spieler, der genau prüfen muss: „Passt das Puzzle-Teil (Ton) genau auf das andere (Licht)? Wenn nicht, nehme ich es nicht zusammen."
• Diese Studie zeigt aber: Das Gehirn ist eher wie ein fauler Koch. Wenn es im unscharfen Bereich des Raumes (am Rand) etwas sieht und etwas hört, sagt es: „Egal, ob der Kochtopf links oder rechts steht – wenn ich etwas sehe und etwas höre, dann ist es wahrscheinlich dasselbe Ding." Die räumliche Übereinstimmung ist für diese Illusion fast egal.

---

Zusammenfassung: Was lernen wir daraus?

1. Der Ort zählt: Je weiter wir in die Peripherie (den Rand des Sichtfeldes) schauen, desto eher lassen wir uns von Tönen täuschen, wenn wir Licht sehen. Unser Gehirn gibt dem Gehör am Rand mehr Macht.
2. Die Richtung zählt nicht: Ob der Ton genau am selben Ort wie das Licht ist oder woanders herkommt, macht für diese spezielle Täuschung keinen Unterschied.
3. Warum ist das wichtig? Unser Gehirn ist nicht passiv. Es passt ständig an, wie viel es dem Auge und wie viel es dem Ohr glaubt, je nachdem, wo wir hinschauen. Am Rand des Sichtfeldes ist das Ohr der „Chef", weil das Auge dort unsicher ist.

Kurz gesagt: Wenn Sie am Rand Ihres Sichtfeldes etwas Unscharfes sehen und gleichzeitig etwas hören, wird Ihr Gehirn fast automatisch annehmen, dass beides zusammengehört – egal, ob das Geräusch genau dort ist oder nicht. Es ist ein Überlebensmechanismus, der Unsicherheit durch Vertrauen auf andere Sinne ausgleicht.

Technische Zusammenfassung

Titel: Räumliche Korrespondenzen audiovisueller Reize beim Double-Flash-Illusions-Phänomen (Spatial correspondences of Audiovisual Stimuli on Double Flash Illusion)

1. Problemstellung und Hintergrund

Die menschliche Wahrnehmung integriert Informationen aus verschiedenen sensorischen Modalitäten, um ein kohärentes Bild der Umwelt zu erzeugen. Ein klassisches Beispiel hierfür ist die Sound-Induced Flash Illusion (SIFI), bei der die wahrgenommene Anzahl visueller Blitze durch konfligierende auditive Reize (Pieptöne) verändert wird (z. B. wird ein einzelner Blitz mit zwei Pieptönen als zwei Blitze wahrgenommen – "Fission").

Obwohl die SIFI gut erforscht ist, bleibt der Einfluss physikalischer räumlicher Merkmale – speziell der visuellen Exzentrizität (Entfernung vom Fixationspunkt) und der räumlichen Kongruenz zwischen auditiven und visuellen Reizen – auf das Integrationsniveau umstritten.

• Widersprüchliche Befunde: Einige Studien deuten darauf hin, dass die SIFI in der peripheren Sicht stärker ist (vermutlich aufgrund höherer visueller Unsicherheit oder stärkerer neuronaler Konnektivität), während andere Studien keinen signifikanten räumlichen Effekt finden.
• Forschungslücke: Bisherige Studien kontrollierten oft nicht ausreichend die räumliche Aufmerksamkeit, was dazu führte, dass Effekte der Exzentrizität möglicherweise mit Aufmerksamkeitsverzerrungen verwechselt wurden. Zudem ist unklar, ob die räumliche Diskrepanz zwischen Ton und Licht die Integration hemmt.

2. Methodik

Die Studie besteht aus drei Experimenten, die mit dem SIFI-Paradigma durchgeführt wurden, kombiniert mit Bayesscher Modellierung.

• Experiment 1 (Einzugsbereich der Exzentrizität):

  • Ziel: Untersuchung der SIFI-Anfälligkeit bei verschiedenen visuellen Exzentrizitäten (0°, ±7°, ±21°).
  • Design: Innerhalb-subjekt-Design mit Vorwärtssignalen (Cues), um die räumliche Aufmerksamkeit zu kontrollieren und sicherzustellen, dass Unterschiede nicht durch mangelnde Aufmerksamkeit in der Peripherie bedingt sind.
  • Variablen: Anzahl der Blitze (1 oder 2), Anzahl der Pieptöne (0, 1 oder 2) und Stimulus-Onset-Asynchronie (SOA).

• Experiment 2 (Erweiterter Bereich & Bayessche Modellierung):

  • Ziel: Erweiterung des Exzentrizitätsbereichs auf bis zu 60° (Schritte von 15°) und Unterscheidung zwischen zwei theoretischen Mechanismen:
    1. Unsicherheits-Hypothese: Die Illusion entsteht, weil die visuelle Unsicherheit in der Peripherie steigt, wodurch das Gehirn mehr auf den auditiven Kanal vertraut.
    2. Gewichtungs-Hypothese: Die Peripherie weist intrinsisch ein höheres a-priori-Gewicht für die Integration von Audio und Video auf (unabhängig von der sensorischen Unsicherheit).
  • Modellierung: Verwendung von hierarchischer Bayesscher Modellierung (PyMC5) und Vergleich verschiedener Modelle mittels WAIC (Widely Applicable Information Criterion). Es wurden Modelle getestet, die entweder nur die visuelle Unsicherheit ($\sigma_v$), nur das Integrationsgewicht ($w$) oder beide als exzentrizitätsabhängig variierten.

• Experiment 3 (Räumliche Kongruenz):

  • Ziel: Untersuchung, ob die relative räumliche Position von Ton und Licht (ipsilateral, kontralateral oder binaural) die SIFI beeinflusst.
  • Design: Visuelle Reize wurden links oder rechts (7° Exzentrizität) präsentiert, während auditive Reize ipsilateral, kontralateral oder beidohrig (binaural) dargeboten wurden.

3. Wichtige Ergebnisse

• Räumlicher Gradient der SIFI (Exp. 1 & 2):

  • Die Anfälligkeit für die SIFI nimmt mit zunehmender Exzentrizität signifikant zu. Während die Wahrnehmung in der zentralen Sicht (0°–7°) stabil bleibt, steigt die Illusionsanfälligkeit in der Fernperipherie (ab 15°–21° bis 60°) stark an.
  • Die Verteilung der Genauigkeit folgt einem Gaußschen Profil mit einem Maximum in der Fovea und einem Abfall zur Peripherie hin.
  • Kontrolle der Aufmerksamkeit: Da die Genauigkeit bei unimodalen (nur visuellen) Aufgaben über alle Exzentrizitäten hinweg konstant blieb, wurde ausgeschlossen, dass die Effekte auf eine allgemeine Verschlechterung der visuellen Leistung oder mangelnde Aufmerksamkeit zurückzuführen sind. Der Effekt ist spezifisch für die multisensorische Integration.

• Mechanismus der Integration (Exp. 2):

  • Das Bayessche Modell zeigte, dass das Modell, welches ein exzentrizitätsabhängiges Integrationsgewicht ($w$) annimmt, die Daten am besten erklärt (niedrigster WAIC-Wert).
  • Modelle, die nur eine Zunahme der visuellen Unsicherheit ($\sigma_v$) annahmen, schnitten schlechter ab.
  • Schlussfolgerung: Die erhöhte SIFI-Anfälligkeit in der Peripherie wird nicht durch schlechtere visuelle Signale verursacht, sondern durch eine höhere a-priori-Wahrscheinlichkeit, dass visuelle und auditive Signale in der Peripherie aus derselben Quelle stammen. Das Gehirn gewichtet den auditiven Input in der Peripherie stärker.

• Räumliche Kongruenz (Exp. 3):

  • Im Gegensatz zur Exzentrizität hatte die räumliche Kongruenz zwischen Ton und Licht (ob sie auf derselben Seite oder gegenüberliegenden Seiten lagen) keinen signifikanten Einfluss auf die SIFI.
  • Die Illusion trat unabhängig davon auf, ob die Reize ipsilateral, kontralateral oder binaural präsentiert wurden. Dies deutet darauf hin, dass die Integration in diesem Kontext eher von der visuellen Exzentrizität als von der exakten räumlichen Übereinstimmung der Quellen gesteuert wird.

4. Hauptbeiträge und Signifikanz

1. Klärung der räumlichen Modulation: Die Studie liefert robuste Belege dafür, dass die SIFI-Anfälligkeit nicht linear oder konstant ist, sondern ein spezifisches, gaußförmiges Muster über das visuelle Feld aufweist, das in der Peripherie stark ansteigt.
2. Computationaler Mechanismus: Durch den Einsatz von Bayesscher Modellierung konnte gezeigt werden, dass dieser Effekt durch eine Veränderung der sensorischen Gewichtung (Integration Weight) und nicht primär durch sensorisches Rauschen (Unsicherheit) erklärt wird. Dies unterstützt die Hypothese, dass frühe sensorische Kortexareale (wie V1) eine ortspezifische, cross-modale Gewichtung aufweisen.
3. Unabhängigkeit von räumlicher Kongruenz: Die Ergebnisse deuten darauf hin, dass bei der SIFI die visuelle Exzentrizität ein dominanterer Faktor ist als die räumliche Übereinstimmung der Reize, was auf einen Integrationsmechanismus hindeutet, der weniger strikt an räumliche Koinzidenz gebunden ist als bei anderen multisensorischen Phänomenen (z. B. Ventriloquismus-Effekt).
4. Methodische Präzision: Die Studie hebt die Notwendigkeit hervor, räumliche Aufmerksamkeit strikt zu kontrollieren, um den wahren Effekt der Exzentrizität zu isolieren.

Fazit: Die Forschung erweitert das Verständnis der multisensorischen Integration erheblich, indem sie zeigt, dass das Gehirn die visuelle Peripherie als Bereich interpretiert, in dem visuelle und auditive Signale mit höherer Wahrscheinlichkeit zusammengehören. Dies führt zu einer automatischen, bottom-up-Steuerung der Gewichtung, die die SIFI in der Peripherie verstärkt, unabhängig von der exakten räumlichen Lage des Tons.