Cross-cue reconstruction of perceived 3D object structure from human visual cortex

Stellen Sie sich vor, Ihr Gehirn wäre wie ein Chefkoch, der eine Suppe probieren kann und Ihnen genau sagen kann, welche Zutaten darin enthalten sind, selbst wenn Sie ihm nur einen einzigen Löffel davon gegeben hätten. Aber anstatt Suppe sind die „Zutaten“ die 3D-Formen von Objekten in der Welt, und der „Löffel voll“ ist die elektrische Aktivität in Ihrem Gehirn.

Lange Zeit wussten Wissenschaftler, dass unser Gehirn ein 3D-Bild der Welt aus verschiedenen „Hinweisen“ (wie Schatten, wie sich unsere Augen bewegen oder wie Objekte sich überlagern) aufbaut. Sie konnten jedoch das fertige 3D-Bild nicht sehen, das das Gehirn erstellt, da es in unserem Kopf verborgen ist. Sie konnten die Hinweise sehen, aber nicht das Ergebnis.

Dieses Paper ist wie das Finden eines magischen Dekodierrings, der jene verborgenen Gehirnsignale zurück in ein sichtbares 3D-Objekt übersetzt. So haben sie es gemacht, unter Verwendung einer einfachen Analogie:

Der Übersetzer und der Bauplan
Stellen Sie sich die Forscher als Erbauer einer zweiteiligen Maschine vor:

1. Der Übersetzer (Der Decoder): Dieser Teil lernt, Ihre fMRT-Signale (das „elektrische Rauschen“ des Gehirns) zu lesen und sie in einen Geheimcode zu übersetzen. Dieser Code ist kein Bild; er ist eine Liste mathematischer Anweisungen, die die Form eines Objekts beschreiben, wie etwa ein Bauplan für ein 3D-Modell.
2. Der Baumeister (Der Generator): Dieser Teil nimmt diesen geheimen Bauplan und baut daraus ein physisches 3D-Modell aus tausenden winzigen Punkten (eine „Punktwolke“), genau wie ein 3D-Drucker, der eine Skulptur aus einer digitalen Datei erschafft.

Die drei schweren Tests
Um zu beweisen, dass diese Maschine tatsächlich die Form las und nicht nur rät, unterzogen sie sie drei zunehmend schwierigeren Prüfungen:

1. Der „Neuer Geschmack“-Test: Sie trainierten die Maschine nur mit Bildern alltäglicher Objekte (wie Tassen und Stühlen). Dann zeigten sie ihr Gehirnscans von Objekten, die sie noch nie zuvor gesehen hatte (wie ein seltsames Alien-Spielzeug). Die Maschine baute erfolgreich die 3D-Form des neuen Objekts. Sie hatte nicht einfach die alten Formen auswendig gelernt; sie hatte die Sprache der 3D-Formen gelernt.
2. Der „Magische Brille“-Test: Dies war der entscheidende Test. Sie trainierten die Maschine mit flachen 2D-Bildern. Dann zeigten sie ihr Gehirnscans von Menschen, die Random Dot Stereograms (RDS) betrachteten. Dies sind Bilder, die für das bloße Auge wie statisches Rauschen aussehen, aber wenn man sie mit einer speziellen Brille betrachtet (oder die Augen kreuzt), taucht eine 3D-Form auf. Entscheidend war, dass das 2D-Bild auf dem Bildschirm überhaupt keine Form hatte – es war nur Rauschen. Dennoch baute die Maschine die korrekte 3D-Form. Dies bewies, dass die Maschine die 3D-Wahrnehmung des Gehirns las und nicht nur das flache Bild auf dem Bildschirm kopierte.
3. Der „Schräglagen“-Test: Sie zeigten der Maschine zwei Bilder, die von vorne identisch aussah (gleiche Kontur), aber eines davon war im 3D-Raum anders geneigt. Die Maschine baute das Objekt korrekt mit der spezifischen Schräglage, was bewies, dass sie die Tiefengeometrie verstand und nicht nur die 2D-Kontur.

Wo die Magie geschieht
Die Forscher fanden heraus, dass diese „Übersetzung“ am besten in den hinteren und oberen Teilen des Gehirns (dem dorsalen Strom) funktionierte, die bekannt dafür sind, räumliche Informationen zu verarbeiten.

Das Fazit
Diese Studie zeigt, dass wir nun das, was das Gehirn sieht, „externalisieren“ können. Wir können das unsichtbare 3D-Modell, das Ihr Gehirn aus verschiedenen Hinweisen konstruiert, nehmen und es in ein sichtbares 3D-Objekt auf einem Computerbildschirm verwandeln. Es ist ein Schritt hin zum Lesen des internen „Weltmodells“ des Gehirns – der Art und Weise, wie Ihr Gehirn vorhersagt, wie die Welt aussieht, selbst wenn die Rohdaten, die von Ihren Augen kommen, unvollständig oder verwirrend sind.