Semantic Visual Representations Emerge from Embodied Self-Supervised Learning
Dieses Paper führt Embodied Self-Supervised Learning (E-SSL) ein, ein Modell, das zeitliche Konsistenz und sensorimotorische Kontingenzen aus natürlicher menschlicher Interaktion nutzt, um hochgradige semantische visuelle Repräsentationen zu generieren, die bestehende Modelle übertreffen, enger mit dem visuellen Kortex präverbaler Kinder übereinstimmen und neue Einblicke in die Ursprünge der menschlichen visuellen Entwicklung und Stromspezialisierung bieten.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das geheime GPS des Gehirns: Wie Bewegung uns hilft zu sehen
Stellen Sie sich vor, Sie versuchen zu lernen, wie ein „Hund“ aussieht, indem Sie ein einzelnes, eingefrorenes Foto anstarren. Sie könnten sich vielleicht die Farben und die Fellstruktur merken, aber Sie würden nicht mitbekommen, wie seine Ohren wackeln, wenn er rennt, oder wie sich seine Form verändert, wenn er den Kopf dreht. Stellen Sie sich nun vor, Sie lernen dies, indem Sie tatsächlich um den Hund herumgehen, ihn aus jedem Winkel betrachten und spüren, wie sich Ihr eigener Körper bewegt, um ihn im Blick zu behalten. Dies ist der Unterschied zwischen einem statischen Computerprogramm und einem menschlichen Baby. Jahrzehntelang haben Wissenschaftler über eine große Frage gerätselt: Wie lernt das menschliche Gehirn, mit fast keinem Lehrer und keinen Lehrbüchern, so schnell die Welt zu verstehen? Wir wissen, dass Babys nicht einfach nur stillsitzen; sie krabbeln, greifen und rollen, bewegen ständig ihre Augen und ihre Körper. Dieses Paper untersucht die Idee, dass diese Bewegung nicht nur ein Nebenprodukt des Lebenseins ist – sie ist der eigentliche Schlüssel, der unsere Fähigkeit zu sehen und Objekte zu verstehen, freischaltet.
Die Forscher testen zwei Hauptideen, die in der Wissenschaft schon seit einer Weile kursieren. Die erste ist die Temporale Konsistenz, was eine schicke Art zu sagen ist: „Dinge, die zeitlich nah beieinander liegen, hängen wahrscheinlich zusammen.“ Wenn Sie einen roten Ball sehen und eine Sekunde später einen roten Ball an einer leicht versetzten Stelle sehen, geht Ihr Gehirn davon aus, dass es derselbe Ball ist. Die zweite Idee sind die Sensorimotorischen Kontingenzen, also die Regel: „Meine Handlungen verändern das, was ich sehe.“ Wenn ich meinen Kopf nach links drehe, verschiebt sich die Welt nach rechts. Wenn ich einen Becher aufhebe, erscheint der Griff. Das Paper fragt: Wenn wir einen Computer lehren, nur durch das Beobachten von Videos von Menschen zu lernen, die sich bewegen und umsehen, unter Verwendung dieser zwei einfachen Regeln – wird er dann lernen, wie ein Mensch zu sehen? Und noch wichtiger: Wird er lernen, wie ein Baby zu sehen, das noch nicht einmal sprechen kann?
Der Roboter, der durch „Gehen“ lernt
Lernen Sie E-SSL (Embodied Self-Supervised Learning) kennen. Betrachten Sie es als ein digitales Robotergehirn, das keinen Lehrer, kein Lehrbuch und nicht einmal eine Sprache hat. Anstatt mit Millionen von beschrifteten Bildern wie „das ist eine Katze“ oder „das ist ein Auto“ gefütet zu werden, erhält dieser Roboter 300 Stunden Rohmaterial aus First-Person-Videos, die mit Brillen von echten Menschen aufgenommen wurden. Diese Videos zeigen genau das, was die Menschen sahen, wohin ihre Augen blickten und wie sich ihre Köpfe und Körper bewegten.
Die Aufgabe des Roboters ist es, die Regeln der Welt von selbst herauszufinden. Er nutzt zwei Tricks. Erstens betrachtet er zwei Bilder, die nur einen Bruchteil einer Sekunde auseinanderliegen. Wenn sich das Bild kaum verändert hat, nimmt er an, dass das Objekt dasselbe ist (Temporale Konsistenz). Zweitens betrachtet er, wie der Mensch seinen Kopf oder seine Augen zwischen diesen zwei Bildern bewegt hat. Er versucht zu lernen: „Wenn ich meinen Kopf auf diese Weise bewege, verschiebt sich die Welt auf jene Weise“ (Sensorimotorische Kontingenzen). Es ist wie ein Kind, das lernt, dass der Raum mit ihm mitwirbelt, wenn es sich im Kreis dreht, aber wenn es nur blinzelt, bleibt der Raum still.
Was haben sie herausgefunden?
Die Ergebnisse waren überraschend kraftvoll. Obwohl der Roboter nie ein einziges Wort Sprache gehört und nie ein Label gesehen hat, das ihm sagte, was ein Objekt ist, begann er, eine mentale Landkarte der Welt aufzubauen, die der eines Menschen sehr ähnlich sieht.
1. Er lernte, Objekte zu erkennen (fast so gut wie Erwachsene)
Als die Forscher den Roboter mit Standard-Bildernfragen testeten (wie etwa bei der Identifizierung von Objekten im ImageNet-1k-Datensatz), beantwortete er etwa 71 % der Fragen richtig. Das ist ein riesiger Sprung im Vergleich zu anderen „bio-inspirierten“ Computermodellen, die versuchen, das Gehirn zu kopieren, aber die Bewegung nicht nutzen. Er liegt zwar immer noch etwa 20 % hinter einem voll ausgewachsenen Menschen zurück (der Jahre an Sprache und Erfahrung besitzt), aber er ist der Gruppe anderer Computermodelle weit voraus. Es wurde bewiesen, dass man keinen Lehrer braucht, um zu lernen, was ein „Becher“ oder ein „Hund“ ist; man muss sich nur bewegen und beobachten, wie sich die Dinge verändern.
2. Er denkt wie ein Baby
Hier wird es wirklich spannend. Die Forscher verglichen den „Gehirn“-Prozess des Roboters mit den Gehirnen echter Säuglinge. Sie fanden heraus, dass die Art und Weise, wie der Roboter Dinge sieht, der Gehirnaktivität von 9 Monate alten Säuglingen viel ähnlicher ist als der von Erwachsenen.
- Der „Form vs. Textur“-Test: Babys sind dafür bekannt, Objekte eher durch ihre Form als durch ihre Farbe oder Textur zu erkennen. Ein roter Ball und ein blauer Ball sind für ein Baby beide „Bälle“. Der Roboter begann, nachdem er durch Bewegung gelernt hatte, dasselbe zu tun. Er lernte, sich auf die Form eines Objekts zu konzentrieren, genau wie ein Kleinkind.
- Die „Griff“-Entdeckung: Der Roboter lernte, dass wenn er einen Griff sieht, es wahrscheinlich ein Becher ist, selbst wenn er den ganzen Becher noch nicht sieht. Dies ist eine Fähigkeit, die bei menschlichen Kindern um das 18. Lebensmonat auftritt, und der Roboter entwickelte sie allein durch das Beobachten von Menschen beim Bewegen.
3. Bewegung ist das Geheimrezept
Das Paper führte ein faszinierendes Experiment durch, um zu sehen, warum Bewegung wichtig ist. Sie simulierten eine „Puppen“-Version des Roboters. In dieser Version sah der Roboter dieselben Videos, aber die Kopfbewegungen waren vertauscht oder gefälscht. Der Roboter lernte nicht so gut.
- Der „Spätwalker“-Effekt: Sie simulierten auch einen Roboter, der erst anfing, seinen Kopf zu bewegen, nachdem er bereits eine Zeit lang trainiert hatte. Das Ergebnis? Die Vision des Roboters war schlechter als die des Roboters, der sofort mit der Bewegung begann. Dies deutet darauf farauf hin, dass der Moment, in dem ein menschliches Baby anfängt zu krabbeln oder zu laufen (Lokomotion), ein kritischer „Aha!“-Moment für ihre Sehkraft ist. Es ist nicht nur, dass sie mehr sehen; es ist, dass ihr Gehirn endlich lernt, ihre eigenen Muskelbefehle mit dem zu verbinden, was sie sehen, was ihr Lernen massiv beschleunigt.
4. Die zwei Autobahnen des Gehirns
Schließlich entdeckte das Paper etwas darüber, wie sich der „Gehirn“-Prozess des Roboters organisierte. Das menschliche Gehirn hat zwei Haupt-Sehstraßen:
- Der Ventrale Strom (der „Was“-Pfad): Hilft uns zu erkennen, was ein Objekt ist (z. B. „Das ist eine Katze“).
- Der Dorsale Strom (der „Wo/Wie“-Pfad): Hilft uns zu verstehen, wo sich ein Objekt befindet und wie wir damit interagieren können (z. B. „Ich muss diesen Becher greifen“).
Die Forscher fanden heraus, dass der Roboter sein Lernen ganz natürlich in diese zwei Arten von Pfaden aufteilte, genau wie das menschliche Gehirn. Der Teil des Roboters, der über „Zeit“ lernte (Temporale Konsistenz), wurde sehr gut darin, Objekte zu erkennen (Ventral). Der Teil, der über „Bewegung“ lernte (Sensorimotorische Kontingenzen), wurde sehr gut darin, räumliche Veränderungen und Handlungen zu verstehen (Dorsal). Dies deutet darauf an, dass diese zwei unterschiedlichen Pfade in unserem Gehirn nicht unbedingt von Geburt an fest verdrahtet sind, sondern tatsächlich natürlich aus der einfachen Handlung des Bewegens und des Beobachtens der Welt entstehen können.
Das Fazit
Dieses Paper legt nahe, dass das Geheimnis der menschlichen Vision nicht nur darin besteht, eine hochwertige Kamera (unsere Augen) oder einen Supercomputer (unser Gehirn) zu haben. Es ist die Tatsache, dass wir verkörpert sind. Wir bewegen uns, wir berühren und wir verändern unsere Perspektive. Indem wir uns einfach durch die Welt bewegen und beobachten, wie unsere Handlungen das verändern, was wir sehen, lernt unser Gehirn ganz natürlich, Formen zu erkennen, Objekte zu verstehen und die Sicht in „Was“ und „Wo“ aufzuteilen.
Obwohl der Roboter noch nicht so klug ist wie ein 3-jähriges Kleinkind (das Formen noch besser generalisieren kann), beweist er, dass man keine Sprache oder riesige Datensätze braucht, um zu beginnen, die Welt zu sehen. Man muss sich einfach nur bewegen. Es deutet darauf hin, dass der Moment, in dem ein Baby anfängt zu krabbeln, seinem Gehirn ein massives Upgrade verleiht, das ein verschwommenes Farbbild in eine Welt aus erkennbaren, greifbaren Objekten verwandelt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.