The semantic geometry of action: convergence across foundation models, human behaviour and the brain
Diese Studie zeigt, dass Foundation-Modelle naturalistische Handlungen innerhalb einer semantischen Geometrie organisieren, die mit menschlichen Verhaltensurteilen und kortikalen Repräsentationen konvergiert und dabei herkömmliche Video-Encoder bei der Vorhersage sowohl menschlicher Ähnlichkeitsbewertungen als auch der Gehirnaktivität übertrifft.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Menschen sind Meister darin, die Welt in Bewegung zu lesen. Wenn wir jemand anderen beobachten, sehen wir nicht nur einen Körper, der sich durch den Raum bewegt; wir verstehen augenblicklich, was die Person versucht zu tun, warum sie es tut und was ihr nächster Schritt sein könnte. Diese Fähigkeit, dynamische Handlungen zu interpretieren, ist ein Eckpfeiler der menschlichen Intelligenz, der es uns ermöglicht, komplexe soziale Situationen zu navigieren und mit anderen zu kooperieren. Seit Jahrzehnten versuchen Wissenschaftler, eine künstliche Intelligenz zu bauen, die dasselbe leisten kann. Während moderne Computerprogramme heute Aktionen mit hoher Genauigkeit identifizieren können – etwa den Unterschied zwischen einer gehenden und einer rennenden Person erkennen –, haben Forscher lange darüber nachgedacht, ob diese Maschinen hinter der Bewegung auch wirklich die Bedeutung verstehen, so wie Menschen es tun. Organisieren sie diese Handlungen in ihren internen „Geistern“ nach derselben Logik, die wir verwenden, oder gleichen sie lediglich Muster von Pixeln ab, ohne das zugrunde liegende Konzept zu erfassen?
Ein Team von Forschern des Instituts für Automatisierung in China hat nun einen bedeutenden Schritt getan, um diese Frage zu beantworten. Sie machten sich daran, die verborgene Struktur dessen zu kartieren, wie sowohl Menschen als auch fortgeschrittene künstliche Intelligenz das Konzept menschlicher Handlungen organisieren. Durch den Vergleich der internen „Geografie“ der Handlung in großen Sprachmodellen, multimodalen Modellen, die sehen und lesen können, und dem menschlichen Gehirn, entdeckten sie eine überraschende Konvergenz. Die Studie legt nahe, dass diese künstlichen Systeme, wenn sie mit riesigen Mengen an Daten trainiert werden, spontan eine Art des Denkens über menschliche Handlungen entwickeln, die eng mit der menschlichen Wahrnehmung übereinstimmt und sogar die Art und Weise widerspiegelt, wie das menschliche Gehirn diese gleichen Bewegungen verarbeitet.
Um dies zu untersuchen, behandelten die Forscher die Modelle der künstlichen Intelligenz wie Teilnehmer eines psychologischen Experiments. Sie präsentierten diesen Modellen tausende kurzer Videoclips und Textbeschreibungen von Menschen, die verschiedene Dinge tun, vom Kochen und Gartenarbeit bis hin zum Kämpfen und Tanzen. Die Modelle wurden gebeten, eine einfache, aber aufschlussreiche Aufgabe zu erfüllen: Gegeben wurden drei verschiedene Handlungen, und sie mussten identifizieren, welche davon die „Ausreißer“ war. Wenn man beispielsweise ein Video von jemandem beim Skifahren, beim Zeichnen und beim Klettern an einer Felswand zeigt, musste das Modell entscheiden, welche Handlung sich am stärksten von den anderen beiden unterschied. Durch die Analyse von Millionen dieser Entscheidungen konnten die Forscher die unsichtbare mentale Landkarte rekonstruieren, die die Modelle zur Sortierung dieser Handlungen verwendeten. Dies taten sie auch bei einer großen Gruppe menschlicher Teilnehmer, um eine Basislinie dafür zu schaffen, wie Menschen Verhaltensweisen natürlich gruppieren und unterscheiden.
Die Ergebnisse zeigten, dass sowohl textbasierte Modelle, die nur Beschreibungen von Handlungen lesen, als auch multimodale Modelle, die die tatsächlichen Videos sahen, interne Karten entwickelten, die der menschlichen Karte verblüffend ähnlich waren. Diese Karten waren nicht zufällig; sie organisierten Handlungen in niedrigdimensionalen Räumen, in denen ähnliche Verhaltensweisen nah beieinander lagen und unterschiedliche weit voneinander entfernt waren. Entscheidend war, dass diese künstlichen Karten menschliche Entscheidungen besser vorhersagten als traditionelle Videoanalysetools, die auf einfachen visuellen Merkmalen beruhen. Die Studie fand heraus, dass die Modelle nicht einfach nur die Videos auswendig lernten, sondern die abstrakten Ziele und sozialen Kontexte erfassten, die Menschen nutzen, um Bewegungen zu verstehen. Beispielsweise lernten die Modelle, „soziale“ Handlungen zusammenzugruppieren und sie von „solitären“ Aufgaben abzugrenzen, genau wie Menschen es tun.
Um zu beweisen, dass diese internen Karten wirklich bedeutungsvoll und nicht bloß statistische Tricks waren, testeten die Forscher sie auf zwei rigorose Arten. Erstens nutzten sie die internen Karten der Modelle, um ein Videosynthesesystem zu steuern. Durch die Anpassung eines einzigen Wertes in der internen Repräsentation des Modells konnten sie den Inhalt eines Videos fließend verändern. Wenn sie den Wert für eine „naturbezogene“ Dimension erhöhten, verwandelte sich eine Szene im Innenraum in eine im Freien; wenn sie eine „Sport“-Dimension verstärkten, verschob sich die Aktivität in Richtung sportlichen Wettkampfs. Dies demonstrierte, dass die Modelle distinkte, steuerbare Konzepte von Handlungen gelernt hatten, die manipuliert werden konnten, um neue, kohärente visuelle Szenen zu erschaffen.
Zweitens, und vielleicht am bedeutendsten, testeten die Forscher, ob diese künstlichen Karten Aktivitäten im menschlichen Gehirn vorhersagen konnten. Sie nahmen die durch die Modelle gelernten festen Karten und wandten sie auf einen massiven Datensatz von Gehirnscans von Menschen an, die tausende verschiedene Aktionsvideos betrachteten. Sie fanden heraus, dass die interne Organisation der Modelle erfolgreich vorhersagte, welche Teile des menschlichen Gehirns bei der Betrachtung spezifischer Handlungen aktiv würden. Die textbasierten Modelle, die das Konzept von Handlungen rein durch sprachliche Beschreibungen gelernt hatten, ohne jemals ein Video gesehen zu haben, waren besonders gut darin, die Aktivität in höheren Hirnregionen vorherzusagen, die für das Verständnis komplexer sozialer und zielgerichteter Verhaltensweisen verantwortlich sind. Dies deutet darauf hin, dass die abstrakten Konzepte von Handlungen, die rein durch Sprache gelernt wurden, ausreichen, um die Kernstruktur dessen zu erfassen, wie das menschliche Gehirn Bewegung repräsentiert.
Die Studie hob auch interessante Unterschiede zwischen den Arten von Modellen hervor. Während die Video-betrachtenden Modelle feingliedrige visuelle Details erfassten, waren die textbasierten Modelle überraschend effektiv darin, Handlungen in breite, bedeutungsvolle Kategorien zu organisieren. In einigen Hirnregionen übertrafen die textbasierten Modelle die Video-Modelle bei der Vorhersage menschlicher neuronaler Reaktionen tatsächlich. Dies impliziert, dass das konzeptionelle Verständnis von Handlungen – zu wissen, was eine Person zu erreichen versucht – wichtiger für die menschenähnliche Wahrnehmung sein könnte als die spezifischen visuellen Details dessen, wie die Bewegung aussieht.
Letztendlich bietet diese Forschung eine kraftvolle neue Möglichkeit, die Beziehung zwischen künstlicher und biologischer Intelligenz zu verstehen. Sie zeigt, dass Maschinen, wenn sie genügend Daten ausgesetzt sind, eine gemeinsame semantische Geometrie mit Menschen entwickeln können und die Welt der Handlung in einer Weise organisieren, die funktional ähnlich unserer eigenen ist. Die Ergebnisse legen nahe, dass der Weg zu wahrhaft intelligenten Maschinen nicht darin bestehen muss, sie explizit mit menschlichen Regeln zu programmieren, sondern darin, sie diese Strukturen durch die Exposition gegenüber der Reichhaltigkeit der menschlichen Erfahrung selbst entdecken zu lassen. Die Studie behauptet nicht, dass Maschinen Bewusstsein oder Gefühle besitzen, aber sie zeigt, dass sie ein strukturelles Verständnis menschlichen Verhaltens aufbauen können, das tief mit unserem eigenen im Einklang steht, was eine vielversprechende Grundlage für zukünftige Interaktionen zwischen Menschen und Maschinen bietet.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.