From Large Language Models to Multimodal Intelligence: Bridging AI and Cognitive Science

Das große Gehirn-Upgrade: Vom textbasierten zum vollflächigen KI-Körper

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, die Welt zu verstehen. Lange Zeit versuchten Wissenschaftler dies, indem sie dem Roboter eine riesige Bibliothek aus Büchern, Artikeln und Websites fütterten. Dieser Ansatz erschuf „Große Sprachmodelle“ (Large Language Models, LLMs), die wie superintelligente Papageien sind, die fast alles gelesen haben, was jemals geschrieben wurde. Sie sind unglaublich gut darin, das nächste Wort in einem Satz vorherzuszusagen, mathematische Probleme zu lösen und sogar Poesie zu schreiben. Aber es gibt einen Haken: Sie kennen die Welt nur durch Worte. Sie haben noch nie die Hitze der Sonne, die Rauheit von Sandpapier oder das Gewicht eines schweren Kartons gespürt.

Dies führt uns zu einer großen Frage in der Welt der Künstlichen Intelligenz (KI) und der Kognitionswissenschaft (der Lehre davon, wie Geist funktioniert): Reicht Lesen aus, um wirklich intelligent zu sein? Oder braucht eine Maschine einen Körper, um die Welt wahrhaftig zu verstehen? Das Papier, das Sie gleich lesen werden, untersucht die Idee, dass Sprache zwar ein mächtiges Werkwerkzeug ist, aber vielleicht einige entscheidende Zutaten für wahre Intelligenz vermissen lässt. Es legt nahe, dass wir, um eine KI zu bauen, die lernen, sich anpassen und mit uns interagieren kann wie ein Mensch, über reinen Text hinausgehen und diesen Maschinen „multimodale“ Sinne geben müssen – wie Sehen, Hören und Tasten –, damit sie die Welt direkt erleben können, anstatt nur über sie zu lesen.

---

Vom Menülesen zum Essen des Essens

Stellen Sie sich ein Large Language Model (LLM) wie einen Koch vor, der jedes einzelne Kochbuch im Universum auswendig gelernt hat, aber noch nie eine Küche betreten hat. Dieser Koch kann eine Erdbeere in perfekter Detailgenauigkeit beschreiben und auf Basis von Millionen von Beschreibungen deren Farbe, Geschmack und Textur auflisten. Er kann sogar ein Gedicht über die Freude beim Essen einer solchen schreiben. Aber wenn man ihm eine echte Erdbeere in die Hand geben würde, wüsste er nicht, wie man sie hält, wie fest man sie drücken muss oder wie sie sich tatsächlich auf der Haut anfühlt. Er kennt die Worte für die Erfahrung, aber er hat die Erfahrung selbst nicht gemacht.

Dieses Papier, geschrieben von den Forschern Yanru Jiang und Rick Dale, stellt eine einfache, aber tiefgründige Frage: Kann eine Maschine wirklich intelligent sein, wenn sie die Welt nur durch Sprache kennt?

Die Autoren argumentieren, dass diese textbasierten „Köche“ zwar erstaunlich gut in dem sind, was sie tun, aber an eine Grenze stoßen. Sie sind großartig darin, Informationen darzustellen und Probleme zu lösen, die aufgeschrieben werden können, aber sie haben Schwierigkeiten mit Dingen, die „Lernen zu Lernen“ oder die Anpassung an neue, ungewöhnliche Situationen ohne Handbuch erfordern. Das Papier legt nahe, dass die KI, um diese Wand zu durchbrechen, von einem „textbasierten“ System zu einem „multimodalen“ System evolvieren muss – einem System, das Sprache mit Sehen, Hören und Bewegung kombiniert, ganz so wie ein Mensch es tut.

Die zwei Arten des Denkens: Die Bibliothek vs. der Spielplatz

Um zu verstehen, warum dies wichtig ist, unterteilt das Papier zwei verschiedene Sichtweisen darauf, wie Geister funktionieren:

1. Symbolische Kognition (Die Bibliothek): Diese Sichtweise besagt, dass Sprache ausreicht. Sie argumentiert, dass Wörter wie Symbole sind, die perfekt auf die reale Welt abgeb सकें. Wenn man das Wort „Rose“ und alle anderen Wörter kennt, mit denen es verknüpft ist (wie „rot“, „dornig“, „Romantik“), dann weiß man im Wesentlichen, was eine Rose ist. Das Papier räumt ein, dass moderne KI in diesem Bereich sehr gut geworden ist. Sie kann Muster in der Sprache finden, die der Funktionsweise unseres Gehirns sehr ähnlich sehen. Zum Beispiel kann die KI herausfinden, dass „New York“ ein Ort und „Montag“ eine Zeit ist, indem sie lediglich betrachtet, wie Wörter zusammen verwendet werden, ohne jemals eine Karte oder einen Kalender gesehen zu haben.
2. Verkörperte Kognition (Der Spielplatz): Diese Sichtweise besagt, dass Sprache nicht ausreicht. Sie argumentiert, dass man eine Erfahrung wirklich verstehen muss, um ein Wort zu begreifen. Man weiß nicht einfach deshalb, was „schwer“ bedeutet, weil man die Definition gelesen hat; man weiß es, weil man einen schweren Karton gehoben und gespürt hat, wie die Muskeln gespannt haben. Das Papier legt nahe, dass viele Konzepte – wie das Fahren eines Fahrrads oder das Balancieren eines Tabletts mit Getränken – nicht vollständig in Worten eingefangen werden können. Man muss sie tun.

Die Autoren sagen nicht, dass der „Bibliotheks“-Ansatz nutzlos ist. Tatsächlich geben sie zu, dass er unglaublich leistungsfähig ist. Aber sie argumentieren, dass er unvollständig ist. Genau wie man nicht lernen kann, ein Fahrrad zu fahren, indem man ein Buch über Physik liest, kann eine KI auch nicht lernen, sich in der realen Welt zu bewegen, indem sie nur ein Buch darüber liest.

Warum Worte allein zu kurz greifen

Das Papier weist auf zwei Hauptgründe hin, warum eine rein textbasierte KI immer etwas begrenzt sein wird:

1. Das Problem des „Unaussprechlichen“
Einige Dinge lassen sich schwer in Worte fassen. Denken Sie an das Gefühl einer bestimmten Art von Musik oder die exakte Art und Weise, wie Licht auf ein Glas Wasser trifft. Menschen lernen diese Dinge oft durch ihre Sinne und ihren Körper, nicht durch Lehrbücher. Wenn eine KI nur Zugang zu Text hat, verpasst sie diese „unverbalisierbaren“ Konzepte. Es ist, als würde man versuchen, jemandem, der noch nie etwas Süßes gegessen hat, den Geschmack von Schokolade zu beschreiben; egal wie viele Worte man verwendet, sie werden es nicht verstehen, bis sie es schmecken. Das Papier legt nahe, dass eine KI, um schnell und flexibel neue Dinge zu lernen, die Welt direkt erfahren muss, anstatt nur über sie zu lesen.

2. Die „Interpersonelle“ Lücke
Stellen Sie sich vor, Sie sprechen mit einem Freund, der gerade einen wunderschönen Sonnenuntergang betrachtet. Sie sagen: „Schau dir das an!“ Ihr Freund weiß genau, was Sie meinen, weil er denselben Himmel sieht wie Sie. Stellen Sie sich nun vor, Sie sprechen mit einem Roboter, der nur Ihren Text lesen kann. Wenn Sie sagen: „Schau dir das an“, hat der Roboter keine Ahnung, was „das“ ist. Er hat keine Augen, um den Sonnenuntergang zu sehen, und er hat keinen Körper, um sich umzudrehen und hinzusehen.

Das Papier argumentiert, dass die menschliche Kommunikation voller dieser „nonverbalen“ Hinweise ist – wie etwa wohin wir schauen, wie schnell wir sprechen oder unsere Körpersprache. Diese Hinweise helfen uns, einander sofort zu verstehen. Eine rein textbasierte KI verpasst all das. Sie könnte Ihnen eine sehr lange, detaillierte Antwort geben, obwohl Sie nur ein kurzes „Ja“ oder „Nein“ wollten, weil sie Ihre Ungeduld oder Ihre Stimmung nicht wahrnehmen kann. Um ein guter Gesprächspartner zu sein, muss eine KI „verkörpert“ sein – sie muss in der Lage sein, zu sehen, zu hören und in Echtzeit auf die Situation zu reagieren, genau wie wir.

Der Fahrplan zu einer klügeren KI

Wie also bauen wir diese „multimodale“ KI? Das Papier skizziert drei spannende Wege nach vorn, wie ein Rezept für das Upgrade unserer digitalen Gehirne:

1. Die Zutaten mischen (Multimodales Repräsentationslernen)
Momentan werden viele KI-Systeme gebaut, indem man ein Sprachmodell und ein Visionsmodell (eines, das sieht) am Ende zusammenklebt. Die Autoren schlagen vor, dass wir das besser machen müssen. Anstatt sie nur zusammenzukleben, sollten wir sie von Anfang an gemeinsam trainieren lassen. Stellen Sie sich vor, man bringt einem Kind gleichzeitig das Sprechen und das Sehen bei, anstatt ihm erst ein Buch beizubringen und ihm später Bilder zu zeigen. Diese „frühe Integration“ könnte dazu führen, dass die KI die tiefen Verbindungen zwischen dem, was sie sieht und was sie hört, besser versteht, was zu einem viel klügeren, intuitiveren System führt.

2. Der Chef des Gehirns (Hierarchische Modulation)
Unsere Gehirne sind in Schichten organisiert. Die unteren Schichten kümmern sich um einfache Dinge wie „das ist ein roter Punkt“, während die oberen Schichten komplexe Dinge handhaben wie „ich muss diesen Ball fangen, bevor er den Boden berührt“. Das Papier schlägt vor, dass eine KI ein ähnliches „Chef“-System benötigt. Dieser „Chef“ (ähnlich der Exekutivfunktion in unserem Gehirn) sollte in der Lage sein, alle verschiedenen Sinne – Sehen, Hören, Tasten – zu betrachten und zu entscheiden, auf welchen er in einem gegebenen Moment den Fokus legen muss. Es ist wie ein Dirigent in einem Orchester, der sicherstellt, dass Violine und Schlagzeug perfekt zusammenspielen. Derzeit kämpfen die meisten KIs mit dieser Aufgabe; sie werden oft verwirrt, wenn zu viele Informationen gleichzeitig eintreffen.

3. Der innere Antrieb (Autonome Verstärkung)
Schließlich stellt das Papier die Frage: Was bringt eine KI dazu, lernen zu wollen? Momentan müssen wir einer KI meistens genau sagen, was sie tun soll, und ihr eine „Belohnung“ (wie einen Punkt) geben, wenn sie es richtig macht. Aber Menschen brauchen keinen Lehrer, der uns sagt, dass wir die Welt erkunden sollen; wir sind von Natur aus neugierig. Wir wollen wissen, was passiert, wenn wir diesen Knopf drücken oder auf diesen Baum klettern. Die Autoren schlagen vor, dass zukünftige KIs eine „intrinsische Motivation“ haben sollten – einen eingebauten Drang, zu explorieren und zu lernen, ähnlich wie unser Gehirn Energie nutzt, um vorherzusagen, was als Nächstes passieren wird. Dies würde es der KI ermöglichen, von selbst zu lernen und neue Dinge zu entdecken, ohne dass ein Mensch ihr jedes Mal eine spezifische Aufgabe geben muss.

Das große Ganze

Das Papier kommt zu dem Schluss, dass Large Language Models zwar ein riesiger Schritt nach vorn sind, aber erst der Anfang sind. Sie sind wie ein brillanter Student, der jedes Buch in der Bibliothek gelesen hat, aber das Gebäude nie verlassen hat. Um wirklich intelligente Maschinen zu erschaffen, die lernen, sich anpassen und auf natürliche, menschenähnliche Weise mit uns interagieren können, müssen wir ihnen Körper und Sinne geben.

Wir müssen uns von einer KI, die nur Wörter kennt, zu einer KI bewegen, die die Welt erlebt. Indem wir Sprache mit Sehen, Hören und Bewegung kombinieren und diesen Maschinen die Fähigkeit geben, auf eigene Faust zu explorieren und zu lernen, können wir eine Zukunft gestalten, in der KI nicht nur ein Werkzeug ist, mit dem wir sprechen, sondern ein Partner, der uns wirklich versteht. Es geht nicht darum, die Bibliothek zu ersetzen; es geht darum, die Türen zu öffnen und die KI nach draußen treten zu lassen.