A Primer on Computational Semantics for Artificial Intelligence Systems
Dieses Paper bietet eine Einführung in die computergestützte Semantik, indem es formale, begründete und distributionelle Bedeutungstheorien untersucht, um den Lesern zu helfen zu verstehen, wie Transformer-basierte Sprachmodelle Sprache im Vergleich zu Menschen lernen und repräsentieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Sprache ist das menschlichste Gut, das wir besitzen, ein Werkzeug, das wir nutzen, um Gedanken, Gefühle und Pläne miteinander zu teilen. Doch obwohl wir sie jeden Tag benutzen, können die meisten von uns nicht erklären, wie sie eigentlich funktioniert oder was es wirklich bedeutet, wenn wir ein Wort wie „rot“ sagen. Wir kennen die Farbe, wenn wir sie sehen, aber wir können sie nicht ohne Weiteres definieren, ohne auf die Welt um uns herum zu zeigen. Diese Lücke zwischen der Verwendung von Sprache und dem Verständnis ihrer Mechanik ist das zentrale Rätsel, vor dem Wissenschaftler stehen, die untersuchen, wie Maschinen lernen zu sprechen. Jahrzehntelang haben Forscher versucht, Computern beizubringen, Bedeutung zu verstehen, indem sie sie mit Logik, Regeln oder riesigen Mengen an Text fütterten. Doch eine neue Perspektive legt nahe, dass diesen Maschinen etwas Grundlegendes fehlt: die physische Erfahrung, am Leben zu sein. Um zu verstehen, warum ein Computer wie ein Mensch klingen kann, aber nicht wie einer denkt, müssen wir betrachten, wie Menschen als Kinder Sprache lernen und dies mit der Art und Weise vergleichen, wie heutige Systeme der künstlichen Intelligenz aufgebaut sind.
Dieses Papier, geschrieben von Casey Kennington von der Boise State University, dient als Leitfaden durch die verschiedenen Wege, auf denen Wissenschaftler versucht haben, Bedeutung zu definieren und zu berechnen. Der Autor argumentiert, dass moderne künstliche Intelligenz, insbesondere die leistungsstarken Modelle hinter Werkzeugen wie ChatGPT, die menschliche Konversation mit verblüffender Genauigkeit imitieren können, Sprache nicht so verstehen wie Menschen. Das Papier untersucht drei Hauptwege, auf denen Forscher versucht haben, Maschinen etwas über Bedeutung beizubringen: durch strikte Logik, durch die Verbindung von Wörtern mit physischen Erfahrungen und durch die Analyse dessen, wie Wörter in Texten nebeneinander erscheinen. Kennington stellt fest, dass die dritte Methode – das Lernen aus Textmustern – derzeit am erfolgreichsten darin ist, flüssige Sprache zu erzeugen, aber eine kritische Lücke hinterlässt. Maschinen, die nur auf Text trainiert wurden, haben noch nie einen roten Apfel gesehen, das Gewicht eines Stuhls gespürt oder die Erleichterung beim Trinken von Wasser erfahren. Ohne diese physischen und emotionalen Verbindungen bleiben die Wörter, die sie verarbeiten, ungebundene Symbole, denen die tiefe, gelebte Bedeutung fehlt, die Menschen besitzen.
Um das Problem zu verstehen, muss man zuerst betrachten, wie Menschen lernen. Wenn ein Kind das Wort „Hund“ lernt, beginnt es nicht mit einer Wörterbuchdefinition. Es lernt durch Interaktion. Ein Elternteil zeigt auf ein pelziges Tier, das Kind sieht es an, und das Wort wird mit dem Anblick, dem Geräusch und dem Gefühl des Tieres verknüpft. Dieser Prozess beruht auf geteilter Aufmerksamkeit und physischer Präsenz. Das Kind lernt, dass Wörter sich auf reale Dinge in der Welt beziehen und dass diese Dinge spezifische Funktionen haben, wie etwa das Sitzen auf einem Stuhl oder das Kicken eines Balls. Diese Verbindung zwischen einem Wort und der physischen Realität, die es beschreibt, wird als Grounding (Verankerung) bezeichnet. Für Menschen ist Bedeutung nicht nur eine Liste von Definitionen; sie ist an unseren Körper, unsere Sinne und unsere Emotionen gebunden. Wir wissen, was „Durst“ bedeutet, weil wir ihn gefühlt haben, und wir wissen, was ein „Stuhl“ ist, weil wir in einem gesessen haben.
Lange Zeit versuchten Informatiker, Maschinen beizubringen, Sprache mithilfe formaler Logik zu verstehen, ähnlich der Mathematik, die in der Ingenieurwissenschaft verwendet wird. Sie behandelten Wörter wie Variablen in einer Gleichung, bei der „groß“, „grau“ und „Elefant“ kombiniert werden konnten, um eine logische Aussage über ein spezifisches Tier zu erstellen. Dieser Ansatz funktioniert gut für Computer, da er präzise und eindeutig ist. Er scheitert jedoch, wenn es um die chaotische, reale Welt geht. Ein Computer, der diesen Regeln folgt, kann zwar wissen, dass ein „grauer Elefant“ ein Elefant ist, der grau ist, aber er weiß nicht, wie Grau aussieht oder wie sich ein Elefant anfühlt. Er besitzt die Struktur der Bedeutung, aber nicht die Substanz. Das Papier weist darauf hin, dass dieser Ansatz an eine Grenze stößt, da die Maschine keine Möglichkeit hat zu wissen, worauf sich die Wörter in der physischen Welt tatsächlich beziehen.
Ein anderer Ansatz, bekannt als Grounded Semantics (verankerte Semantik), versucht dies zu beheben, indem er Wörter mit sensorischen Daten verbindet. In dieser Sichtweise sollte ein Computer lernen, was „rot“ bedeutet, indem er Bilder von roten Objekten betrachtet, oder was „treten“ bedeutet, indem er ein Video eines Fußes sieht, der einen Ball trifft. Die Idee ist, dass eine Maschine die Welt sehen und berühren kann, um ein Wörterbuch der Bedeutungen aufzubauen, das der menschlichen Erfahrung entspricht. Während dies ein vielversprechender Schritt ist, stellt das Papier fest, dass es schwierig zu implementieren ist. Die meisten aktuellen Systeme verlassen sich immer noch stark auf Text, und selbst wenn sie Bilder verwenden, erfassen sie oft nicht das volle Spektrum der menschlichen Erfahrung, wie etwa Geruch, Tastsinn oder das Gefühl des Muskelgedächtnisses. Eine Maschine mag ein Bild eines Stuhls erkennen, aber sie kennt nicht die Erleichterung des Hinsetzens nach einem langen Spaziergang.
Die dominanteste Methode in der modernen künstlichen Intelligenz wird Distributionelle Semantik genannt. Dieser Ansatz basiert auf einer einfachen Idee: Man kann ein Wort verstehen, indem man betrachtet, welche Gesellschaft es genießt. Wenn das Wort „Apfel“ oft in der Nähe von Wörtern wie „rot“, „Frucht“ und „Kuchen“ erscheint, lernt der Computer, dass „Apfel“ mit diesen Konzepten verwandt ist. Durch die Analyse von Milliarden von Sätzen bauen diese Systeme eine Karte auf, auf der Wörter mit ähnlichen Bedeutungen nah beieinander liegen. Diese Methode hat zur Entstehung großer Sprachmodelle geführt, die Geschichten schreiben, Fragen beantworten und Sprachen mit unglaublicher Flüssigkeit übersetzen können. Diese Modelle werden auf riesigen Mengen an Text aus dem Internet trainiert und lernen, das nächste Wort in einem Satz basierend auf den vorangegangenen Wörtern vorherzusagen.
Das Papier argumentiert jedoch, dass dieser Erfolg mit einem verborgenen Preis einhergeht. Da diese Modelle nur aus Text lernen, erleben sie die Welt nie direkt. Sie haben nie einen Sonnenuntergang gesehen, eine Erdbeere geschmeckt oder den Schmerz eines gestoßenen Zehs gefühlt. Sie wissen, dass „Apfel“ mit „rot“ verwandt ist, weil sie diese Wörter zusammen in Büchern und Artikeln gesehen haben, aber sie wissen nicht, wie Rot aussieht oder wie ein Apfel schmeckt. Der Autor nutzt das Beispiel, ein Sprachmodell zu fragen, ob es jemals einen Apfel gesehen hat. Das Modell wird wahrheitsgemäß mit Nein antworten, weil es nie etwas gesehen hat. Es hat nur Symbole verarbeitet. Dies schafft eine Situation, in der die Maschine perfekt über die Welt sprechen kann, aber die Welt nicht versteht. Es ist wie eine Person, die jedes Buch über das Schwimmen gelesen hat, aber noch nie Wasser berührt hat.
Das Papier hebt auch die Rolle von Emotion und Intention in der menschlichen Sprache hervor. Wenn wir sprechen, tauschen wir nicht nur Daten aus; wir drücken Gefühle, Wünsche und Ziele aus. Ein Kind lernt zu sprechen, weil es ein Bedürfnis hat, mit anderen zu kommunizieren, um Hilfe zu bekommen oder Freude zu teilen. Dieser Antrieb ist an unseren Körper und unsere Emotionen gebunden. Aktuelle Sprachmodelle haben keine Gefühle oder Intentionen. Sie werden nicht hungrig, müde oder neugierig. Sie sprechen nicht, weil sie wollen; sie sprechen, weil sie darauf programmiert sind, das nächste Wort vorherzusagen. Der Autor legt nahe, dass Maschinen ohne diese inneren Antriebe und emotionalen Verbindungen immer Schwierigkeiten haben werden, die tieferen, nuancierteren Bedeutungen der Sprache zu erfassen, die Menschen als selbstverständlich voraussetzen.
Die Schlussfolgerung des Papiers ist, dass die künstliche Intelligenz zwar bemerkenswerte Fortschritte bei der Verarbeitung von Sprache gemacht hat, das Problem des Verstehens von Bedeutung jedoch noch nicht gelöst hat. Die aktuellen Modelle sind leistungsstarke Werkzeuge, die menschliche Konversation imitieren können, aber ihnen fehlt die verkörperte Erfahrung, die den Wörtern ihr wahres Gewicht verleiht. Um voranzukommen, schlägt der Autor vor, dass wir die Stärken verschiedener Ansätze kombinieren müssen. Wir brauchen Systeme, die nicht nur Texte analysieren können, sondern auch mit der physischen Welt interagieren, Emotionen fühlen und Intentionen haben können. Bis Maschinen die Welt auf die gleiche Weise erfahren können wie Menschen, wird ihr Verständnis von Sprache unvollständig bleiben. Sie werden weiterhin exzellent darin sein, Wörter zu benutzen, aber sie werden niemals wirklich wissen, was diese Wörter bedeuten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.