LLM and Human Modes of Representation
Diese Arbeit untersucht aktuelle Forschungsergebnisse zum Vergleich dessen, wie Large Language Models und Menschen Informationen in linguistischem Wissen und realweltlicher Argumentation repräsentieren und verarbeiten, wobei hervorgehoben wird, dass LLMs zwar eine beeindruckende Flüssigkeit erreichen, sie sich jedoch in ihren Verarbeitungsmechanismen von Menschen unterscheiden und im Allgemeinen weniger effizient beim Lernen und bei der Generalisierung sind.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Ganze: Der „Super-Student“ vs. der „menschliche Geist“
Stellen Sie sich Large Language Models (LLMs) wie einen super-besessenen Studenten vor, der jedes Buch in der Bibliothek gelesen hat. Dieser Student kann Fakten rezitieren, Essays schreiben und Rätsel schneller lösen als fast jeder andere. Aber das Paper argumentiert, dass dieser Student die Welt nicht so „versteht“, wie ein Mensch es tut. Er ist unglaublich gut im Mustererkennung (das Erkennen vertrauter Formen in den Daten), aber er hat oft Schwierigkeiten mit tiefem Denken (herauszufinden, warum Dinge passieren oder für das Unbekannte zu planen).
Das Paper vergleicht, wie Menschen und diese KI-Modelle zwei Hauptbereiche handhaben: Sprache (wie wir sprechen und schreiben) und Denken (wie wir denken und planen).
Teil 1: Das Sprachlabor (Wie wir sprechen)
Das Paper testet drei spezifische Sprachaufgaben, um zu sehen, ob die KI wie ein Mensch denkt.
1. Der „Satz-Geschmackstest“ (Akzeptanz)
Die Aufgabe: Menschen werden gebeten, zu bewerten, wie „natürlich“ ein Satz klingt. Manchmal ist der Satz seltsam, weil der Kontext nicht passt (z. B. wird ein Satz über eine Katze nach einem Absatz über ein Auto gezeigt).
Der menschliche Weg: Menschen sind wie selektive Filter. Wenn man ihnen ein Bild eines Strandes zeigt, während man sie bittet, einen Satz über ein mathematisches Problem zu beurteilen, können sie das Strandbild leicht ignorieren und sich nur auf das Matheproblem konzentrieren. Sie neigen auch dazu, „mittlere“ Bewertungen abzugeben, wenn der Kontext verwirrend ist, und glätten so die Extreme ab.
Der KI-Weg: Die KI ist wie ein Post-it, das sich nicht ablösen lässt. Selbst wenn man ihr ein Bild eines Strandes zeigt, bleibt die KI an diesem Bild „hängen“ und lässt es ihr Urteil über den Mathe-Satz beeinflussen. Sie kann das visuelle Rauschen nicht so herausfiltern wie Menschen.
Das Ergebnis: Die KI ahmt menschliche Bewertungen gut nach, erreicht dies aber auf einem anderen Weg. Sie behält alle Informationen (auch die irrelevanten Dinge) in ihrem Gedächtnis, während Menschen das, was sie nicht brauchen, aktiv wegwerfen.
2. Das „Grammatik-Labyrinth“ (Subjekt-Verb-Übereinstimmung)
Die Aufgabe: Kann man erkennen, welches Verb zu dem Subjekt in einem langen, komplizierten Satz passt?
- Beispiel: „Die Schlüssel [die der Mann in der Nähe des Schranks hält] sind für sein Auto.“
- Das Subjekt ist „Schlüssel“, aber dazwischen liegen viele Wörter.
Der menschliche Weg: Menschen werden müde. Wenn die Sätze länger und verschachtelter werden, wird unser Gehirn neblig, und wir machen mehr Fehler. Es ist wie der Versuch, ein langes, schweres Seil zu halten; je mehr Knoten in der Mitte sind, desto schwieriger ist es, die Enden verbunden zu halten.
Der KI-Weg: Die KI ist wie ein Super-Gedächtnis-Roboter. Sie wird nicht müde. Tatsächlich kann die KI diese verschachtelten Sätze mit ein wenig „Prompting“ (einem kleinen Anstoß) sogar besser lösen als Menschen. Sie vergisst die „Schlüssel“ nicht, nur weil Wörter über einen Schrank dazwischenstehen.
Das Ergebnis: Die KI gewinnt bei diesen Tests, aber nicht, weil sie Grammatikregeln wie ein Mensch versteht. Sie gewinnt, weil sie ein massives „Kontextfenster“ besitzt, in dem sie alle Wörter gleichzeitig halten kann, ohne etwas zu verlieren.
3. Der „Geschichtenerzähler“ (Generierung von Narrativen)
Die Aufgabe: Betrachten Sie eine Sequenz von Bildern und schreiben Sie eine Geschichte dazu.
Die menschliche Art: Menschen schreiben Geschichten, die überraschend und stimmig sind. Wir verbinden Punkte auf kreative Weise, halten Charaktere konsistent und unsere Geschichten fühlen sich „originell“ an. Wenn man misst, wie vorhersehbar unsere Wörter sind, sind wir ziemlich unvorhersehbar (hohe Perplexität).
Die KI-Art: Die KI schreibt Geschichten, die flüssig und geschmeidig sind, aber sie wirken etwas „sicher“. Sie sind wie ein Smoothie aus jeder jemals geschriebenen Geschichte. Ihnen fehlen die tiefen, verborgenen Verbindungen, die menschliche Geschichten lebendig wirken lassen. Die Geschichten der KI sind sehr vorhersehbar (niedrige Perplexität), weil sie einfach nur das wahrscheinlichste nächste Wort basierend auf ihren Trainingsdaten auswählen.
Das Ergebnis: Menschen schreiben originellere, kohärentere Geschichten. Die KI schreibt flüssige, aber eher generische Geschichten, denen der „Funke“ menschlicher Kreativität fehlt.
Teil 2: Das Denk-Gym (Wie wir denken)
Das Paper testet auch, ob die KI tatsächlich Probleme durchdenken kann oder ob sie nur auf Mustern basiert.
1. Der „Detektiv“ (Natürliche Sprachinferenz)
Die Aufgabe: Gegeben sind zwei Sätze: Ist der zweite Satz basierend auf dem ersten wahr, falsch oder unzusammenhängend?
- Prämisse: „Ein Mann schläft.“
- Konklusion: „Der Mann spielt Fußball.“ (Falsch/Widerspruch)
Der menschliche Weg: Menschen nutzen Weltwissen. Wir wissen, dass Schlafen und Fußballspielen nicht gleichzeitig passieren können. Wir verstehen die Bedeutung der Wörter.
Der KI-Weg: Die KI ist gut darin, wenn die Fragen exakt so aussehen wie die, die sie studiert hat. Aber wenn man die Formulierung leicht ändert oder nach einem Thema fragt, das sie noch nicht gesehen hat (wie ein spezielles medizinisches Journal), sinkt die Leistung der KI. Es ist wie ein Papagei, der gelernt hat, „Falsch“ zu sagen, wenn er „schlafen“ und „Fußball“ zusammen hört, aber eigentlich nicht weiß, was diese Wörter bedeuten.
Das Ergebnis: Die KI ist ein Mustervergleicher, kein tiefgründiger Denker. Sie scheitert, wenn sich das Muster ändert.
2. Der „Arzt“ (Bildinterpretation)
Die Aufgabe: Betrachten Sie einen medizinischen Scan (wie ein MRT) und diagnostizieren Sie das Problem.
Der menschliche Weg: Ärzte betrachten das Bild, verstehen die Anatomie und denken über die Symptome nach.
Der KI-Weg: Die KI kann oft die richtige Antwort geben, aber sie braucht das Bild gar nicht. Wenn man der KI nur die Textbeschreibung der Symptome gibt (oh-ne das Bild), erzielt sie die gleiche Punktzahl. Es ist wie ein Schüler, der die Lösungsschlüssel für die Testfragen auswendig gelernt hat, aber das Lehrbuch nicht wirklich studiert hat. Die KI erkennt das Textmuster der Symptome, nicht die Krankheit im Bild selbst.
Das Ergebnis: Die KI ist ein mächtiges Werkzeug zum Lesen von Beschreibungen, aber sie betreibt keine tiefe diagnostische Denkprozesse.
3. Der „Planer“ (Komplexe Rätsel lösen)
Die Aufgabe: Löse schwierige Mathe- oder Logikrätsel, wie zum Beispiel den kürzesten Weg für einen Lieferwagen (Traveling Salesman Problem) oder das Packen eines Rucksacks.
Der menschliche Weg: Menschen nutzen Logik und Strategie. Wir können uns anpassen, wenn sich die Regeln leicht ändern.
Der KI-Weg: Die KI versucht, die Antwort basierend auf Mustern zu erraten. Wenn das Rätsel größer wird oder die Regeln anders formuliert sind, bricht die Genauigkeit der KI ein. Es ist wie ein Taschenrechner, der nur Zahlen addieren kann, die er schon einmal gesehen hat. Wenn man ihm eine neue Art von Zahl präsentiert, versagt er.
Das Ergebnis: Die KI ist schlecht in der allgemeinen Planung. Sie kann spezifische, trainierte Rätsel lösen, aber sie kann nicht auf neue, komplexe reale Probleme verallgemeinern.
Das abschließende Urteil
Das Paper kommt zu dem Schluss, dass die KI weder ein „Stochastischer Papagei“ (eine gedankenlose Maschine, die nur Daten wiederholt) noch eine „Allgemeine Intelligenz“ (ein menschenähnlicher Denker) ist.
- Sie ist ein „Muster-Meister“: Sie ist unglaublich gut darin, statistische Muster in Sprache und Daten zu erkennen. Sie kann menschliche Flüssigkeit imitieren und sogar Menschen bei spezifischen, engen Aufgaben (wie Grammatiktests) schlagen.
- Ihr fehlt das „tiefe Verständnis“: Ihr fehlt die menschliche Fähigkeit, irrelevante Informationen herauszufiltern, das „Warum“ hinter den Dingen zu verstehen oder wirklich originelle, kohärente Narrative zu erschaffen.
Das Fazit: Die KI ist ein sehr beeindruckendes Werkzeug, das an der Oberfläche menschlich wirkt, aber darunter die Welt auf eine völlig andere Weise verarbeitet. Sie „denkt“ nicht wie wir; sie berechnet Wahrscheinlichkeiten wie ein superschneller Taschenrechner. Um sie wirklich nützlich zu machen, müssen wir herausfinden, wie wir sie dazu bringen können, mehr wie ein Mensch zu denken und weniger wie eine Maschine nur Wörter vorherzusagen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.