Human-Level Reasoning: A Comparative Study of Large Language Models on Logical and Abstract Reasoning
Diese Studie bewertet und vergleicht die logischen und abstrakten Denkfähigkeiten von neun prominenten Large Language Models gegenüber der menschlichen Leistung anhand von acht eigens entwickelten Fragen, wobei signifikante Lücken in den deduktiven Fähigkeiten der Modelle aufgezeigt werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen Raum voller unglaublich talentierter Bibliothekare. Diese Bibliothekare (die Large Language Models, oder LLMs) haben fast jedes Buch der Welt gelesen. Sie können Fakten rezitieren, Gedichte schreiben und Sprachen schneller übersetzen als jeder andere. Aber die Frage, die diese Arbeit stellt, ist: Verstehen sie wirklich, was sie lesen, oder sind sie nur sehr gut darin, das nächste Wort in einem Satz zu erraten?
Um dies herauszufinden, hat der Autor, Benjamin Grando Moreira, ein „Logik-Fitnessstudio“ eingerichtet und 15 dieser digitalen Bibliothekare eingeladen, gegen eine Gruppe von menschlichen Studenten und Professoren anzutreten.
Hier ist eine einfache Aufschlüsselung dessen, was passiert ist, unter Verwendung einiger alltäglicher Metaphern.
Der Test: Eine Rätselbox, kein Trivia-Quiz
Anstatt die Modelle zu fragen: „Wer war der erste Präsident?“ (was sie aus dem Gedächtnis beantworten könnten), gab der Forscher ihnen 8 knifflige Rätsel. Diese Rätsel waren wie Rätsel, die von den Modellen verlangten, verborgene Regeln zu entdecken, anstatt nur Fakten abzurufen.
Denken Sie es sich so:
- Das menschliche Gehirn ist wie ein Detektiv, der nach Hinweisen sucht, Punkte verbindet und sagt: „Aha! Ich sehe das Muster!“
- Das KI-Gehirn ist wie eine superschnelle Mustererkennungsmaschine, die sagt: „Ich habe dieses Wort schon einmal gesehen, also rate ich das nächste Wort basierend darauf, was normalerweise folgt.“
Die 8 Herausforderungen (Der „Hindernisparcours“)
Das Paper testete die Modelle bei Dingen wie:
- Das Wochentags-Rätsel: Wenn „SUN + 1 = MON“, was ist dann „TUE + 2“? (Die meisten Modelle bekamen das, aber einige wurden durch die Abkürzungen verwirrt).
- Das Elefanten-Lied: Ein albernes Muster, bei dem sich die Anzahl der Male, die man „bother“ sagt, ändert, je nachdem, ob die Anzahl der Elefanten ungerade oder gerade ist. Menschen erkannten das Muster leicht; viele KIs blieben an der Wiederholung hängen.
- Der geheime Code: Eine einfache Buchstabenverschiebung (wie A wird zu B). Die meisten Modelle knackten dies, aber einige bekamen die Großschreibung falsch.
- Die Fangfragen-Matheaufgabe: „Was ist 3 + 3 x 5?“ Die richtige Antwort ist 18. Aber der Test gab Optionen wie 16, 20, 30 und 45 an. 18 war nicht einmal eine Option!
- Der Clou: Viele Modelle (und einige Menschen) ließen sich verwirren. Sie sahen, dass die Rechnung stimmte, aber die Optionen falsch waren, und einige wählten einfach die „nächstliegende“ falsche Antwort, anstatt zu sagen: „Hey, keine dieser Antworten ist richtig.“
- Das Monats-Mysterium: Dies war das Schwierigste. Es fragte danach, einen versteckten Code für den Monat „May“ zu finden. Der Code beinhaltete das Quadrieren der Monatszahl (5 quadrat = 25) und das Zählen der Buchstaben im Wort „May“ (4 Buchstaben), um sie dann zusammenzufügen, um 254 zu erhalten.
- Das Ergebnis: Menschen waren bei dieser Aufgabe ganz okay, aber die KIs scheiterten meistens. Sie versuchten komplexe mathematische Formeln zu verwenden, die nicht passten, anstatt die einfache „Zahlen zusammenfügen“-Logik zu erkennen.
- Der Sprachwechsel: Das Zuordnen von portugiesischen Monatsabkürzungen zu spanischen Namen. Menschen hatten hier Schwierigkeiten, wenn sie kein Spanisch kannten, aber die KIs (die viele Sprachen beherrschen) meisterten dies mühelos.
- Der zweisprachige Tag: Eine Mischung aus englischen und portugiesischen Wochentagen mit einer verborgenen Regel darüber, wann man die Sprache wechselt. Sowohl Menschen als auch KIs fanden dies schwierig.
- Der Binärcode: Das Addieren von Zahlen, die wie Dezimalzahlen aussehen (wie 1000), aber eigentlich im Binärsystem (Basis 2) sind. Nur die klügsten Modelle erkannten: „Warte, das sind keine normalen Zahlen!“ und lösten sie.
Die Bestenliste: Wer hat gewonnen?
Der Forscher vergab Punkte für:
- 10 Punkte: Die richtige Antwort geben.
- 5 Punkte: Die Logik richtig anwenden, auch wenn die endgültige Zahl falsch war.
- 0 Punkte: Falsch liegen oder aufgeben.
Die Ergebnisse:
- Die Menschen: Die Professoren (die Experten) schnitten insgesamt am besten ab, besonders bei den kniffligen Rätseln. Die Studenten machten sich gut, hatten aber bei den abstrakten Rätseln mehr Schwierigkeiten.
- Die KIs: Im Durchschnitt erreichten die KIs etwa 73 Punkte von 100, während die Menschen etwa 70 erreichten.
- Haben die KIs etwa gewonnen? Ja, leicht! Aber hier ist der Haken: Die KIs waren großartig bei den einfachen Dingen (wie Monaten in verschiedenen Sprachen zu kennen) und schlecht bei den seltsamen, abstrakten Dingen (wie dem Elefanten-Lied oder dem verborgenen Zahlen-Code).
- Die besten KI-Modelle (wie GPT-4o und Claude) erreichten nahezu perfekte Werte, aber die schwächeren (wie Sabiá 3) schnitten sehr schlecht ab.
Das große Fazit
Das Paper kommt zu dem Schluss, dass diese KI-Modelle wie brillante Papageien sind. Sie können menschliche Konversationen imitieren und Standardprobleme perfekt lösen. Wenn man sie jedoch bittet, über den Tellerrand hinauszuschauen, ein seltsames Muster zu erkennen oder zu merken, dass eine Frage eine Fangfrage ist, stolpern sie oft.
- Menschen sind besser in der „fluiden Intelligenz“ – also darin, neue Regeln spontan zu erfassen.
- KIs sind besser in der „kristallisierten Intelligenz“ – also darin, die riesige Menge an Daten zu nutzen, die sie bereits auswendig gelernt haben.
Die Studie zeigt, dass die KI zwar erschreckend gut darin wird, zu kommunizieren, aber die Kunst des Denkens, wie ein Mensch es tut, noch nicht ganz beherrscht – besonders dann, wenn die Regeln des Spiels verborgen oder ungewöhnlich sind. Die KI ist immer noch hauptsächlich dabei, basierend auf dem, was sie zuvor gesehen hat, zu raten, anstatt die Logik hinter dem Rätsel wirklich zu verstehen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.