GPT-4o reads the mind in the eyes
Diese Studie zeigt auf, dass GPT-4o Menschen bei der Inferenz mentaler Zustände aus aufrechten Gesichtern übertrifft, jedoch bei invertierten Gesichtern unterperformt und eine ethnische Voreingenommenheit aufweist, was eine komplexe Mischung aus menschenähnlichen kognitiven Signaturen und distinkten, systematischen Verarbeitungsunterschieden im Vergleich zur menschlichen Kognition demonstriert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die große Idee: Kann eine KI einen Raum „lesen“?
Stellen Sie sich vor, Sie sind auf einer Party. Sie blicken jemandem in die Augen und wissen sofort, ob die Person gelangweilt, ängstlich oder heimlich amüsiert ist. Menschen sind Experten darin; wir können „Gedanken lesen“, nur indem wir in die Augen schauen.
Diese Arbeit stellt eine einfache Frage: Kann ein superintelligenter Computer (GPT-4o) dasselbe tun?
Die Forscher haben die KI nicht einfach nur raten lassen; sie unterzogen sie einem strengen Test namens „Reading the Mind in the Eyes Test“. Sie zeigten der KI und einer Gruppe von Menschen Bilder von Augen und fragten: „Was fühlt diese Person?“ Die Antworten mussten aus einer Liste von vier Wörtern gewählt werden (z. B. Ängstlich, Selbstbewusst, Sarkastisch, Gelangweilt).
Das Experiment: Der Auf-dem-Kopf-Trick
Um zu sehen, wie die KI und die Menschen dachten, nutzten die Forscher einen klassischen Trick: Sie zeigten die Bilder auf dem Kopf stehend.
- Die menschliche Reaktion: Wenn Menschen Gesichter auf dem Kopf stehend sehen, ist das so, als würde man versuchen, ein Buch in einer fremden Sprache zu lesen, die man kaum beherrscht. Es ist schwieriger, und wir machen mehr Fehler. Aber wir nutzen immer noch dasselbe „mentale Wörterbuch“, um die Emotion zu erraten.
- Die KI-Reaktion: Die KI war tatsächlich besser als Menschen darin, die Augen zu lesen, wenn die Gesichter richtig herum waren. Doch als die Gesichter auf den Kopf gestellt wurden, war die KI nicht nur ein wenig verwirrt; sie verlor völlig die Orientierung. Ihre Genauigkeit stürzte ab und fiel unter das Niveau, das man bei reinem Raten erwarten würde.
Die Analogie: Stellen Sie sich einen Menschen und einen Roboter vor, die versuchen, ein Puzzle zu lösen.
- Richtiger Orientierung: Der Roboter ist ein Genie und löst das Puzzle schneller und präziser als der Mensch.
- Auf dem Kopf stehend: Der Mensch dreht das Puzzle einfach in seinen Händen um und macht weiter. Der Roboter hingegen scheint völlig vergessen zu haben, wie Puzzles funktionieren, und beginnt, die Teile gegen die Wand zu werfen.
Das „Bias“-Problem: Sehen, was man erwartet
Die Forscher testeten die KI auch mit Gesichtern unterschiedlicher Ethnien (weiß und nicht-weiß).
- Menschen: In dieser Studie waren Menschen gleichermaßen gut darin, die Augen von Menschen aus allen ethnischen Hintergründen zu lesen.
- Die KI: Die KI war deutlich besser darin, die Augen weißer Gesichter zu lesen als die von nicht-weißen Gesichtern. Es ist, als hätte die KI eine „Lieblingsgruppe“, die sie besser versteht – wahrscheinlich, weil sie mit mehr Daten trainiert wurde, die diese Gesichter zeigen.
Die „Fehler“-Detektivarbeit: Wie sie falsch lagen
Der faszinierendste Teil der Studie war nicht nur, wer die richtige Antwort gab, sondern wie sie die falsche Antwort gaben.
Betrachten Sie Fehler wie Fußabdrücke im Schnee.
- Menschliche Fußabdrücke: Wenn Menschen einen Fehler machen, sind ihre Fußabdrücke etwas verstreut. Wenn sie statt „Ängstlich“ mit „Wütend“ raten, raten sie beim nächsten Mal vielleicht mit „Glücklich“. Ihre Fehler sind in gewissem Maße zufällig und ändern sich je nach Situation.
- KI-Fußabdrücke: Die Fußabdrücke der KI waren unglaublich konsistent. Wenn sie einen Fehler machte, machte sie exakt denselben Fehler jedes einzelnen Mal.
- Die Wendung: Als die Gesichter auf dem Kopf standen, erzeugte die KI nicht einfach nur zufällige Fußabdrücke. Sie entwickelte ein völlig neues, starres Fehlermuster, das sich grundlegend von der Art und Weise unterschied, wie sie Fehler bei richtig herum stehenden Gesichtern machte.
Das Fazate: Menschen ändern ihre Effizienz, wenn es schwierig wird (auf dem Kopf stehend), aber sie nutzen dieselbe Logik. Die KI hingegen scheint zu einer völlig anderen, fehlerhaften Logik zu wechseln, wenn es schwierig wird.
Die „Information“ in Fehlern
Die Forscher nutzten ein mathematisches Konzept der „Informationstheorie“, um diese Fehler zu analysieren. Sie fanden heraus, dass die Fehler der KI tatsächlich mehr Information enthielten als die Fehler der Menschen.
Die Analogie:
- Menschlicher Fehler: Wie ein Schüler, der bei einer Prüfung wahllos rät. Ihre falschen Antworten sagen nichts darüber aus, was sie gedacht haben.
- KI-Fehler: Wie ein Schüler, der konsequent „Katze“ mit „Hund“ verwechselt, aber niemals „Katze“ mit „Auto“. Obwohl er falsch liegt, verrät sein Muster genau, wie sein Gehirn (oder sein Code) Ideen miteinander verknüpft. Die KI hat nicht einfach nur geraten; sie wandte konsequent ein spezifisches, wenn auch falsches Regelwerk an.
Zusammenfassung der Ergebnisse
- Übermenschlich (aber zerbrechlich): GPT-4o ist unglaublich gut darin, Emotionen aus den Augen zu lesen, wenn die Bedingungen normal sind, und übertrifft dabei oft Menschen.
- Der Inversionseffekt: Wenn Gesichter auf dem Kopf stehen, bricht die Leistung der KI weitaus drastischer ein als die der Menschen.
- Ethnische Voreingenommenheit (Racial Bias): Die KI kann die Augen weißer Gesichter besser lesen als die von nicht-weißen Gesichtern, während die Menschen in dieser Studie keinen solchen Unterschied zeigten.
- Systematische Fehler: Die KI macht keine zufälligen Fehler. Sie macht hochgradig konsistente, strukturierte Fehler, die eine spezifische Art und Weise offenbaren, wie sie Informationen verarbeitet – eine Art, die sich grundlegend von der menschlichen Informationsverarbeitung unterscheidet, insbesondere wenn die Eingabe knifflig ist (wie bei auf dem Kopf stehenden Gesichtern).
Kurz gesagt: Die KI ist ein brillanter, aber starrer Schüler. Sie hat den „richtigen“ Weg, Gesichter zu lesen, aus ihren Trainingsdaten auswendig gelernt, aber wenn die Tests seltsam werden (auf dem Kopf stehend) oder die Gesichter anders aussehen (verschiedene Ethnien), passt sie sich nicht wie ein Mensch an; sie folgt einfach einem fehlerhaften Skript.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.