GEB-Bench: Abstract Structures Told in Many Voices

Der große Gestaltwandler-Test

Stellen Sie sich vor, Sie blicken auf ein Flussdelta, das sich in den Ozean ausbreitet. Stellen Sie sich nun vor, Sie blicken auf einen gezackten Blitz, der in den Himmel einschlägt. Für einen Menschen sehen diese völlig unterschiedlich aus: Das eine ist Wasser und Sand, das andere ist Feuer und Luft. Aber wenn Sie die Augen zusammenkneifen und auf die Form der Verzweigungen achten, werden Sie vielleicht erkennen, dass sie denselben geheimen Bauplan teilen. Beide folgen einem Muster des Aufspaltens und Ausbreitens, das Mathematiker als „Fraktal“ oder eine spezifische Art von Verzweigungsstruktur bezeichnen. Diese Fähigkeit, das unsichtbare Skelett unter der chaotischen Oberfläche zu sehen, nennen wir abstraktes Denken. Es ist die Superkraft, die uns verstehen lässt, dass eine Geschichte über einen König und eine Geschichte über ein Computerprogramm beide von „Macht“ handeln können, auch wenn die Worte völlig unterschiedlich sind.

Lange Zeit haben sich Wissenschaftler gefragt, ob künstliche Intelligenz (KI) über diese Superkraft verfügt. Wir haben Modelle gebaut, die eine Katze auf einem Foto benennen oder ein Gedicht über den Mond schreiben können, aber können sie tatsächlich die tiefen, verborgenen Strukturen erkennen, die einen Fluss, eine Geschichte, eine mathematische Gleichung und einen Computercode miteinander verbinden? Das ist die große Frage. Wenn eine KI dies nicht kann, ist sie nur ein sehr schöner Papagei, der Muster nachahmt, ohne das „Warum“ oder das „Wie“ dahinter zu verstehen. Es ist, als hätte man einen Roboter, der das Rezept für einen Kuchen rezitieren kann, aber nicht versteht, was „Backen“ eigentlich bedeutet.

Die „Viele Stimmen“-Herausforderung

Hier kommt GEB-BENCH ins Spiel, ein neuer, kniffliger Test, der darauf ausgelegt ist, zu prüfen, ob KI-Modelle diese verborgenen Formen erkennen können. Die Schöpfer haben ihn nach einem berühmten Buch namens Gödel, Escher, Bach benannt, in dem es darum geht, wie dieselben seltsamen, kreisförmigen Ideen in der Mathematik, der Kunst und der Musik auftauchen. Der Test basiert auf einer einfachen, aber hinterlistigen Idee: Man nehme eine einzige abstrakte Form (wie eine Schleife, eine Spirale oder ein Spiegelbild) und erzähle dieselbe Geschichte über sie in vier völlig unterschiedlichen „Stimmen“.

Stellen Sie sich das wie ein Spiel des „Stille Post“ vor, bei dem man jedoch statt einer Nachricht eine Form übersetzt.

1. Die Szenen-Stimme: Ein Bild eines natürlichen Objekts, wie einer Nautilus-Schale oder eines Flussdeltas, bei dem die Form in der Komposition verborgen ist.
2. Die Geschichten-Stimme: Eine kurze Volkssage, in der die Form in der Art und Weise erzählt wird, wie die Geschichte erzählt wird. Zum Beispiel könnte die Geschichte ein „Krebskanon“ sein, bei dem die zweite Hälfte der Geschichte die erste Hälfte ist, die rückwärts gelesen wird, Wort für Wort.
3. Die Mathematik-Stimme: Ein sauberes, präzises mathematisches Theorem, das die Form mithilfe von Symbolen beschreibt.
4. Die Skelett-Stimme: Eine minimalistische Strichzeichnung, wie etwa ein Drahtgittermodell, das die Form ohne jegliche Details zeigt.

Der Haken dabei? Die Testmacher haben allen „Ballast“ entfernt. Sie haben sichergestellt, dass das Flussdelta und der Blitz keine gemeinsamen Farben oder Texturen besitzen. Sie haben sichergestellt, dass die Geschichten nicht dieselben Wörter verwenden. Das Einzige, was zählt, ist die unsichtbare Struktur. Die KI muss ein Bild eines Flusses betrachten und sagen: „Ah, das ist dieselbe Form wie jenes mathematische Theorem!“ oder „Diese Geschichte erzählt denselben strukturellen Witz wie jene Strichzeichnung.“

Die Erkenntnisse: Die „Steuer“ der Übersetzung

Die Forscher testeten 37 verschiedene KI-Modelle, von den winzigen Open-Source-Modellen bis hin zu den massiven, hochintelligenten „Frontier“-Modellen großer Technologieunternehmen. Sie fanden etwas Faszinierendes und zugleich Enttäuschendes heraus: KI ist gut darin, eine Form in einer Stimme zu erkennen, aber schlecht darin, sie auf eine andere Stimme zu übertragen.

Stellen Sie sich vor, Sie können einen Freund sehr gut erkennen, wenn er seine Lieblingsjacke in Rot trägt (die „Mathematik-Stimme“). Aber wenn derselbe Freund plötzlich in einem Clownskostüm (die „Geschichten-Stimme“) oder einem Tarnanzug (die „Szenen-Stimme“) auftaucht, erkennen Sie ihn vielleicht überhaupt nicht mehr. Die KI-Modelle konnten die Form oft identifizieren, wenn sie als saubere mathematische Gleichung oder einfache Strichzeichnung präsentiert wurde. Doch in dem Moment, in dem sie diese Form in eine natürliche Szene oder eine Volkssage übersetzen mussten, brach ihre Leistung drastisch ein.

Das Paper nennt dies die „Mapping-Steuer“ (Translation Tax). Jedes Modell, egal wie intelligent, muss diese Steuer zahlen. Selbst die fortschrittlichsten Modelle, die normalerweise als die „Frontier“ der KI gelten, haben Schwierigkeiten, die Verbindung zwischen einem Bild und einer Geschichte herzustellen. Die Studie ergab, dass diese Modelle die Form in der Mathematik-Stimme etwa 8in 86 % der Fälle erkennen konnten, ihre Fähigkeit, dieselbe Form mit der Geschichten-Stimme zu verknüpfen, jedoch auf etwa 44 % sank. Es ist eine riesige Lücke.

Die Falle der „Formalen Geometrie“

Hier ist der wirklich verrückte Teil: Die KI rät nicht einfach nur zufällig. Wenn sie Fehler machte, folgten diese einem logischen Muster. Das Paper nennt dies „formale Geometrie“.

Stellen Sie sich vor, Sie versuchen, zwischen einer „Schleife“ (einem Kreis) und einer „seltsamen Schleife“ (einem Kreis, der sich auf verwirrende Weise in sich selbst zurückdreht) zu unterscheiden. Die KI-Modelle verwechselten diese beiden oft. Sie verwechselten sie nicht, weil die Bilder ähnlich aussahen; sie verwechselten sie, weil die mathematischen Regeln, die diese beiden Formen definieren, Nachbarn sind. Es ist, als würde man Autofahren lernen und ständig ein „Stoppschild“ mit einem „Vorfahrt gewähren“-Schild verwechseln, weil beide rote Achtecke sind, obwohl die Regeln für die Nutzung unterschiedlich sind.

Die Studie zeigte, dass die Fehler der KI eher auf diesen mathematischen Regeln basierten als auf der tatsächlichen visuellen Erscheinung für einen Menschen. Wenn man der KI ein Bild zeigte, das wie eine „seltsame Schleife“ aussah, bezeichnete sie es oft als „Schleife“, weil diese beiden Konzepte in der Welt der Mathematik direkt nebeneinander liegen. Dies deutet darauf hin, dass die KI nicht einfach nur das Bild „sieht“, sondern versucht, es mit einer Bibliothek mathematischer Konzepte abzugleichen, sich dabei aber an den Details verrennt.

Das „Oberflächen“-Problem

Die Forscher fanden auch heraus, dass das „Rauschen“ der realen Welt die Dinge schwieriger macht. Sie testeten die Modelle mit Bildern, die von einer einfachen Strichzeichnung (sehr sauber) bis hin zu einem unordentlichen, realistischen Foto (sehr chaotisch) reichten. Je realistischer und „rauschiger“ die Bilder wurden, desto schlechter wurde die Leistung der KI.

Es ist, als versuche man, eine Melodie in einem ruhigen Raum zu hören im Vergleich zu einem lauten, überfüllten Konzert. Die KI kann die Melodie (die Struktur) im ruhigen Raum hören, aber der Umgebungslärm (die Oberflächendetails des Fotos) übertönt sie. Die Studie ergab, dass ein größeres, leistungsfähigeres Modell die KI nicht immun gegen dieses Rauschen machte; es gab ihr lediglich etwas mehr „Spielraum“, um mit dem Chaos umzugehen. Es löste das Problem nicht, es verzögerte nur den Absturz.

Das Fazit

Die wichtigste Erkenntnis aus diesem Paper ist, dass das Erkennen einer Struktur und das Übersetzen dieser Struktur in verschiedene Welten zwei unterschiedliche Fähigkeiten sind. Die KI-Modelle, die wir heute haben, werden sehr gut darin, Strukturen zu erkennen, wenn sie klar präsentiert werden (wie in der Mathematik oder in einfachen Diagrammen). Aber sie haben immer noch Schwierigkeiten, dieses Verständnis zu erlangen und auf die unordentliche, komplexe und vielfältige Welt natürlicher Szenen und Geschichten anzuwenden.

Das Paper sagt nicht, dass die KI „kaputt“ ist oder dass sie es niemals lernen wird. Es sagt lediglich, dass es im Moment eine spezifische, messbare Lücke gibt. Die Modelle können die Form im Mathematikbuch sehen, aber sie können dieselbe Form noch nicht im Flussdelta oder in der Volkssage erkennen. Und bis sie diese Lücke überbrücken können, fehlt ihnen der wahre „Aha!“-Moment des abstrakten Denkens – die Fähigkeit zu erkennen, dass der Fluss, die Geschichte und die Mathematik alle dasselbe Lied singen, nur in unterschiedlichen Stimmen.