Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, ein Mathematiker zu sein. Sie wollen nicht nur, dass er über Zahlen plaudert; Sie wollen, dass er den eigentlichen Code schreibt, der ein Rätsel löst. Dies ist die Welt der kombinatorischen Code-Synthese. Denken Sie bei „Kombinatorik“ an die Lehre davon, wie Dinge angeordnet, gemischt oder gezählt werden können – wie etwa herauszufinden, auf wie viele Arten man Blöcke stapeln, ein Kartendeck mischen oder eine Landkarte einfärben kann, ohne dass zwei angrenzende Flächen dieselbe Farbe haben. „Code-Synthese“ ist schlichtweg der Akt, bei dem eine KI ein Computerprogramm schreibt, um diese Mathematik auszuführen.

Lange Zeit haben wir KIs bei allgemeinen Programmieraufgaben getestet, wie etwa „Schreibe eine Funktion, um eine Liste von Namen zu sortieren“ oder „Behebe diesen Fehler auf einer Website“. Aber diese Tests sind ein wenig so, als würde man einen Koch fragen, Zwiebeln zu hacken; sie zeigen zwar, ob der Koch weiß, wie man ein Messer hält, aber nicht, ob er ein neues Rezept von Grund auf erfinden kann. Diese Arbeit stellt eine schwierigere Frage: Wenn man einer KI eine strikte, abstrakte mathematische Regel und ein paar Beispiele gibt, kann sie dann ein perfektes Programm schreiben, das dieser Regel für jeden möglichen Input folgt, selbst für solche, die sie noch nie gesehen hat? Es ist der Unterschied zwischen einem Roboter, der ein Rezept befolgen kann, und einem Robotern, der die Chemie des Kochens so gut versteht, dass er ein Gericht erfindet, das es so noch nie gegeben hat.

Die große Mathe-Code-Herausforderung: FindStatBench

Hier kommt FindStatBench ins Spiel, ein neuer, extrem anspruchsvoller Trainingsplatz für KI-Modelle. Erstellt von Forschern der Scale AI, ist dieser Benchmark darauf ausgelegt, Large Language Models (LLMs) unter Stress zu setzen, indem er ihre Fähigkeit prüft, rein mathematische Beschreibungen in funktionierenden Python-Code zu verwandeln. Anstatt die KI zu bitten, ein einfaches Skript zu schreiben, gaben die Forscher ihr 2.329 verschiedene mathematische Rätsel. Diese Rätsel stammen aus einer realen Datenbank namens FindStat, die wie eine Bibliothek von „mathematischen Rezepten“ für Dinge wie Permutationen (das Mischen von Listen), Graphen (Netzwerke aus Punkten und Linien) und Partitionen (das Zerlegen von Zahlen in Summen) fungiert.

Die Regeln des Spiels waren streng und „Closed-Book“. Die KI erhielt eine Beschreibung eines mathematischen Problems und bis zu fünf Beispiele für Eingaben und Ausgaben. Sie musste eine einzige Python-Funktion namens solve(obj) schreiben, die jedes beliebige Objekt verarbeiten konnte, nicht nur die Beispiele, die sie sah. Die KI konnte keinen Taschenrechner benutzen, nicht im Internet suchen oder um Hilfe bitten. Sie musste es beim ersten Versuch richtig machen. Um sicherzustellen, dass die KI die Antworten nicht einfach nur auswendig lernte, testeten die Forscher den Code gegen 5,52 Millionen verborgene Testfälle – Millionen von mathematischen Problemen, die die KI noch nie zuvor gesehen hatte. Wenn der Code auch nur bei einem einzigen dieser verborgenen Tests scheiterte, wurde er als falsch markiert.

Die Ergebnisse: Ein überraschendes Unentschieden und ein paar seltsame Fehler

Als sich der Staub gelegt hatte, waren die Ergebnisse faszinierend und ein wenig kontraintuitiv.

1. Die „großen“ und „kleinen“ Modelle liegen Kopf an Kopf
Man würde erwarten, dass die teuersten, leistungsstärksten „Closed-Source“-Modelle (diejenigen, für deren Nutzung man großen Unternehmen Geld bezahlen muss) die Open-Source-Modelle (diejenigen, die jeder herunterladen und ausführen kann) deklassieren würden. Aber in dieser mathematisch geprägten Arena taten sie das nicht. Das beste Open-Source-Modell, gpt-oss-120b, schnitt fast exakt so gut ab wie das beste Closed-Source-Modell, Claude Sonnet 4.6. Sie waren durch weniger als 1 Prozentpunkt getrennt. Es ist wie bei zwei Läufern bei einem Marathon: Einer wird von einem riesigen Konzern gesponsert und hat ein schickes Team, der andere ist ein lokaler Held mit einem handgemachten Schuh. Beide überquerten die Ziellinie zur exakt gleichen Zeit.

Noch überraschender war, dass selbst wenn man die besten Antworten aus allen elf getesteten Modellen kombinierte, man die Gesamtpunktzahl nur um etwa 10 % verbesserte. Dies deutologisiert, dass alle diese Modelle gegen eine ähnliche „Leistungsobergrenze“ stoßen. Sie alle kämpfen mit denselben schwierigen Teilen des Puzzles.

2. Mehr Beispiele können die Sache tatsächlich verschlechtern
Hier wird es seltsam. In den meisten KI-Tests hilft es dem Modell zu lernen, wenn man ihm mehr Beispiele gibt. Aber bei FindStatBench passierte bei bestimmten Arten von mathematischen Rätseln, den sogenannten „Bijektionen“ (komplizierte Wege, um „perfekte Übereinstimmungsregeln“ zu beschreiben), Folgendes: Die Gabe von fünf Beispielen verschlechterte die Leistung sogar im Vergleich dazu, wenn man null Beispiele gegeben hätte.

Stellen Sie sich vor, Sie bringen einem Schüler das Falten eines Origami-Kranichs bei. Wenn Sie einfach nur sagen: „Falte das Papier auf diese Weise“, erinnert er sich vielleicht an die klassische, perfekte Faltung. Aber wenn Sie ihm fünf Beispiele zeigen, bei denen jemand eine etwas unordentliche Faltung gemacht hat, könnte der Schüler verwirrt werden und versuchen, die unordentlichen Faltungen zu kopieren, wodurch er die perfekte Regel vergisst. Das Paper stellte fest, dass bei einigen klassischen mathematischen Regeln die Beispiele das interne Wissen der KI „verdrängten“, was dazu führte, dass sie fehlerhaften Code schrieb, der selbst den gezeigten Beispielen nicht standhielt. Es ist ein Fall von „zu viel Information, zu wenig Verständnis“.

3. Die „Denk“-Falle
Ein weiterer wichtiger Befund war, dass einige Modelle, insbesondere jene, die darauf ausgelegt sind, erst zu „denken“, bevor sie sprechen, oft den Platz ausgehen konnte. Diese Modelle haben ein Limit für die Menge an Text, den sie generieren können. Manchmal verbrachten sie ihr gesamtes „Budget“ damit, ihren internen Denkprozess aufzuschreiben, und kamen nie dazu, den eigentlichen Code zu schreiben. Es ist wie ein Schüler, der die gesamte Prüfungszeit damit verbringt, ein Tagebuch darüber zu schreiben, wie schwer der Test ist, und dann keine Zeit mehr hat, die Aufgaben tatsächlich zu lösen. Die Forscher fanden heraus, dass es viele dieser Fehler behob, wenn man diesen Modellen einfach mehr Platz gab, um ihre Gedanken (und den Code) aufzuschreiben.

4. Das Schwierige bleibt schwierig
Während die KI bei einigen Aufgaben recht gut wurde (wie etwa beim Zählen von Dingen oder beim Arbeiten mit einfachen Formen), versagte sie bei anderen völlig. Bei Aufgaben, die „Mengenpartitionen“ (das Gruppieren von Elementen auf jede mögliche Weise) und „binäre Bäume“ (hierarchische Strukturen) beinhalteten, lag die Genauigkeit für jedes Modell, egal ob Open Source oder Closed Source, nahe Null. Es scheint, dass diese spezifischen Arten von strukturellen Rätseln, ungeachtet der Größe oder des Preises des Modells, derzeit jenseits ihrer Reichweite liegen.

Was das bedeutet

Das Paper kommt zu dem Schluss, dass KIs zwar sehr gut darin werden, „plausiblen“ mathematischen Code zu schreiben, aber immer noch fragil sind, wenn es um exakte, symbolische Regeln geht. Die Modelle können oft die richtige Antwort erraten, aber sie haben Schwierigkeiten, konsistent die perfekte Logik für komplexe Strukturen abzuleiten.

Die wichtigste Erkenntnis? Kosten bedeuten nicht immer Leistungsfähigkeit. In diesem speziellen Test war ein günstigeres Open-Source-Modell genauso leistungsfähig wie die teuersten, proprietären Modelle. Und manchmal hilft es nicht, einer KI mehr Beispiele oder mehr „Denkzeit“ zu geben – es kann sie sogar verwirren. Die Forscher legen nahe, dass KIs, um die Mathematik wirklich zu meistern, besser darin werden müssen, die Regeln des Spiels zu verstehen, anstatt nur die Spielzüge auswendig zu lernen. Vorerst ist die KI ein talentierter Lehrling, der Anweisungen gut befolgen kann, sich aber verliert, sobald er gebeten wird, eine neue Art der Geometrie zu erfinden.