OEIS Open: How many conjectures can language models turn into theorems?
Dieses Paper stellt OEIS Open vor, einen sicheren Benchmark aus 492 formalisierten mathematischen Vermutungen aus der OEIS, der demonstriert, dass Sprachmodelle, die mit minimalen Werkzeugen ausgestattet sind, autonom etwa 30 % bis 44 % dieser offenen Probleme zu moderaten Kosten lösen können, obwohl der Zugriff auf umfangreiche Literatur und anspruchsvolle Agenten-Loops die Leistung nicht signifikant verbesserte.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine riesige, digitale Bibliothek voller Zahlen vor, die OEIS (die Online Encyclopedia of Integer Sequences). Es ist wie ein gigantischer Katalog, in dem Mathematiker die Muster auflisten, die sie gefunden haben, von den einfachen (wie 1, 2, 4, 8...) bis hin zu den bizarren und mysteriösen. Oft, nachdem jemand ein solches Muster aufgeführt hat, schreibt die Person eine Vermutung darüber auf, wie es ewig funktionieren wird. Diese Vermutungen werden als „Konjekturen“ bezeichnet. Lange Zeit war das Beweisen dieser Vermutungen eine Aufgabe, die nur menschlichen Genies mit Kreidetafeln und unendlicher Geduld vorbehalten war. Aber vor kurzem haben angefangen auch Computer, diese Rätsel zu lösen. Die große Frage ist: Kann eine künstliche Intelligenz (KI) die Wahrheit eigenständig herausfinden, oder braucht sie einfach nur einen Menschen, der ihr an die Hand führt? Dieses Paper taucht in diese Frage ein, indem es einen strengen Test aufbaut, bei dem KI-Agenten verpflichtet sind, diese Zahlenvermutungen zu beweisen oder zu widerlegen, ohne unbefugte Methoden oder menschliche Anstöße zu nutzen.
Die Forscher hinter dieser Studie, eine Gruppe namens Epoch AI, haben eine neue Herausforderung namens OEIS OPEN erschaffen. Denken Sie an einen riesigen mathematischen Hindernisparcours. Sie nahmen 492 offene mathematische Vermutungen aus der OEIS und übersetzten sie in eine strikte Computersprache namens Lean, die wie ein superstrenger Schiedsrichter fungiert. In diesem Spiel wird ein KI-Agent in einen digitalen Raum geworfen, mit ein paar grundlegenden Werkzeugen: einem Texteditor, einer Kommandozeile (wie einem Computerterminal) und einem Taschenrechner. Das einzige Ziel der KI ist es, einen Beweis zu schreiben, den der Computer-Schiedsrichter akzeptiert. Wenn die KI nicht beweisen kann, dass die Vermutung wahr ist, muss sie beweisen, dass sie falsch ist. Der Haken dabei? Die KI hat ein striktes Budget von 50 $ pro Vermutung, um Computerzeit zu verbringen. Wenn sie das Geld aufgebraucht hat, bevor sie es gelöst hat, verliert sie.
Die Ergebnisse waren überraschend vielversprechend. Die besten KI-Modelle schafften es, 147 der 492 Vermutungen zu lösen, was etwa 30 % auf dem Test entspricht. Das bedeutet, sie haben fast ein Drittel dieser offenen Mysterien ganz allein in bestätigte Theoreme (oder Widerlegungen) verwandelt. Das erfolgreichste Modell, Claude Opus 4.8, löste 30 % davon, während andere wie GPT-5.5 und Gemini 3.5 Flash ebenfalls gut abschnitten und jeweils 26 % bzw. 22 % lösten. Dies ist eine große Sache, weil die Forscher ein sehr einfaches KI-Setup verwendeten – nur eine einfache Schleife, die versucht, prüft und wieder versucht. Es war kein fancy, superkomplexer Roboter mit einem riesigen Team von menschlichen Helfern. Tatsächlich schnitt dieser einfache Ansatz sogar besser ab als ein viel komplizierteres System namens AlphaProof Nexus, das nur 9 % derselben Probleme löste.
Die Forscher testeten auch einige „Power-ups“, um zu sehen, ob sie der KI helfen würden, schlauer zu werden. Sie gaben der KI Zugang zu einer massiven Bibliothek von 476.000 mathematischen Papieren aus dem Internet (arXiv), in der Hoffnung, dass sie aus vergangener menschlicher Arbeit lernen könnte. Sie versuchten auch, der KI ein komplexeres „Gehirn“ zu geben, das Aufgaben an Sub-Agenten delegieren und Dinge über einen langen Zeitraum speichern kann. Überraschenderweise halfen keine dieser Upgrades. Die KI löste mit der Bibliothek keine weiteren Vermutungen, und das komplexe Gehirn machte sie weder schneller noch genauer. Es scheint, dass für diese spezifische Art von mathematischem Problem ein einfacher, fokussierter Werkzeugsatz und ein gutes Budget wichtiger sind als eine massive Bibliothek oder eine komplizierte Persönlichkeit.
Ein interessanter Befund war, dass die Erfolgschance der KI stieg, je mehr Geld die Forscher bereit waren, für eine einzelne Vermutung auszugeben. Die Erfolgsrate stieg auf eine stetige, vorhersehbare Weise an: Für jedes Mal, wenn sie das Budget um zehn erhöhten, sprang die Erfolgsrate um etwa zehn Prozentpunkte. Dies deutet darauf-hin, dass die KI noch mehr gelöst hätte, wenn man ihnen ein größeres Budget gegeben hätte. Das Paper weist jedoch vorsichtig darauf hin, dass diese Vermutungen, obwohl mathematisch valide, hauptsächlich „Unbekannte“ in der Welt der Mathematik sind. Es handelt sich nicht um berühmte, weltverändernde Probleme wie die Riemannsche Vermutung; es sind wahrscheinlich kleine, obskure Rätsel, die von menschlichen Mathematikern nicht viel Aufmerksamkeit erhalten haben.
Was bedeutet das also alles? Das Paper zeigt, dass KI nun in der Lage ist, autonom echte, offene mathematische Forschungsprobleme zu einem moderaten Preis zu lösen. Sie löst nicht mehr nur Rätsel mit bekannten Antworten; sie verschiebt die Grenze des Wissens. Aber es zeigt auch Grenzen auf: Die KI wurde nicht schlauer, indem sie mehr Bücher las, und sie kämpft immer noch mit den schwierigsten, obskursten Problemen. Die Forscher kommen zu dem Schluss, dass wir zwar keinen „qualitativen Sprung“ erleben, bei dem die KI über Nacht zu einem genialen Mathematiker wird, aber wir sehen ein stetiges, kraftvolles Werkzeug, das in der Lage ist, das Unbekannte Stück für Stück zu erarbeiten, eine Zahlensequenz nach der anderen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.