💻 computer science

Human vs Machine Mathematical Difficulty on Project Euler: An Experimental Analysis

Diese Arbeit analysiert 3.840 Versuche von 26 KI-Modellen an 50 Project-Euler-Problemen, um zu zeigen, dass der maschinelle Aufwand sublinear zur menschlichen Schwierigkeit skaliert (was Vorhersagen über eine schlechtere Skalierung widerspricht), während die Erfolgswahrscheinlichkeit einem exponentiellen Zerfallsmodell folgt, wobei letztlich eine Verdopplungszeit von 75 Tagen für den Leistungs-Horizont des aktuellen Stands der Technik geschätzt wird.

Ursprüngliche Autoren: David Holmes, Johannes Schmitt

Veröffentlicht 2026-06-23

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: David Holmes, Johannes Schmitt

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Ein Wettlauf gegen die Zeit und die Komplexität

Stellen Sie sich Project Euler wie ein riesiges, öffentliches Fitnessstudio für mathematische Probleme vor. Menschen (und jetzt auch KI) melden sich an, um diese Rätsel zu lösen. Das Fitnessstudio führt eine Stoppuhr für die schnellsten Menschen und zeichnet genau auf, wie lange sie benötigen, um die richtige Antwort zu finden.

Die Autoren dieser Arbeit wollten eine einfache Frage beantworten: Werden KI-Systeme schlechter in einer schnelleren Rate als Menschen, wenn die mathematischen Probleme schwieriger werden?

Es gab eine Theorie (vorgeschlagen vom Mathematiker Timothy Gowers), die besagte, dass eine KI wie ein Sprinter wäre, der schnell ermüdet. Die Idee war: „Die KI ist schnell bei leichten Sprints, aber wenn das Rennen länger und härter wird, explodiert der Aufwand der KI und sie fällt gegenüber den Menschen zurück.“

Die Autoren testeten diese Theorie anhand von Daten aus 50 aktuellen Mathe-Problemen und 26 verschiedenen KI-Modellen. Hier ist, was sie herausfanden.

1. Der „Aufwand“-Test: Wird die KI schneller müde?

Die Theorie: Sie dachten, dass für jede Stunde, die ein Mensch braucht, um ein schweres Problem zu lösen, eine KI viel mehr als eine Stunde aufwenden müsste (gemessen am Rechenaufwand des Computers, ausgedrückt in „Tokens“ oder generierten Wörtern). Sie erwarteten, dass der Aufwand der KI bei steigender Schwierigkeit in die Höhe schießen würde.

Die Analogie: Stellen Sie sich einen Menschen und einen Roboter vor, die einen Berg besteigen.

Die Erwartung: Der Roboter ist unten am Berg großartig, aber je steiler der Hang wird, desto mehr Schritte muss der Roboter machen – etwa 100 Schritte für jeden Schritt, den der Mensch macht.
Die Realität: Die Autoren fanden das Gegenteil heraus. Bei den stärksten KI-Modellen wurde der Roboter im Verhältnis zum Menschen sogar effizienter, während der Berg steiler wurde.
- Wenn ein Mensch 1 Stunde braucht, um ein schweres Problem zu lösen, benötigt die KI vielleicht 2 Stunden Computerarbeit.
- Wenn ein Mensch 10 Stunden braucht, benötigt die KI vielleicht nur 15 Stunden Computerarbeit.
- Das Ergebnis: Die „Lücke“ wurde nicht größer; sie wurde sogar kleiner. Die KI skalierte bei diesen spezifischen Problemen besser als die Menschen. Die Autoren nennen diesen Befund $b < 1$ , was im Grunde bedeutet: „Die KI wird besser darin, mit Schwierigkeiten umzugehen, als wir erwartet haben.“

Warum? Die Autoren vermuten, dass diese mathematischen Probleme viele „Coding“- oder „Implementierungs“-Schritte enthalten. Menschen verbringen viel Zeit mit dem Tippen von Code und dem Debugging. Eine KI ist unglaublich schnell im Tippen und Debuggen. Selbst wenn die KI beim „Denken“ langsam ist, macht ihre Supergeschwindigkeit beim „Ausführen“ die Gesamtzeit sehr effizient.

2. Der „Zuverlässigkeits“-Test: Gibt die KI einfach auf?

Die Theorie: Während die KI vielleicht effizient ist, könnte sie vielleicht einfach verwirrt werden und häufiger scheitern, wenn es schwierig wird. Die Autoren testeten, ob die Erfolgsquote in einer vorhersehbaren Weise sinkt.

Die Analogie: Stellen Sie sich vor, Sie gehen durch einen dunklen Wald.

Die Theorie: Jeder Schritt, den Sie machen, birgt eine kleine, konstante Chance, dass Sie stolpern und hinfallen. Je länger der Pfad (je schwerer das Problem), desto wahrscheinlicher ist es, dass Sie stolpern.
Die Realität: Die Daten passten perfekt zu diesem Modell. Die Erfolgsquote der KI sank in einer glatten, vorhersehbaren Kurve.
- Wenn ein Problem 1 Stunde menschliche Zeit erfordert, hat die KI vielleicht eine Erfolgsquote von 90 %.
- Wenn ein Problem 4 Stunden menschliche Zeit erfordert, sinkt die Erfolgsquote der KI auf etwa 50 %.
- Das Ergebnis: Die KI scheitert nicht, weil sie „Energie verliert“ oder „in die falsche Richtung sucht“. Sie scheitert, weil sie über längere Zeiträume unzuverlässig ist. Es ist wie ein Läufer, der zwar schnell ist, aber immer wieder über seine eigenen Schnürsenkel stolpert, wenn das Rennen zu lange dauert.

3. Der „Horizont“-Test: Wie lange kann die KI durchhalten?

Die Autoren berechneten einen „50%-Horizont“ ( $h_{50}$ ). Dies ist der Punkt, an dem die KI eine 50/50-Chance hat, das Problem zu lösen.

Der Befund: Die besten KI-Modelle in dieser Studie erreichten den 50%-Erfolgsmark bei einer menschlichen Zeit von etwa 2,5 bis 4,3 Stunden.
Die Metapher: Betrachten Sie die KI als eine Taschenlampe. Sie leuchtet eine Zeit lang hell, aber wenn der Mensch 10 Stunden wandern muss, um ein Problem zu lösen, ist das Licht der KI (ihre Fähigkeit, auf dem richtigen Weg zu bleiben) bereits nach der 4. Stunde erloschen.
Der Trend: Die Autoren verfolgten, wie schnell diese „Taschenlampen“ heller werden. Sie fanden heraus, dass die beste KI ihre „Ausdauer“ in einer Rate verbessert, bei der sie ihre Leistungsfähigkeit etwa alle 75 Tage verdoppelt.

4. Der „Agent“-Twist: Ein Team für die KI

Die Arbeit untersuchte auch „agentische“ Modelle. Das sind KIs, die nicht nur einmal antworten, sondern Werkzeuge erhalten, um das Problem zu zerlegen, es erneut zu versuchen und ihre Arbeit zu überprüfen (wie ein Mensch, der einen Taschenrechner und einen Notizblock benutzt).

Das Ergebnis: Diese „KI-Teams“ konnten Probleme lösen, die Menschen länger Zeit raubten (bis zu 1,7 Stunden menschliche Zeit für den 50%-Mark, verglichen mit 0,3 Stunden für die Basis-KI).
Der Haken: Selbst mit diesen Werkzeugen konnten sie die sehr schwersten Probleme, die Top-Menschen in über 10 Stunden lösen, nicht bewältigen. Sie haben lediglich die „Ausdauergrenze“ ein Stück weiter nach hinten verschoben.

Zusammenfassung: Was bedeutet das?

Die Arbeit kommt zu dem Schluss, dass die alte Angst – dass die KI einfach „aus dem Sprit geht“ und ineffizient wird, wenn Probleme schwieriger werden – für diese spezifischen mathematischen Rätsel nicht wahr ist.

Effizienz: Die KI ist bei diesen Aufgaben tatsächlich effizienter als Menschen, wenn sie schwieriger werden.
Das eigentliche Problem: Der Flaschenhals ist nicht die Effizienz, sondern die Zuverlässigkeit. Die KI kann die Arbeit zwar erledigen, aber sie neigt dazu, Fehler zu machen und den Faden zu verlieren, wenn die Aufgabe zu lange dauert.
Die Grenze: Derzeit kann die beste KI Probleme zuverlässig bewältigen, die einen Menschen etwa 4 Stunden kosten würden. Alles, was darüber hinausgeht, fängt die KI an zu raten und scheitert.

Kurz gesagt: Die KI wird nicht müde; sie wird nur abgelenkt. Sie ist ein brillanter, schneller Arbeiter, der eine sehr kurze, fokussierte Aufgabe benötigt, um erfolgreich zu sein. Wenn man ihr ein langes, komplexes Projekt gibt, wird sie wahrscheinlich über ihre eigenen Schnürsenkel stolpern, bevor sie fertig ist.

Technisches Resümee: Menschliche vs. maschinelle mathematische Schwierigkeit auf Project Euler

Problemstellung
Dieses Paper untersucht, wie die Anstrengung und die Erfolgswahrscheinlichkeit von Frontier-KI-Systemen relativ zur menschlichen Schwierigkeit bei computergestützten Mathematikproblemen skalieren. Motiviert durch einen Vorschlag von Timothy Gowers bezüglich der Skalierung von Beweissuchalgorithmen, versuchen die Autoren zu bestimmen, ob KI-Systeme schlechter als Menschen skalieren, wenn die Aufgabenkomplexität zunimmt. Speziell testen sie die Hypothese, dass Maschinen zwar bei einfachen Aufgaben schneller sein mögen, ihre erwartete Laufzeit jedoch wesentlich schneller wächst als die von menschlichen Mathematikern, wenn die Komplexität des Problems (gemessen an der Beweislänge oder dem Lösungspfad) steigt. Die Studie nutzt Project Euler, eine Plattform für computergestützte Mathematikprobleme, auf der menschliche Lösungszeiten öffentlich dokumentiert sind, sowie den MathArena-Benchmark, der umfangreiche KI-Versuchsdaten über 50 aktuelle Probleme (943–992) und 26 Modellkonfigurationen bereitstellt.

Methodik
Die Autoren operationalisieren „menschliche Schwierigkeit“ ( $t_{human}$ ) als das geometrische Mittel der fünf schnellsten aufgezeichneten menschlichen Lösungszeiten für jedes Problem, was als Proxy für die kontinuierliche Arbeitszeit starker Menschen dient. „Maschinelle Anstrengung“ ( $t_{machine}$ ) wird nicht durch die Wandzeit (Wall-Clock Time), sondern durch die Gesamtzahl der generierten Token definiert, die erforderlich sind, um eine erfolgreiche Antwort zu erzielen, berechnet als die Gesamtzahl der Token über alle Versuche geteilt durch die Anzahl der erfolgreichen Versuche.

Die Studie verwendet drei verschiedene analytische Frameworks:

Hypothese T (Zeit-Skalierungs-Modell): Testet eine Potenzgesetz-Relation $t_{machine} = a \cdot t_{human}^b$ . Der Exponent $b$ gibt das Skalierungsverhalten an: $b > 1$ impliziert, dass Maschinen schlechter skalieren als Menschen (die Anstrengung wächst superlinear mit der Schwierigkeit), während $b < 1$ impliziert, dass Maschinen besser skalieren. Die Anpassungen werden an Modell-Problem-Paaren mit einer empirischen Erfolgsrate von mindestens 50 % durchgeführt, um eine Dominanz durch Fehlversuche zu vermeiden.
Hypothese P (Exponentielles Erfolgsmodell): Testet, ob die Erfolgswahrscheinlichkeit ( $p_{success}$ ) exponentiell mit der menschlichen Aufgabenzeit abnimmt: $p_{success} = p_{model}^{t_{task}}$ . Dies wird als lineare Relation zwischen $\log p_{success}$ und $t_{human}$ modelliert, die durch den Punkt $(0, 1)$ gehen muss. Die Daten werden in Quantil-Bins aggregiert, um die Abfallrate zu bestimmen.
METR-Stil Horizonte: Passt eine logistische Kurve an die Erfolgswahrscheinlichkeit als Funktion der menschlichen Zeit an, um spezifische Kapazitätshorizonte zu extrahieren: $h_{50}$ (menschliche Zeit bei 50 % Erfolg) und $h_{80}$ (menschliche Zeit bei 80 % Erfolg). Dieser Ansatz ist vom METR-Aufgabenlängen-Benchmark [KWB+25] adaptiert.

Der Datensatz umfasst 3.840 Versuche über 26 Modellkonfigurationen (25 wurden nach Ausschluss einer nicht repräsentativen Konfiguration in die finalen Fits einbezogen). Die statistische Unsicherheit wird mittels nichtparametrischer Bootstrap-Resampling-Verfahren (1.000 Stichproben) quantifiziert, um 90 %-Konfidenzintervalle für die gefitteten Parameter zu generieren.

Wesentliche Ergebnisse

Umkehrung der Skalierungsvorhersage (Hypothese T): Entgegen der ursprünglichen Vorhersage, dass Maschinen schlechter skalieren würden ( $b > 1$ ), stellt die Studie fest, dass für 20 der 25 Modelle mit nutzbaren Fits der Exponent $b < 1$ ist. Dies schließt die stärksten High-Coverage-Basismodelle ein: Claude Opus 4.6 ( $b=0,722$ ), GPT-5.4 (xhigh) ( $b=0,644$ ) und Gemini 3.1 Pro Preview ( $b=0,467$ ). Die 90 %-Bootstrap-Konfidenzintervalle für diese Top-Modelle liegen vollständig unter 1. Dies deutet darauf hin, dass, innerhalb dieser Operationalisierung, die Token-Kosten pro erfolgreicher Antwort sublinear mit der menschlichen Schwierigkeit wachsen, was bedeutet, dass sich die relative Effizienz der Maschinen verbessert, wenn die Probleme schwieriger werden – zumindest für Probleme, bei denen das Modell moderat zuverlässig ist.
Exponentieller Zerfall des Erfolgs (Hypothese P): Die Daten zeigen moderate empirische Unterstützung für das exponentielle Zerfallsmodell. Das mediane Bin-Level- $R^2$ über 22 gut abgedeckte Konfigurationen beträgt 0,92, wobei viele Top-Modelle 0,95 überschreiten. Die gefitteten Halbwertszeiten (die menschliche Zeit, bei der die Erfolgswahrscheinlichkeit auf 50 % sinkt) reichen von 0,12 Stunden (Gemini 2.5 Pro) bis 4,07 Stunden (GPT-5.4 xhigh).
Kapazitätshorizonte: Die stärksten Basismodell-Konfigurationen erreichen 50 % Erfolgshorizonte ( $h_{50}$ ) zwischen etwa 2,5 und 4,3 Stunden menschlicher Arbeitszeit. Agentische Wrapper (z. B. GPT-5 Euler Agent, Grok 4 Fast Euler Agent) zeigen wesentlich größere Horizonte als ihre Basismodelle, obwohl diese Vergleiche rein beobachtend sind.
Fortschrittstrajektorie: Ein Log-Linear-Fit durch die State-of-the-Art (SOTA) Frontier der Basismodelle über den Zeitraum von ca. 345 Tagen der Datensatzerhebung impliziert eine Verdopplungszeit von etwa 75 Tagen für den $h_{50}$ -Horizont, der von 0,09 Stunden auf 4,28 Stunden ansteigt.

Bedeutung und Behauptungen
Das Paper behauptet, dass seine Ergebnisse das spezifische Narrativ der „Sucheffizienz“ herausfordern, das aus Gowers' Rahmenung abgeleitet wurde und vorhersagte, dass KI-Systeme bei schwierigen Problemen aufgrund rapide skalierender Suchkosten hinter den Menschen zurückfallen würden. Stattdessen deuten die Ergebnisse darauf hin, dass Modelle auf Project Euler im Hinblick auf die Token-Kosten pro Erfolg bei zunehmender Schwierigkeit besser skalieren als starke menschliche Solver.

Die Autoren sind jedoch vorsichtig bei den Implikationen. Sie merken an, dass trotz der günstigen Skalierung die absolute Zuverlässigkeit dieser Systeme begrenzt bleibt; Modelle erreichen die 50 %-Erfolgsschwelle bei menschlichen Arbeitszeiten von nur wenigen Stunden, was weit unter der dauerhaften Anstrengung liegt, die Menschen auf ein einzelnes Problem anwenden können. Die Autoren schlagen fünf spekulative Erklärungen für die Diskrepanz zwischen günstiger Skalierung auf Project Euler und dem mangelnden sichtbaren Fortschritt in der mathematischen Forschung vor:

Implementierung vs. Denken: Project Euler-Probleme gewichten die Implementierung (Coding) stark, was LLMs schneller als Menschen bewältigen, was potenziell langsamere mathematische Argumentation maskiert.
Degradation langer Trajektorien: Die Erfolgswahrscheinlichkeit nimmt über die Zeit ab, bedingt durch kumulierte Fehler oder „Kontext-Fäulnis“ (Context Rot), was den Horizont kohärenter Argumentation einschränkt.
Grenzen der Werkzeugnutzung: LLMs sind exzellent darin, Standardwerkzeuge zu nutzen, könnten aber die Fähigkeit vermissen, die für die Forschung erforderlichen neuen mathematischen Frameworks zu entwickeln.
Scaffolding-Lücken: Aktuelle Architekturen lassen das persistente Gedächtnis und die für die Forschung notwendigen Langzeit-Workflows vermissen.
Überdenken (Overthinking): Modelle könnten konstante Token-Overheads bei einfachen Problemen verursachen (Selbstprüfung), was die Skalierungssteigung künstlich abflacht.

Das Paper kommt zu dem Schluss, dass die drei Analysen (Skalierung, Zerfall und Horizonte) ein kohärentes Bild liefern: Der limitierende Faktor für diese Systeme auf diesem Benchmark ist die Zuverlässigkeit (exponentieller Zerfall des Erfolgs) und nicht die Sucheffizienz (sublineare Skalierung der Anstrengung). Die Ergebnisse werden als deskriptive Zusammenfassungen der aktuellen Fähigkeiten auf einem spezifischen Benchmark präsentiert, nicht als universelle Gesetze des KI-Fortschritts.