MathlibPR: Pull Request Merge-Readiness Benchmark for Formal Mathematical Libraries
Das Papier stellt MathlibPR vor, einen Benchmark, der aus realen Pull-Request-Historien von Lean/Mathlib4 abgeleitet ist, um die Fähigkeit von LLMs und Agenten zu bewerten, bereit-zum-Mergen-Beiträge von nicht gemergten zu unterscheiden, wodurch ihre aktuellen Schwierigkeiten aufgedeckt und das Potenzial des Benchmarks für die Entwicklung von Reviewer-Assistenten und Reward-Modellen hervorgehoben werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine riesige, lebendige Bibliothek der Mathematik vor, die Mathlib heißt. Es ist nicht nur ein Buch; es ist eine gigantische, gemeinsame Baustelle, auf der Mathematiker und Informatiker ein perfektes, fehlerfreies Fundament für die gesamte Mathematik errichten. Um diese Bibliothek sicher und nützlich zu halten, muss jedes neue Code-Stück (ein „Pull Request" oder PR) zwei Tests bestehen:
- Der Test „Funktioniert es?": Läuft der Code tatsächlich ohne Absturz? (Das überprüft der Computer).
- Der Test „Ist es ein guter Bürger?": Passt der Code zum Rest der Bibliothek? Ist er im richtigen Stil geschrieben? Ist er klar genug, damit andere ihn nutzen können? (Das überprüfen Menschen).
Lange Zeit war Künstliche Intelligenz (KI) hervorragend darin, den ersten Test zu bestehen. Sie kann Code schreiben, der perfekt läuft. Doch der zweite Test – die menschliche Prüfung – ist zu einem Engpass geworden. Es gibt zu viele Einreichungen und nicht genug menschliche Prüfer, um zu kontrollieren, ob der Code wirklich bereit ist, in die Bibliothek aufgenommen zu werden.
Diese Arbeit stellt eine einfache Frage: Kann die KI lernen, die Prüferin zu sein? Kann eine KI einen Code-Abschnitt, der bereits funktioniert, betrachten und entscheiden, ob er „aufnahmebereit" ist oder ob er noch mehr Arbeit benötigt?
Um dies herauszufinden, schufen die Autoren einen neuen Test namens MATHLIBPR.
Das Experiment: Ein „Blindes Verkostungstest" für Code
Stellen Sie sich MATHLIBPR als einen blinden Verkostungstest für ein neues Rezept vor.
- Der Aufbau: Die Forscher nutzten die echte Historie der Mathlib-Bibliothek. Sie sammelten Tausende von Code-Einreichungen, die bereits den Test „Funktioniert es?" bestanden hatten (sie kompilierten erfolgreich).
- Die Herausforderung: Sie gaben diese Code-Schnipsel verschiedenen KI-Modellen (wie DeepSeek, Qwen und anderen) und fragten: „Ist dies bereit, in der Bibliothek veröffentlicht zu werden, oder sollte es zur Überarbeitung zurückgesandt werden?"
- Der Haken: Die KI kannte das Endergebnis nicht. Sie konnte nicht bei den menschlichen Prüfern nachfragen: „Hat Ihnen das gefallen?" Sie musste allein basierend auf dem Code selbst urteilen, genau wie ein menschlicher Prüfer.
Sie testeten die KI in drei Runden und gaben ihr immer mehr Hinweise:
- Runde 1: Nur die Code-Änderungen und einige Stilrichtlinien.
- Runde 2: Der Code plus eine Liste automatisierter „Linting"-Fehler (wie ein Rechtschreibprogramm für Code).
- Runde 3: Der Code, die Fehler sowie die Beschreibung des Autors darüber, was er zu erreichen versuchte.
Die Ergebnisse: Die KI geriet ins Stocken
Die Ergebnisse waren überraschend und für die KI-Community ein wenig enttäuschend.
- Die KI konnte keinen Unterschied erkennen. Selbst mit all den zusätzlichen Hinweisen hatten die KI-Modelle Schwierigkeiten, zwischen Code zu unterscheiden, der schließlich akzeptiert wurde, und Code, der abgelehnt oder zur Behebung von Fehlern zurückgesandt wurde.
- Die „Ja"-Verzerrung: Die meisten KIs waren zu optimistisch. Sie neigten dazu zu sagen: „Ja, das ist großartig!", selbst wenn der Code tatsächlich unordentlich war oder nicht zum Stil der Bibliothek passte. Sie sagten selten: „Nein, das braucht Arbeit."
- Die Option „Ich weiß es nicht": Einige Modelle sagten bei einer schwierigen Entscheidung einfach: „Ich bin mir nicht sicher." Das ist zwar ehrlich, hilft der Bibliothek aber nicht weiter, voranzukommen.
- Mehr Kontext half nicht viel: Dem KI mehr Informationen zu geben (wie die Absicht des Autors oder automatisierte Fehlerberichte) verbesserte ihre Fähigkeit, die richtige Entscheidung zu treffen, nicht signifikant.
Ein interessantes Ergebnis war, dass die KI, selbst wenn sie dasselbe Projekt zu zwei verschiedenen Zeitpunkten betrachtete (einmal, als es unordentlich war, und einmal, als es korrigiert und akzeptiert wurde), oft nicht erkennen konnte, welche Version die „bessere" war. Es war wie ein Schüler, der eine Prüfung über ein Thema schreibt, das er gelernt hat, aber nicht den Unterschied zwischen einem Rohentwurf und dem endgültigen Aufsatz bemerkt.
Warum das wichtig ist
Die Arbeit kommt zu dem Schluss, dass die KI zwar hervorragend darin ist, funktionierenden Code zu schreiben, aber derzeit sehr schlecht darin ist, Code zu prüfen, um festzustellen, ob er in eine hochwertige Bibliothek gehört.
Die Autoren sagen nicht, dass die KI menschliche Prüfer ersetzen sollte. Stattdessen sehen sie diesen Benchmark (MATHLIBPR) als Ausgangspunkt. Es ist ein Werkzeug, um zukünftige KI-Systeme zu trainieren, bessere „assistierende Prüfer" zu sein. Das Ziel ist es, eine KI zu entwickeln, die Menschen hilft, indem sie offensichtliche Stilprobleme oder fehlende Dokumentation aufdeckt und als erste Verteidigungslinie fungiert, damit sich menschliche Prüfer auf die schwierigsten und kreativsten Teile der Arbeit konzentrieren können.
Kurz gesagt: Die KI ist ein großartiger Baumeister, aber im Moment eine schreckliche Inspektorin. Diese Arbeit liefert den ersten echten Test, um genau zu messen, wie schlecht sie ist, damit wir sie lehren können, es besser zu machen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.