SWE-MERA: A Dynamic Benchmark for Agenticly Evaluating Large Language Models on Software Engineering Tasks
Um kritische Datenkontamination und unzureichende Testfälle in bestehenden Benchmarks wie SWE-bench zu adressieren, führt das Paper SWE-MERA ein, einen dynamischen und kontinuierlich aktualisierten Benchmark, der eine automatisierte Pipeline nutzt, um reale GitHub-Issues zu kuratieren und somit ein rigoroses sowie zuverlässiges Evaluierungsframework für Large Language Models bei Software-Engineering-Aufgaben bietet.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, wie man ein kaputtes Videospiel repariert. Lange Zeit war der beste Weg, den Roboter zu testen, darin, ihm eine spezifische Liste kaputter Level zu geben, die bereits von allen gesehen worden waren. Aber das Problem war: Der Roboter hat lediglich die Antworten auswendig gelernt, anstatt tatsächlich zu lernen, wie man Dinge repariert. Es war wie bei einem Schüler, der die Lösungsschlüssel für die Mathearbeit des letzten Jahres auswendig lernt, aber bei der neuen Prüfung scheitert, weil sich die Zahlen geändert haben.
Genau das passierte mit dem berühmten SWE-bench, einem populären Test für KI-Programmierfähigkeiten. Die Arbeit enthüllt, dass dieser alte Test Antworten durchsickern ließ. Etwa 32,67 % der „erfolgreichen“ Reparaturen bestanden nur deshalb, weil die KI Lösungen kopierte, die sie bereits gesehen hatte, und weitere 31,08 % bestanden, weil die Tests zu schwach waren, um echte Fehler zu erkennen. Es war ein kaputtes Lineal.
Hier kommt SWE-MERA, der neue, dynamische Herausforderer. Betrachten Sie SWE-MERA nicht als ein statisches Lehrbuch, sondern als einen lebendigen, atmenden Videospiel-Server, der sich jeden Monat aktualisiert. Anstatt alte, auswendig gelernte Rätsel zu verwenden, sucht es ständig nach brandneuen, realen Problemen aus dem Internet (speziell von GitHub, wo Millionen von Menschen ihren Code teilen).
Wie der neue Test funktioniert
Die Autoren bauten eine super organisierte Roboter-Pipeline, um diese frischen Probleme zu finden. Es ist wie eine hochtechnologische Schnitzeljagd mit sieben strengen Regeln, um sicherzustellen, dass die Hinweise echt sind:
- Wähle den richtigen Spielplatz: Es sucht nur nach populären, aktiven Python-Projekten (mit mindestens 10 Stars und 10 Forks).
- Verknüpfe die Hinweise: Es findet ein spezifisches Problem (ein „Issue“) und die exakte Lösung (einen „Pull Request“), die es behoben hat, und stellt sicher, dass sie ein perfektes Eins-zu-eins-Paar bilden.
- Prüfe die Größe: Es ignoriert winzige Notizen und riesige, unübersichtliche Projekte und behält nur die, die genau richtig sind.
- Verifiziere die Reparatur: Es prüft, ob die Lösung tatsächlich den Code ändert und einen Test hinzufügt, um zu beweisen, dass sie funktioniert.
- Baue das Labor: Es versucht, das Projekt in einem sicheren, isolierten Container (wie einer digitalen Sandbox) aufzubauen, um zu sehen, ob die Tests bestehen.
- Führe die volle Mission aus: Es führt die gesamte Aufgabe von Anfang bis Ende durch, um sicherzustellen, dass sie reproduzierbar ist.
- Der KI-Richter: Schließlich fungiert eine andere KI (ein Qwen3-32B Modell) als strenger Lehrer und bewertet die Aufgabe auf einer Skala von 1 bis 10 hinsichtlich Korrektheit und Vollständigkeit. Wenn eine Aufgabe zu einfach, zu schwer oder schlecht erklärt ist, wird sie aussortiert.
Das Ergebnis? Eine massive Sammlung von etwa 10.000 potenziellen Aufgaben, von denen 728 hochwertige Proben sofort einsatzbereit sind.
Die Ergebnisse: Wer gewinnt tatsächlich?
Die Forscher stellten ein Dutzend der klügsten Programmier-KIs bei diesen frischen Problemen auf die Probe. Sie fragten die KI nicht nur, das Problem einmal zu lösen; sie gaben ihr sechs Versuche, den Bug zu beheben, inklusive der Chance, nachzudenken und ihre Arbeit zu überprüfen.
Die Ergebnisse waren augenöffnend:
- Der Top-Performer: Das DeepSeek-R1-0528 Modell war der Champion und behob etwa 27,8 % der Probleme beim ersten Versuch und 40,2 % innerhalb von sechs Versuchen.
- Der Zweitplatzierte: Devstral-Small-2505 kam auf Platz zwei mit 17,2 % beim ersten Versuch und 28,2 % insgesamt.
- Die Kämpfer: Selbst große, mächtige Modelle wie Llama-3.3-70B (das großartig im Chatten, aber nicht speziell für Code gebaut ist) schafften nur 8,7 % beim ersten Versuch. Das kleinste Modell, Qwen2.5-Coder-7B, konnte nur 2,7 % beim ersten Versuch beheben.
Die Arbeit legt nahe, dass diese neuen, dynamischen Tests viel besser darin sind, zwischen einer smarten KI und einer auswendig lernenden KI zu unterscheiden. Beispielsweise schnitten einige Modelle, die in alten Tests gut aussahnen, bei den neuen 2025er Aufgaben deutlich schlechter ab, was darauf hindeutet, dass sie lediglich die alten Antworten auswendig gelernt hatten.
Was dieser Test nicht tut
Es ist wichtig zu wissen, was dieser neue Benchmark auslässt. Die Arbeit stellt explizit fest, dass dieser Test nicht misst, wie lesbar, wartbar oder sicher der Code ist. Er testet auch nicht Teamarbeit oder wie gut ein Mensch und ein Roboter zusammenarbeiten. Es geht rein um: „Kann der Roboter den Bug beheben und die Tests bestehen lassen?“
Zudem warnen die Autoren, dass einige dieser Probleme, da sie automatisch gesammelt werden, etwas seltsam sein könnten oder es an der kreativen Nuance eines von Menschen geschriebenen Rätsels mangeln könnte. Es gibt auch ein kleines Risiko, dass die KI ein ähnliches Problem bereits in ihren Trainingsdaten gesehen hat, obwohl das System versucht, dies zu verhindern.
Das große Ganze
Die Autoren sind zuversichtlich, dass SWE-MERA ein viel fairerer Weg ist, um Fortschritte zu messen. Durch die ständige Erneuerung des Tests mit neuen, ungesehenen Herausforderungen verhindert es, dass die KI durch das Auswendiglernen von Antworten schummelt. Sie haben sogar ein öffentliches Leaderboard erstellt, auf dem jeder sehen kann, wie sein Programmier-Roboter im Vergleich zu den Besten der Welt abschneidet, inklusive eines Schiebereglers, mit dem man sehen kann, wie sich die Leistung im Laufe der Zeit verändert.
Kurz gesagt: SWE-MERA ist die „frische Luft“, die das Feld brauchte. Es bewegt sich weg von staubigen, auswendig gelernten Lehrbüchern hin zu einer dynamischen, sich ständig ändernden Arena, in der nur die wirklich anpassungsfähigen Programmier-Agenten überleben können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.