APEX-SWE
Die Studie stellt APEX-SWE vor, einen neuen Benchmark zur Bewertung wirtschaftlich wertvoller Software-Engineering-Aufgaben von KI-Modellen, bei dem Claude Opus 4.6 und 4.5 mit 38,5 % Pass@1 am besten abschneiden, wobei der Erfolg maßgeblich auf epistemischer Disziplin und systematischer Verifikation beruht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stell dir vor, du hast einen riesigen Haufen von sehr intelligenten, aber manchmal etwas übereifrigen Praktikanten. Diese Praktikanten sind die neuesten KI-Modelle. Bisher haben wir sie nur getestet, indem wir ihnen kleine, einfache Matheaufgaben oder das Schreiben einzelner Sätze gegeben haben. Sie waren darin super – fast wie kleine Genies.
Aber die Autoren dieses Papers (APEX–SWE) sagen: „Das ist nicht das echte Leben!"
In der echten Welt ist ein Software-Ingenieur nicht nur jemand, der Code schreibt. Ein Ingenieur muss:
- Verschiedene Systeme miteinander verbinden (wie einen Wasserhahn an eine Waschmaschine und eine Spülmaschine anschließen).
- Fehler finden, wenn die Maschine im Betrieb steht, ohne dass jemand genau sagt, was kaputt ist (wie ein Arzt, der nur die Symptome sieht und die Diagnose stellen muss).
Das Papier stellt einen neuen, viel härteren Test vor, um zu sehen, ob diese KI-Praktikanten wirklich einsatzbereit sind.
Der neue Test: Zwei große Herausforderungen
Der Test besteht aus zwei Teilen, die wie zwei verschiedene Jobs im echten Leben sind:
1. Die „Bauarbeiter"-Aufgabe (Integration)
Stell dir vor, du musst ein Haus bauen, aber du hast keine fertigen Baupläne. Du musst selbst entscheiden, wie du das Fundament (die Cloud-Infrastruktur) legst, wie du die Wasserrohre (Datenbanken) verlegst und wie du die Lichtschalter (Anwendungen) mit dem Stromnetz verbindest.
- Das Problem: Die KI muss nicht nur Code schreiben, sondern auch sicherstellen, dass alle diese verschiedenen Teile (wie ein E-Mail-Server, ein Shop-System und eine Datenbank) wirklich miteinander reden können.
- Das Ergebnis: Die besten KIs schaffen es nur in etwa 48 % der Fälle, das Haus stabil zu bauen. Die anderen lassen das Dach durchsickern oder vergessen, den Strom anzuschließen.
2. Die „Detektiv"-Aufgabe (Observability)
Stell dir vor, in einer Fabrik geht plötzlich die Produktion aus. Niemand weiß, warum. Es gibt keine Checkliste mit dem Fehler. Du musst durch Tausende von Überwachungskameras (Logs), Notizen der Arbeiter (Chats) und alte Baupläne (Code) suchen, um herauszufinden, welcher Schraube locker ist.
- Das Problem: Die KI muss aus einem riesigen Haufen von Daten die eine winzige Information finden, die den Fehler erklärt.
- Das Ergebnis: Hier ist es noch schwieriger. Die besten KIs schaffen es nur in 29 % der Fälle, den Fehler zu finden und zu reparieren.
Warum scheitern die KIs? (Die „Klugscheißer"-Falle)
Das Papier hat eine sehr wichtige Erkenntnis gefunden. Es geht nicht darum, wie schnell die KI tippen kann oder wie viel Code sie auswendig gelernt hat. Es geht um „Epistemische Disziplin".
Das klingt kompliziert, ist aber einfach:
- Die schlechten KIs sind wie übereifrige Praktikanten: Sie hören sich die Aufgabe an, machen sofort Annahmen („Ich glaube, der Schalter ist hier") und fangen an zu bauen, ohne nachzusehen. Wenn es schiefgeht, geben sie zu, dass sie es nicht wissen, aber sie haben schon zu viel Zeit verschwendet.
- Die guten KIs sind wie erfahrene Meister: Sie machen erst eine Pause. Sie schauen sich die Werkzeuge an, lesen die Pläne und fragen: „Habe ich das wirklich verstanden?" Sie testen ihre Annahmen, bevor sie den ersten Nagel einschlagen. Sie sagen: „Ich vermute, das ist der Fehler, aber ich prüfe es erst, bevor ich es repariere."
Die Metapher:
Stell dir vor, du musst ein Auto reparieren.
- Der schlechte KI-Mechaniker schraubt sofort den Motor aus, weil er glaubt, das sei das Problem. Am Ende ist das Problem die leere Batterie.
- Der gute KI-Mechaniker (die erfolgreichen Modelle) prüft erst die Batterie, schaut in das Handbuch und fragt den Fahrer, was passiert ist, bevor er den Motor anfasst.
Was bedeutet das für die Zukunft?
Der Test zeigt uns, dass wir noch weit davon entfernt sind, KI-Systeme einfach so in echte Firmen einzusetzen, die kritische Aufgaben erledigen müssen. Die besten Modelle (wie Claude Opus) sind zwar die „Köpfe" der Klasse, aber sie liegen immer noch weit unter dem Niveau, das für eine zuverlässige, professionelle Arbeit nötig wäre.
Die große Lektion:
Die Zukunft der KI in der Softwareentwicklung liegt nicht darin, Modelle zu bauen, die schneller tippen können. Es liegt darin, Modelle zu bauen, die geduldiger sind. Wir müssen KI beibringen, nicht nur zu raten, sondern zu überprüfen. Wir brauchen KI, die weiß, wann sie „Ich weiß es nicht" sagen muss, und die bereit ist, sich die Fakten anzusehen, bevor sie handelt.
Kurz gesagt: Wir brauchen keine schnelleren Praktikanten, wir brauchen diszipliniertere Ingenieure.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.