SWE-Bench Mobile: Can Large Language Model Agents Develop Industry-Level Mobile Applications?
Die Autoren führen **SWE-Bench Mobile** ein, einen neuen Benchmark zur Evaluierung von KI-Agenten an realen iOS-Codebasen, der zeigt, dass selbst leistungsstarke Modelle bei komplexen industriellen Entwicklungsaufgaben mit einer Erfolgsquote von nur 12 % noch erhebliche Defizite aufweisen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Der „Praktikanten-Test“ für KI: Können Computer wirklich Apps bauen?
Stell dir vor, du stellst einen neuen Praktikanten in einer großen Software-Firma ein. Du gibst ihm nicht nur eine einfache Matheaufgabe, sondern sagst: „Hier ist unser riesiges Projekt, hier ist das Design-Konzept von der Grafikabteilung und hier ist die Liste mit den Wünschen der Kunden. Bau uns bitte mal eine neue Funktion ein, die perfekt in unsere App passt.“
Genau das haben die Forscher mit SWE-Bench Mobile gemacht. Sie wollten herausfinden: Sind die aktuellen KI-Modelle (wie ChatGPT oder Claude) wirklich schon „Profi-Entwickler“, oder sind sie eher wie sehr schlaue Schüler, die zwar einzelne Formeln kennen, aber im echten Arbeitsalltag völlig überfordert sind?
Das Problem: Die „Schulbuch-Falle“
Bisherige Tests für KI waren wie Multiple-Choice-Fragen in der Schule: „Was ist die Lösung für dieses kleine Code-Rätsel?“ Die KI hat das super gelöst. Aber das echte Leben ist kein Multiple-Choice-Test. In einer echten Firma wie Xiaohongshu (einer riesigen Social-Media-Plattform) ist die Arbeit ein riesiges, chaotisches Labyrinth aus Millionen Zeilen Code, bunten Design-Vorgaben (Figma) und komplizierten Anforderungslisten.
Der neue Test: Das digitale Labyrinth
Die Forscher haben einen Test gebaut, der so realistisch ist, dass er fast schon unfair wirkt. Die KI bekommt:
- Einen „Bauplan“ (PRD): Ein Text, der erklärt, was die neue Funktion können soll.
- Ein „Foto vom Ziel“ (Figma): Ein Design, das zeigt, wie die Knöpfe und Farben aussehen müssen.
- Ein „riesiges Lagerhaus“ (Codebase): Ein gigantischer Berg an bestehendem Code, durch den sich die KI wühlen muss, um nicht alles kaputt zu machen.
Das Ergebnis: Die KI ist noch ein „Anfänger“
Das Ergebnis war ein kleiner Dämpfer für die KI-Begeisterung. Selbst die allerbesten Programme schafften nur 12 % der Aufgaben richtig.
Um zu verstehen, warum das so ist, können wir drei Metaphern nutzen:
1. Das „Puzzle-Problem“ (Fehlendes Verständnis für das Ganze)
Stell dir vor, du sollst ein Puzzle lösen, aber die KI findet nur die Teile, die direkt vor ihrer Nase liegen. Sie baut zwar einen schönen kleinen Abschnitt, aber sie merkt nicht, dass dieser Abschnitt gar nicht zum Rest des Bildes passt. In der Software-Welt heißt das: Die KI ändert eine Datei, vergisst aber, dass fünf andere Dateien davon abhängen. Das Ergebnis? Die App stürzt ab.
2. Der „Blinde Architekt“ (Das Design-Problem)
Die KI kann zwar Text lesen, aber sie „sieht“ das Design nicht so, wie ein Mensch es tut. Wenn im Design steht: „Der Button soll elegant und dezent sein“, weiß die KI oft nicht, wie sie das in den komplizierten Code übersetzen soll. Sie baut zwar die Funktion, aber sie sieht am Ende aus wie ein hässlicher Klotz aus den 90er Jahren.
3. Die „Regel-Vergesslichkeit“ (Das Profi-Detail)
In einer echten Firma gibt es Sicherheitsregeln (wie „Feature Flags“ – Schalter, mit denen man Funktionen erst nach und nach für Nutzer freischaltet). Die KI baut zwar die Funktion, vergisst aber diesen „Sicherheitsschalter“. Das ist so, als würde ein Handwerker eine neue Heizung einbauen, aber vergessen, das Ventil einzubauen, mit dem man sie im Notfall ausschalten kann.
Was lernen wir daraus?
Die Forscher sagen: „KI ist momentan ein großartiger Co-Pilot, aber noch kein Autopilot.“
Sie ist fantastisch darin, kleine, isolierte Aufgaben zu erledigen (wie ein Assistent, der eine E-Mail schreibt). Aber wenn es darum geht, ein ganzes Gebäude zu entwerfen und zu bauen, braucht sie noch viel menschliche Aufsicht. Die KI muss lernen, nicht nur „Code zu schreiben“, sondern „Software zu verstehen“.
Fazit: Wir sind auf dem richtigen Weg, aber die KI muss erst noch lernen, wie man im „echten Leben“ arbeitet, statt nur in der Theorie zu glänzen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.