SWE-INTERACT: Reimagining SWE Benchmarks as User-Driven Long-Horizon Coding Sessions
Das Paper stellt SWE-Interact vor, einen neuen Benchmark, der Coding-Agenten bei realistischen, mehrstufigen, nutzergesteuerten Software-Engineering-Aufgaben evaluiert und aufzeigt, dass eine starke Leistung in traditionellen Single-Turn-Benchmarks nicht zuverlässig auf die interaktiven, iterativen Arbeitsabläufe übertragbar ist, die für eine effektive reale Entwicklung erforderlich sind.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen einen brillanten, aber unerfahrenen Architekten ein, um ein Haus zu bauen.
Der alte Weg (Traditionelle Benchmarks)
Früher testeten Forscher diese KI-„Architekten“, indem sie ihnen am ersten Tag einen fertigen, 5 \text{0-seitigen Bauplan aushändigten. Der Bauplan enthielt jedes Detail: die Holzart, den exakten Farbton der Farbe, die Platzierung jeder Steckdose und die Marke des Wasserhahns. Die Aufgabe der KI bestand lediglich darin, den Plan zu lesen und das Haus perfekt zu bauen.
- Das Problem: Das spiegelt nicht wider, wie die reale Konstruktion funktioniert. In der realen Welt haben Kunden selten einen perfekten Bauplan bereit. Sie sagen meistens: „Ich möchte ein gemütliches Haus mit einer großen Küche“, und ändern dann ihre Meinung, während sie den Fortschritt sehen.
Der neue Weg (SWE-INTERACT)
Die Arbeit stellt SWE-INTERACT vor, einen neuen Test, der ein reales Bauprojekt simuliert.
- Das Setup: Anstatt eines perfekten Bauplans erhält die KI eine vage Anfrage: „Bau mir ein Haus.“
- Der Kunde (Der Simulator): Ein Computerprogramm fungiert als „Kunde“. Es sitzt nicht einfach nur da; es läuft aktiv auf der Baustelle umher.
- Es betrachtet das Fundament und sagt: „Hey, ich wusste gar nicht, dass ich einen Keller wollte.“
- Es betrachtet die Küche und sagt: „Eigentlich möchte ich den Herd hier haben, nicht dort.“
- Es überprüft die Verkabelung und sagt: „Warte, ich brauche mehr Steckdosen.“
- Das Ziel: Die KI muss herausfinden, was der Kunde tatsächlich will, indem sie auf diese sich entwickelnden Kommentare hört, Fehler korrigiert und das Haus Stück für Stück baut, während der Kunde ständig neue Anforderungen hinzufügt.
Die große Entdeckung
Die Forscher testeten die klügsten KI-Coding-Modelle der Welt in beiden Szenarien. Hier ist, was sie fanden:
- Gut im Lesen, schlecht im Zuhören: Die Modelle, die gut darin waren, Häuser nach perfekten Bauplänen zu bauen (der „Single-Turn“-Test), hatten erhebliche Schwierigkeiten, wenn der Kunde ständig seine Meinung änderte. Ihre Erfolgsquote sank von etwa 50 % auf 25 %.
- Der „Überheblichkeits“-Fehler: Die besten Modelle (wie GPT-5.5 und Opus 4.8) waren mutig genug, selbst bei vagen Anweisungen mit dem Bau zu beginnen. Sie konnten sich erholen und Dinge korrigieren, wenn der Kunde sie korrigierte. Sie vergaßen jedoch oft frühere Anweisungen oder machten technische Fehler, während sie versuchten, zu clever zu sein.
- Der „Aufgebener“-Fehler: Schwächere Modelle wurden durch den vagen Start verwirrt, gaben zu früh auf oder ignorierten die neuen Anweisungen des Kunden gänzlich.
Warum das wichtig ist
Stellen Sie sich das wie ein Videospiel vor. Die alten Tests waren wie ein Level, in dem man genau weiß, wo die Gegner sind und wie der Endboss aussieht. Der neue Test ist wie ein Live-Rollenspiel, bei dem der „Spielleiter“ (der Kunde) die Geschichte während des Spielens ändert.
Die Arbeit kommt zu dem Schluss, dass es nicht nur darum geht, Code zu schreiben (den Bauplan zu kennen), sondern darum, die Geduld und das Geschick zu besitzen, mit einem Menschen zusammenzuarbeiten, der selbst noch nicht genau weiß, was er will, bis er es sieht. Die aktuellen KI-Modelle werden zwar besser darin, aber sie haben noch einen weiten Weg vor sich, bevor sie einen menschlichen Entwickler in einer realen, chaotischen, kollaborativen Umgebung wirklich ersetzen können.
Kurz gesagt: Die Arbeit hat ein neues „Fitnessstudio“ gebaut, um KI-Coder darauf zu trainieren, nicht nur Befehle zu befolgen, sondern tatsächlich mit Menschen zu kollaborieren, die gerade erst herausfinden, was sie eigentlich wollen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.