SWE-chat: Coding Agent Interactions From Real Users in the Wild
Die Studie stellt SWE-chat vor, den ersten großen Datensatz realer Coding-Agent-Sitzungen von Entwicklern, der zeigt, dass diese Agenten in der Praxis oft ineffizient sind, weniger als die Hälfte ihres Codes übernommen wird und sie mehr Sicherheitslücken verursachen als menschliche Entwickler.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
SWE-chat: Wenn KI-Coder im echten Leben arbeiten – Eine Reise in den digitalen Dschungel
Stell dir vor, du hast einen neuen, extrem talentierten, aber manchmal etwas chaotischen Assistenten eingestellt. Er kann programmieren, aber er ist noch nicht ganz so erfahren wie ein menschlicher Profi. Das ist die Situation, in der sich viele Software-Entwickler heute befinden: Sie nutzen KI-Agenten, die Code schreiben sollen.
Aber wie funktioniert das wirklich? Arbeiten diese KI-Assistenten wie in den Filmen, wo sie alles perfekt erledigen? Oder ist es eher wie eine Reise mit einem Navigationsgerät, das dich manchmal in Sackgassen führt?
Das Team um Joachim Baumann und Diyi Yang von der Stanford University hat genau das untersucht. Sie haben SWE-chat erstellt – eine riesige Datenschatztruhe, die über 6.000 echte Gespräche zwischen Menschen und KI-Codern enthält. Keine künstlichen Labor-Tests, sondern echte Arbeit aus dem echten Leben.
Hier ist, was sie herausgefunden haben, übersetzt in einfache Bilder:
1. Zwei völlig verschiedene Welten: Der „Vibe-Coder" und der „Handwerker"
Die Forscher haben festgestellt, dass es zwei extreme Arten gibt, wie Menschen mit der KI arbeiten:
- Der „Vibe-Coder" (41 % der Fälle): Hier sagt der Mensch der KI im Grunde: „Hey, mach mal was Passendes, ich vertraue dir." Die KI schreibt dann fast den gesamten Code selbst (über 99 %). Es ist, als würde jemand ein Auto bauen, ohne die Schrauben selbst anzuziehen, und hoffen, dass der Motor läuft.
- Der Handwerker (23 % der Fälle): Hier nutzt der Mensch die KI nur als Werkzeug, wie einen Hammer. Der Mensch schreibt den Code selbst und die KI hilft nur bei kleinen Dingen.
- Die Mitte: In den restlichen Fällen arbeiten Mensch und KI Hand in Hand.
Das Problem: Die „Vibe-Coder"-Methode klingt toll, ist aber oft ineffizient. Die KI schreibt viel Code, aber ein großer Teil davon wird später wieder gelöscht oder ist fehlerhaft. Es ist wie ein Architekt, der 100 Entwürfe macht, aber nur einer davon hält, was er verspricht.
2. Die KI ist ein bisschen wie ein übermotivierter Praktikant
Die KI ist sehr fleißig. Sie liest Dateien, sucht nach Fehlern und tippt wild herum. Aber sie macht auch Fehler.
- Die Überlebenschance: Nur etwa 44 % des Codes, den die KI schreibt, wird tatsächlich vom Menschen übernommen und gespeichert. Der Rest wird verworfen.
- Die Sicherheitslücke: Das ist der erschreckendste Teil. Code, den die KI schreibt, enthält fast 9-mal mehr Sicherheitslücken (wie offene Türen für Hacker) als Code, den Menschen selbst schreiben. Die KI ist schnell, aber sie ist nicht besonders vorsichtig.
3. Der ständige „Nein, nicht so!"-Moment
In den echten Gesprächen hören die Menschen der KI nicht einfach nur zu. Sie unterbrechen sie ständig.
- In fast der Hälfte aller Schritte (44 %) muss der Mensch eingreifen: „Stopp! Das ist falsch!", „Ich meinte das anders!" oder „Das funktioniert nicht."
- Die KI fragt selten nach: Sie fragt nur in 1–2 % der Fälle: „Hast du das wirklich so gemeint?" Stattdessen läuft sie weiter und hofft, dass es passt.
- Die Menschen müssen also ständig die Bremse ziehen und korrigieren. Es ist, als würde man einem blinden Passagier das Lenkrad geben und dann alle paar Sekunden schreien: „Links! Links! Nicht in den Baum fahren!"
4. Was bedeutet das für die Zukunft?
Die Studie zeigt uns, dass KI-Coder zwar mächtig sind, aber noch nicht reif für den Alleingang.
- Die beste Methode: Die effizienteste und sicherste Art zu arbeiten ist die Zusammenarbeit. Wenn der Mensch den Kurs vorgibt und die KI die Details ausführt, spart man Zeit und Geld und macht weniger Fehler.
- Die Gefahr: Wenn wir der KI zu viel Freiheit lassen („Vibe Coding"), produzieren wir zwar viel Code, aber er ist teuer, langsam zu erstellen und voller Sicherheitslöcher.
Fazit
Die KI ist kein magischer Zauberstab, der alle Probleme löst. Sie ist eher wie ein sehr schneller, aber manchmal etwas tollpatschiger Lehrling. Wenn wir ihn gut anleiten, korrigieren und überwachen, ist er fantastisch. Wenn wir ihn einfach nur machen lassen, landen wir oft im Chaos.
SWE-chat ist also wie ein riesiges Tagebuch, das uns zeigt: „Hey, so funktioniert das wirklich!" – und es hilft uns, bessere Werkzeuge zu bauen, damit die KI in Zukunft nicht nur schnell, sondern auch klug und sicher arbeitet.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.