Are Coding Agents Generating Over-Mocked Tests? An Empirical Study
Diese empirische Studie über mehr als 1,2 Millionen Commits zeigt, dass Coding-Agenten signifikant wahrscheinlicher als Nicht-Agenten Tests generieren und, bemerkenswerterweise, diese übermäßig mocken, was Bedenken hinsichtlich der Wartbarkeit und Effektivität von Tests aufwirft und die Notwendigkeit besserer Konfigurationsleitfäden für Agenten hervorhebt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten ein Team aus superschnellen, superintelligenten Roboter-Assistenten (genannt „Coding Agents“) eingestellt, um Ihnen beim Bau eines Hauses zu helfen. Diese Roboter legen nicht nur Ziegel; sie können auch die Bedienungsanleitungen schreiben, die Wasserleitungen prüfen und sogar die Sicherheitsinspektionsberichte erstellen (was in der Softwareentwicklung als „Tests“ bezeichnet wird).
Dieses Papier ist wie ein Detektivbericht, der die Baustellen von 2.168 verschiedenen digitalen Häusern untersucht hat, um zu sehen, wie diese Roboter tatsächlich bei der Arbeit sind. Speziell wollten die Forscher wissen: Schreiben diese Roboter zu viele „gefälschte“ Sicherheitsprüfungen?
Hier ist die Auswertung der Ergebnisse, unter Verwendung einfacher Analogien:
1. Der „übervorsichtige“ Roboter
In der Softwareprüfung ist ein „Mock“ wie ein Statist (Dummy-Schauspieler) in einem Film. Wenn man eine Szene dreht, in der ein Charakter mit einem Bankmanager spricht, aber keinen echten Bankmanager zur Verfügung hat, verwendet man vielleicht einen Freund im Anzug, der nur vorgefertigte Sätze sagt. Dies ist ein „Mock“. Es macht das Filmen einfacher und schneller (der Test ist leichter und einfacher zu schreiben), aber es beweist nicht, dass der echte Bankmanager sich tatsächlich so verhalten würde. Dieser ist ein „Mock“.
Die Studie ergab, dass die Roboter-Assistenten besessen davon sind, diese Dummy-Schauspieler zu verwenden.
- Die Statistik: Wenn menschliche Entwickler einen Test schreiben, verwenden sie etwa 26 % der Zeit einen „Dummy-Schauspieler“. Wenn die Roboter einen Test schreiben, verwenden sie einen Dummy-Schauspieler 36 % der Zeit.
- Die Metapher: Es ist, als ob die Roboter so viel Angst vor der echten Welt (echte Datenbanken, echte Internetverbindungen) hätten, dass sie es vorziehen, das gesamte Theaterstück mit Pappaufstellern zu proben, anstatt mit echten Menschen. Sie tun dies häufiger als Menschen.
2. Die Roboter lieben es, Sicherheitsprüfungen zu schreiben
Die Forscher haben auch untersucht, wie oft die Roboter tatsächlich die Sicherheitsinspektionsberichte (Tests) geschrieben haben.
- Die Statistik: Etwa 23 % der Arbeit der Roboter bestand darin, Tests zu schreiben oder zu ändern. Menschen taten dies nur etwa 13 % der Zeit.
- Die Metapher: Die Roboter legen nicht nur Ziegel; sie schreiben aktiv die Regelbücher. Tatsächlich sind die Roboter in brandneuen Baustellen (Repositories, die im Jahr 2025 erstellt wurden), für das Schreiben von 17 % aller Sicherheitsprüfungen verantwortlich – eine Zahl, die schnell wächst.
3. Ein Werkzeug für alles
Das Papier untersuchte, welche Art von Dummy-Schauspielern die Roboter verwendeten. Es gibt verschiedene Arten von „Test-Doppelgängern“ (Fake-Objekten): Einige stehen nur da (Dummies), einige geben sich als echt aus (Stubs) und einige beobachten, was passiert (Spies).
- Das Ergebnis: Menschen verwenden eine Vielzahl von Werkzeugen. Sie benutzen mal einen „Spy“ hier und mal ein „Fake“ dort.
- Die Roboter-Gewohnheit: Die Roboter sind träge in ihrer Vielfalt. Sie verwenden das „Mock“-Werkzeug 95 % der Zeit.
- Die Metapher: Stellen Sie sich einen Werkzeugkasten vor. Menschen haben einen Hammer, einen Schraubendreher, einen Schraubenschlüssel und eine Säge. Die Roboter erscheinen mit einem riesigen Hammer und versuchen, ihn für alles zu benutzen, selbst wenn sie einen Schraubendreher bräuchten. Sie verlassen sich fast ausschließlich auf eine spezifische Art von Fake-Objekt.
4. Die Gefahr von „zu viel Fälschung“
Warum ist das wichtig? Das Papier warnt davor, dass die Verwendung zu vieler „Dummy-Schauspieler“ es den Robotern zwar erleichtert, die Tests schnell zu schreiben, die Tests aber weniger nützlich machen könnte.
- Das Risiko: Wenn Sie Ihr Haus nur mit Pappaufstellern testen, denken Sie vielleicht, dass die Wasserleitungen perfekt sind. Aber wenn Sie das echte Wasser aufdrehen, könnten die Rohre platzen, weil der Pappaufsteller nicht so reagiert wie echtes Metall.
- Das Fazit: Die Roboter erstellen Tests, die zwar leicht zu erstellen sind, aber möglicherweise echte Probleme nicht erkennen, weil sie zu isoliert von der Realität sind.
Was sollten wir tun?
Die Autoren schlagen vor, dass wir den Robotern bessere Anweisungen geben müssen, da sie so bestrebt sind, „gefälschte“ Darsteller zu verwenden.
- Die Lösung: Genau wie man einem menschlichen Lehrling sagen würde: „Benutze kein gefälschtes Rohr für die Hauptwasserleitung“, müssen wir spezifische Regeln in die Anleitungen der Roboter (Konfigurationsdateien) schreiben. Wir müssen ihnen sagen: „Verwende echte Objekte, wann immer möglich, und benutze Fakes nur, wenn es absolut notwendig ist.“
Kurz gesagt: Die Roboter arbeiten hart und schreiben viele Sicherheitstests, aber sie sind etwas zu eifrig darin, „gefälschte“ Versionen der Realität zu verwenden, was ihre Sicherheitsprüfungen weniger zuverlässig machen könnte. Wir müssen sie lehren, mehr reale Szenarien einzubauen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.