An Exploratory Study on LLM-Generated Code and Comments in Code Repositories
Diese explorative Studie analysiert LLM-generierten Code und Kommentare in unternehmens- und gemeinschaftlich verwalteten Repositories von 2021 bis 2025 und zeigt auf, dass der Anteil des detektierten LLM-Codes im Zeitverlauf abgenommen hat und in Testfällen mit hohen Klonraten prävalent ist, während LLM-generierte Kommentare stabil bleiben, aber oft grammatikalisch fehlerhaft sind, und von Menschen markierte Bugs nur eine geringe Assoziation mit LLM-generiertem Code aufweisen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine riesige, geschäftige Bibliothek vor, in der jeden Tag Millionen von Büchern (Softwarecode) geschrieben werden. Vor kurzem ist eine neue Art von „Geisterautoren“ in die Szene getreten: Künstliche Intelligenz (LLMs). Diese Geisterautoren können Sätze und Geschichten (Code und Kommentare) mit Lichtgeschwindigkeit aus dem Boden stampfen.
Dieses Papier ist wie ein Team von Bibliothekaren, das beschlossen hat zu untersuchen: „Wie viel der Texte in unserer Bibliothek wurde tatsächlich von diesen Geisterautoren geschrieben, und wie sieht dieses Schreiben aus?“
Hier ist das, was sie herausgefunden haben, aufgeschlüsselt in einfache Geschichten:
1. Das Rätsel des „Geister“-Schreibens
Die Bibliothekare verwendeten spezielle „Metalldetektoren“ (Softwarewerkzeuge), um die Bücher zu scannen. Diese Detektoren wissen nicht mit Sicherheit, ob ein Mensch oder ein Roboter eine Seite geschrieben hat, aber sie können Muster erkennen, die nach Roboter-Schreiben aussehen.
- Der Code (Die Anweisungen): Sie fanden heraus, dass die Menge an „robotergeschriebenem“ Code im Laufe der Zeit schrumpft. Es ist, als würden die Geisterautoren immer besser darin werden, menschlich zu klingen, oder als würden die menschlichen Bibliothekare die Arbeit des Roboters so stark bearbeiten, dass der Fingerabdruck des Roboters verschwindet. Interessanterweise war der meiste robotergeschriebene Code in den „Test Cases“ zu finden – denken Sie an diese repetitiven Übungsquizze oder Probenotizen. Roboter scheinen diese repetitiven Übungsdrills zu lieben.
- Die Kommentare (Die Notizen): Während der robotergeschriebene Code verblasst, sind die robotergeschriebenen Notizen (Kommentare, die erklären, was der Code tut) konstant geblieben. Es scheint, dass die Roboter immer noch sehr gut darin sind, die „Klebezettel“ zu schreiben, die die Anweisungen erklären, aber die Menschen übernehmen das eigentliche Bauen der Maschine.
2. Unternehmensbibliotheken vs. Gemeinschaftsbibliotheken
Die Forscher verglichen zwei Arten von Bibliotheken:
- Unternehmensbibliotheken: Diese werden von großen Tech-Giganten (wie Google oder Meta) betrieben.
- Gemeinschaftsbibliotheken: Diese werden von Gruppen von Freiwilligen (Open-Source-Projekten) verwaltet.
Das Ergebnis: Die Unternehmensbibliotheken hatten einen viel höheren Prozentsatz an „geistergeschriebenem“ Material. Es ist, als würden die großen Unternehmen die Geisterautoren stärker nutzen, um ihre internen Systeme reibungslos und konsistent am Laufen zu halten. Die Gemeinschaftsbibliotheken hatten weniger Roboter-Schreiben, und wenn sie darauf stießen, waren die Notizen oft grammatikalisch sauberer und polierter als die in den Unternehmensbibliotheken.
3. Das „Copy-Paste“-Problem
Die Forscher bemerkten etwas Seltsames an dem Roboter-Code: Er war voller Klone.
Stellen Sie sich vor, ein Geisterautor schreibt eine Geschichte und kopiert dann dieselbe Geschichte in 70 % der Bücher der Bibliothek hinein. Genau das passierte beim Code. Die Roboter generierten Code, der fast identisch mit dem Code in derselben Bibliothek aussah. Wenn sie dies jedoch mit einer Datenbank für bekannten „reinen Roboter-Code“ verglichen, fanden sie nur sehr wenig Überschneidung. Dies deutt darauf hin, dass Menschen nicht einfach den rohen Output des Roboters kopieren und einfügen; sie passen ihn wahrscheinlich an, was ihn einzigartig erscheinen lässt, aber dennoch jene repetitiven Muster hinterlässt.
4. Haben die Geisterautoren etwas kaputt gemacht?
Eine große Sorge ist, dass Roboter Fehler (Bugs) einführen könnten, die die Software beschädigen, wenn sie den Code schreiben.
- Das Ergebnis: Die Forscher betrachteten eine Liste bekannter „kaputter“ Bücher (Bugs) und fragten: „Hat ein Roboter dies geschrieben?“
- Das Resultat: Überraschenderweise waren sehr wenige der fehlerhaften Bücher von Robotern geschrieben worden. Nur etwa 5 % bis 10 % der bekannten Fehler schienen von den Geisterautoren zu stammen.
- Die Metapher: Es ist, als ob die Geisterautoren erlaubt wären, den Entwurf zu schreiben, aber die menschlichen Editoren sind sehr streng. Sie fangen die Fehler ab, bevor das Buch gedruckt wird. Die Menschen korrigieren wahrscheinlich die Fehler des Roboters, bevor der Code gespeichert wird.
5. Die große Einschränkung (Die „Warnung der Detektive“)
Die Autoren sind sehr ehrlich über ihre Einschränkungen. Sie geben zu, dass sie kein „Wahrheitsserum“ besitzen, um sicher zu wissen, ob ein Mensch oder ein Roboter eine bestimmte Zeile geschrieben hat. Ihre „Metalldetektoren“ raten nur basierend auf Mustern.
- Die Analogie: Es ist, als würde man versuchen zu erraten, ob ein Gemälde von einem Menschen oder einem Roboter gemacht wurde, indem man auf die Pinselstriche achtet. Manchmal ist der Roboter so gut, dass er wie ein Mensch wirkt, und manchmal malt ein Mensch auf eine sehr repetitive Weise, die wie ein Roboter aussieht.
- Das Fazit: Aus diesem Grund bezeichnen sie ihre Ergebnisse als „Proxy-Beobachtungen“. Sie sagen nicht: „Dies ist definitiv Roboter-Code.“ Sie sagen: „Dies sieht basierend auf unseren Werkzeugen sehr sehr nach Roboter-Code aus.“
Zusammenfassung
Zusammenfassend lässt sich sagen, dass diese Studie darauf hindeutet, dass KI zwar beim Schreiben von Software hilft, Menschen aber immer noch die Kapitäne des Schiffes sind. Die KI erledigt viel von dem repetitiven „Testfahren“ und der Notizschreibung, insbesondere in großen Unternehmen. Aber die Menschen überarbeiten die Arbeit intensiv, korrigieren die Fehler und stellen sicher, dass das Endprodukt nicht so aussieht, als hätte ein Roboter es geschrieben. Der „Roboter-Fingerabdruck“ wird im Code selbst tatsächlich schwieriger zu finden, obwohl die Roboter immer noch fleißig die Erklärungen schreiben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.