💻 computer science

Do AI Agents Really Improve Code Readability?

Die Studie zeigt, dass KI-Agenten zwar häufig Logik und Dokumentation verbessern, aber im Gegensatz zu den Erwartungen oft zu einer Verschlechterung traditioneller Qualitätsmetriken wie der Wartbarkeitsindex und der zyklomatischen Komplexität führen, was die tatsächliche Verbesserung der Code-Lesbarkeit infrage stellt.

Ursprüngliche Autoren: Kyogo Horikawa, Kosei Horikawa, Yutaro Kashiwa, Hidetake Uwano, Hajimu Iida

Veröffentlicht 2026-03-17

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Kyogo Horikawa, Kosei Horikawa, Yutaro Kashiwa, Hidetake Uwano, Hajimu Iida

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben ein altes, etwas chaotisches Haus (Ihren Programmcode). Es funktioniert, aber die Wände sind schief, die Beschriftungen an den Schaltern sind unleserlich und die Anleitungen für den Elektriker sind verworren. Das macht es schwer, das Haus zu renovieren oder zu erweitern.

Jetzt mieten Sie einen hochintelligenten, roboterhaften Handwerker (einen KI-Agenten), der Ihnen verspricht, das Haus „lesbarer" und ordentlicher zu machen. Die große Frage lautet: Macht dieser Roboter das Haus wirklich besser, oder verdirbt er es nur noch mehr?

Diese Studie von Horikawa und seinem Team untersucht genau das. Hier ist die Zusammenfassung in einfachen Worten:

1. Wie oft räumt der Roboter überhaupt auf? (RQ1)

Stellen Sie sich vor, der Roboter baut an 1.000 Häusern. Nur bei 3 Häusern (0,3 %) sagt er explizit: „Ich mache das hier jetzt lesbarer!"
In den meisten Fällen kümmert er sich um andere Dinge, wie neue Fenster (Performance) oder stärkere Fundamente (Struktur). Das Thema „Lesbarkeit" ist für ihn also eher ein Nebenprojekt als der Hauptfokus.

2. Was macht der Roboter, wenn er aufräumt? (RQ2)

Wenn der Roboter doch einmal den Befehl bekommt, etwas „lesbarer" zu machen, tut er etwas Überraschendes.

Was Menschen tun: Wenn ein menschlicher Handwerker ein Haus aufräumt, sortiert er oft die Beschriftungen an den Schaltern (Namen von Variablen), wäscht die Fenster (Formatierung) und klebt neue Schilder auf. Das sind die „oberflächlichen" Dinge.
Was der Roboter tut: Der Roboter ignoriert fast die Beschriftungen. Stattdessen greift er tief in die Wände. Er versucht, die komplizierten Verkabelungen (die Logik) zu vereinfachen und fügt detaillierte Bauanleitungen (Dokumentation) hinzu.
- Beispiel: Statt nur den Schalter umzubenennen, baut er den ganzen Stromkreis um, damit er logischer funktioniert, und schreibt ein 10-seitiges Handbuch dazu.

3. Ist das Ergebnis am Ende besser? (RQ3)

Hier kommt die böse Überraschung. Obwohl der Roboter die Logik vereinfacht und Anleitungen hinzufügt, wird das Haus objektiv schwerer zu warten.

Der Effekt: Der Roboter fügt so viele neue Anleitungen und Kommentare hinzu, dass die „Wandstärke" (der Code) dicker wird.
Die Metrik: Wenn man misst, wie einfach ein Haus zu warten ist (ein Wert, den man „Wartbarkeits-Index" nennt), sinkt dieser Wert in über der Hälfte der Fälle (56,1 %).
Das Paradoxon: Der Roboter macht die Idee hinter dem Code verständlicher (durch bessere Erklärungen), aber er macht den Code selbst komplexer und größer. Es ist, als würde man einem komplizierten Rezept eine 50-seitige Erklärung hinzufügen. Das Rezept ist jetzt verständlicher zu lesen, aber es ist viel schwerer zu kochen, weil es so lang geworden ist.

Die große Lehre (Was bedeutet das für uns?)

Der KI-Roboter ist wie ein übertriebener Architekt, der glaubt, dass mehr Papier (Dokumentation) und tiefgreifende Umbauten (Logik-Änderungen) immer gut sind. Er vergisst aber, dass ein Haus auch einfach und kompakt bleiben muss.

Die wichtigsten Erkenntnisse:

Nicht blind vertrauen: Wenn ein KI-Agent sagt „Ich mache das lesbarer", sollten Sie nicht einfach „Ja" sagen. Oft macht er es nur größer und komplexer.
Der Mensch muss prüfen: Wir müssen genau hinschauen. Der Roboter ist gut darin, die Logik zu erklären, aber schlecht darin, den Code schlank zu halten.
Zukunft: Wir brauchen KI-Agenten, die nicht nur „mehr erklären", sondern auch lernen, Dinge zu löschen und den Code wirklich zu vereinfachen, ohne ihn aufzublähen.

Kurz gesagt: Die KI-Agenten sind fleißige Handwerker, die viel schreiben und umbauen, aber sie machen das Haus oft unhandlicher, statt es wirklich übersichtlicher zu machen. Wir müssen sie im Auge behalten!

1. Problemstellung

Code-Readability (Lesbarkeit) ist ein fundamentaler Faktor für die Wartbarkeit und Nachhaltigkeit von Software. Schlechte Lesbarkeit führt zu technischer Schuld, erhöhten Kommunikationskosten und längeren Entwicklungszeiten.
Mit dem Aufkommen von Large Language Models (LLMs) und autonomen AI Agents hat sich der Ansatz zur automatisierten Refaktorisierung gewandelt. Während frühere Studien die allgemeinen Refaktorisierungsaktivitäten von AI Agents untersucht haben (einschließlich Performance-Optimierung und struktureller Verbesserungen), bleibt die spezifische Wirkung dieser Agenten auf die Code-Lesbarkeit unklar. Es ist nicht bekannt, ob Agenten, die explizit mit dem Ziel der Lesbarkeitsverbesserung agieren, tatsächlich zu einer Qualitätssteigerung führen oder ob sie unbeabsichtigte negative Effekte auf strukturelle Metriken haben.

2. Methodik

Die Studie basiert auf einer datengetriebenen Analyse von Commit-Daten aus dem AIDev-Dataset, das Pull Requests von fünf verschiedenen Coding Agents enthält.

Datenerhebung und Filterung:
- Ausgehend von über 1,3 Millionen Agenten-Commits wurden Commits gefiltert, die Keywords im Commit-Message enthalten, die sich auf Lesbarkeit beziehen (z. B. „readability", „clarity", „understandable").
- Um sicherzustellen, dass es sich um Code-Änderungen und nicht nur um Dokumentation handelt, wurden nur Commits berücksichtigt, die Änderungen an Python-Quelldateien beinhalten.
- Dies ergab einen finalen Datensatz von 403 validen Commits für die quantitative Analyse.
Forschungsfragen (RQs):
1. RQ1: Wie verbreitet sind lesbarkeitsbezogene Commits von AI Agents?
2. RQ2: Welche Arten von „Readability Smells" (Lesbarkeitsproblemen) adressieren diese Commits?
3. RQ3: Wie verändern sich quantitative Code-Metriken vor und nach diesen Commits?
Analyseverfahren:
- Qualitative Analyse (RQ2): Eine manuelle Inspektion einer Stichprobe (231 Commits) durch zwei Experten, um die Art der behandelten Probleme zu kategorisieren (basierend auf einem etablierten Schema von Oliveira et al.).
- Quantitative Analyse (RQ3): Berechnung von Metrik-Deltas ( $\Delta = \text{After} - \text{Before}$ ) für 403 Commits unter Verwendung der Bibliothek Radon.
- Verwendete Metriken:
  - Maintainability Index (MI): Ein zusammengesetzter Wert (höher ist besser).
  - Cyclomatic Complexity (CC): Komplexität der Kontrollstrukturen (niedriger ist besser).
  - Code-Größe: Lines of Code (LOC), Source Lines of Code (SLOC).
  - Halstead-Metriken: Volumen, Schwierigkeit und Aufwand.
- Statistik: Anwendung des Wilcoxon-Vorzeichen-Rang-Tests (da die Daten nicht normalverteilt waren) und Berechnung der Effektstärke (Cliff's Delta).

3. Wichtige Ergebnisse

Seltenheit des Fokus (RQ1):
- Nur 0,3 % aller von AI Agents generierten Commits beziehen sich explizit auf Lesbarkeit. Dies zeigt, dass Lesbarkeit kein primäres Ziel der Agenten ist, sondern eher ein Nebeneffekt oder ein seltenes spezifisches Ziel.
Art der behandelten Probleme (RQ2):
- Im Vergleich zu menschlichen Entwicklern zeigen AI Agents eine starke Verzerrung (Bias).
- Häufigste Kategorien:
  1. Komplexe, lange oder unzureichende Logik (42,4 %).
  2. Unvollständige oder unzureichende Dokumentation (24,2 %).
- Seltene Kategorien: Oberflächliche Aspekte wie Benennungskonventionen (Bad Identifier) oder Formatierung werden deutlich seltener adressiert als von Menschen. Agenten priorisieren also tiefgreifende logische Vereinfachungen und Erklärungen über kosmetische Änderungen.
Auswirkung auf Code-Qualität (RQ3):
- Entgegen der Erwartung führen lesbarkeitsfokussierte Commits oft zu einer Verschlechterung traditioneller Qualitätsmetriken:
  - Der Maintainability Index (MI) verschlechterte sich in 56,1 % der Fälle.
  - Die Cyclomatic Complexity (CC) stieg in 42,7 % der Fälle an.
  - Die Lines of Code (LOC) stiegen in 71,5 % der Fälle signifikant an.
- Interpretation: Die Agenten erhöhen oft den Code-Umfang (z. B. durch mehr Kommentare oder komplexere Abstraktionen), ohne die zugrunde liegende Kontrollflusskomplexität zu reduzieren. Dies führt zu einem höheren kognitiven Aufwand, obwohl die Absicht die Verbesserung der Lesbarkeit war.

4. Hauptbeiträge

Empirische Evidenz: Die Studie liefert die erste quantitative Analyse, die spezifisch den Einfluss von AI-Agenten auf Code-Lesbarkeit isoliert betrachtet, im Gegensatz zu allgemeinen Refaktorisierungsstudien.
Paradoxon der Lesbarkeit: Es wird aufgezeigt, dass Commits, die explizit als „Lesbarkeitsverbesserung" deklariert sind, häufig zu einer messbaren Verschlechterung der Wartbarkeit und einer Erhöhung der Komplexität führen.
Verhaltensanalyse von Agents: Die Arbeit dokumentiert, dass AI Agents eine andere Priorisierungsmatrix als Menschen haben (starker Fokus auf Logik und Dokumentation, schwächer auf Benennung/Formatierung).

5. Signifikanz und Implikationen

Kritische Bewertung notwendig: Entwickler sollten AI-Vorschläge zur Lesbarkeitsverbesserung nicht blind akzeptieren. Die Studie zeigt, dass diese Änderungen oft kontraproduktiv für die strukturelle Qualität sein können.
Tool-Entwicklung: Es wird gefordert, dass Agenten-Systeme um dedizierte Qualitäts-Check-Mechanismen erweitert werden. Diese sollten Metriken wie Halstead-Komplexität und Code-Größe überwachen, um Refaktorisierungen abzulehnen, die den kognitiven Aufwand erhöhen.
Zukünftige Forschung: Es besteht Bedarf an Agenten, die qualitative Bewertungen und langfristige Wartbarkeit berücksichtigen, anstatt nur oberflächliche Änderungen oder reine Logik-Transformationen vorzunehmen. Die aktuelle Generation von Agents scheint das Konzept von „Lesbarkeit" noch nicht vollständig zu verstehen, da sie oft quantitative Metriken verschlechtern, während sie versuchen, die menschliche Lesbarkeit zu verbessern.

Fazit: AI Agents verbessern die Lesbarkeit nicht automatisch; ihre „Verbesserungen" gehen oft mit einer Erhöhung der strukturellen Komplexität und einer Verringerung der Wartbarkeit einher. Ein menschliches Review und automatisierte Qualitätsfilter sind essenziell.