A Reference Framework for Empirical Studies on LLM-Based Code Generation: A Review-Grounded Synthesis

Technisches Resümee: Ein Referenzrahmen für empirische Studien zur LLM-basierten Codegenerierung

Problemstellung
Große Sprachmodelle (LLMs) werden zunehmend für die Codegenerierung und verwandte Aufgaben der Softwaretechnik eingesetzt. Die empirische Evaluierung dieser Systeme bleibt jedoch fragmentiert, was erhebliche Barrieren für Reproduzierbarkeit, Vergleichbarkeit und die Akkumulation kumulativer Evidenz schafft. Bestehende Studien variieren stark in ihren Aufgaben, Problemquellen, Anwendungskontexten, Qualitätsattributen, Metriken, empirischen Methoden, Modellkonfigurationen, Umgebungen und generierten Artefakten. Diese Heterogenität erschwert es, Erkenntnisse über Studien hinweg zu synthetisieren oder gemeinsame methodische Praktiken zu identifizieren. Darüber hinaus führen LLM-basierte Softwaretechnik einzigartige methodische Herausforderungen ein, darunter nicht-deterministische Ausgaben, sich entwickelnde Modellversionen, opakes Modellverhalten, Prompt-Sensitivität und die Notwendigkeit, Artefakte über die funktionale Korrektheit hinaus zu bewerten. Aktuelle Leitlinien für die empirische Softwaretechnik sind oft unzureichend für diese spezifischen Herausforderungen und erfordern daher eine maßgeschneiderte methodische Orientierung.

Methodik
Um diese Lücke zu schließen, führten die Autoren eine strukturierte Übersicht über empirische Studien durch, die LLMs in der Codegenerierung und verwandten Aufgaben behandeln. Die Forschung folgte einem Bottom-up-Syntheseprozess, anstatt einen Rahmen a priori vorzuschlagen.

• Suchstrategie: Eine strukturierte Suche wurde in der ACM Digital Library mit einer Booleschen Abfrage durchgeführt, die auf LLMs, Codegenerierung/Programmierung und empirische Evaluierung abzielt. Die Suche deckte Arbeiten ab, die zwischen 2023 und 2025 veröffentlicht wurden.
• Selektion: Die initiale Suche ergab 75 Arbeiten. Nach Anwendung von Einschluss- und Ausschlusskriterien (Fokus auf empirische Evaluierungen von Codegenerierung, Anpassung, Reparatur, Testen usw., unter Ausschluss nicht-empirischer Vision-Papers) wurden 32 Arbeiten beibehalten. Drei zusätzliche Arbeiten wurden durch Snowballing identifiziert, was zu einem endgültigen Korpus von 35 Studien führte.
• Datenextraktion: Für jede Studie extrahierten und standardisierten die Autoren Daten bezüglich Codierungsaufgaben, Anwendungskontexten, Problemquellen, Qualitätsattributen, Evaluationsmetriken, empirischen Methoden, LLM-Konfigurationen, generierten Ausgaben und Vergleichsaufbauten.
• Synthese: Ein Bottom-up-Kodierungsprozess wurde verwendet, um wiederkehrende Konzepte innerhalb der Extraktionsfelder zu identifizieren. Diese Konzepte wurden in niedrigere Kategorien gruppiert und anschließend zu höheren Dimensionen abstrahiert, die in den untersuchten Studien wiederkehrten.

Zentrale Beiträge
Das Paper leistet fünf primäre Beiträge:

1. Synthese empirischer Praktiken: Eine umfassende Zusammenfassung empirischer Praktiken, die in 35 ausgewählten Studien gefunden wurden, einschließlich kontrollierter Experimente, Benchmark-Evaluierungen, Repository-Mining, Nutzerstudien und Mixed-Methods-Designs.
2. Identifikation wiederkehrender Dimensionen: Die Identifikation von neun wesentlichen methodischen Dimensionen: Aufgaben, Problemquellen, Anwendungskontexte, Qualitätsattribute, Metriken, empirische Methoden, LLM-Konfigurationen, Umgebungen und generierte Ausgaben.
3. Vorschlag eines Referenzrahmens: Die Ableitung eines Bottom-up-Referenzrahmens bestehend aus sechs Kernkomponenten, um das Design, die Berichterstattung und den Vergleich empirischer Studien zur LLM-basierten Codegenerierung zu unterstützen.
4. Traceability-Datensatz: Die Bereitstellung eines kodierten Traceability-Datensatzes, der die untersuchten Studien mit den Rahmen-Dimensionen verknüpft, um Transparenz und zukünftige Evidenzsynthese zu unterstützen.
5. Illustrative Anwendung: Demonstrationen, wie der Rahmen sowohl retrospektiv zur Kartierung bestehender Studien als auch prospektiv zur Ableitung neuer empirischer Studiendesigns genutzt werden kann.

Ergebnisse und Rahmenkomponenten
Die Analyse der 35 Studien offenbarte eine erhebliche methodische Variabilität. Die häufigsten empirischen Praktiken waren kontrollierte Experimente/Evaluierungen (23 Studien) und Vergleiche von Prompt-Strategien (22 Studien). Der Evaluationsumfang reicht über die funktionale Korrektheit hinaus und umfasst Effizienz, Zuverlässigkeit, Sicherheit, Fairness, Lizenzkonformität, Erklärungsqualität und menschenzentrierte Aspekte.

Basierend auf der Synthese schlagen die Autoren einen Referenzrahmen vor, der in sechs Kernkomponenten organisiert ist:

1. Codierungsaufgabe (Coding Task): Erfasst die zu evaluierende Aktivität, einschließlich Aufgabentyp (z. B. allgemeine Generierung, Reparatur, Erklärung), Anwendungskontext (z. B. Wettbewerbsprogrammierung, Sicherheit, Data Science) und Problemquelle (z. B. Benchmarks, Repositories, Dokumentation).
2. Qualitäts- und Metrikevaluierung (Quality and Metrics Evaluation): Definiert die Qualitätsattribute (z. B. Korrektheit, Sicherheit, Fairness) und die spezifischen Metriken, die diese operationalisieren (z. B. pass@k, Laufzeit, menschliche Bewertungen, Vulnerabilitätsraten).
3. Empirisches Forschungsdesign (Empirical Research Design): Umfasst die methodische Struktur, einschließlich der Studienmethode (z. B. kontrolliertes Experiment, Nutzerstudie), des experimentellen Designs (Hypothesen, Variablen), des Vergleichsaufbaus (z. B. LLM vs. Mensch, Cross-Model) und der Datenanalysetechniken.
4. Umgebung (Environment): Erfasst die computergestützten und Ausführungs-Einstellungen, einschließlich Infrastruktur (Cloud, lokal), Ausführungs-/Testumgebungen (Docker, Online-Judges) und menschlicher/organisatorischer Settings (Klassenzimmer, Nutzerstudien).
5. LLM-Konfiguration (LLM Configuration): Deckt Modellauswahl (proprietär vs. Open-Source), Prompting-Strategien (z. B. Chain-of-Thought, Retrieval Augmentation), Parameter-Tuning (Temperatur, Sampling) und Workflow-Strategien (Fine-Tuning, Agenten-basierte Systeme) ab.
6. Generierte Ausgabe (Generated Output): Beschreibt die produzierten Artefakte, die von Code-Snippets und Repository-Ebene-Funktionen bis hin zu Tests, Patches, Erklärungen und Interaktionsverläufen reichen.

Bedeutung und Ansprüche
Das Paper behauptet, dass dieser Rahmen als strukturierter Wortschatz zur Beschreibung, zum Vergleich und zum Design empirischer Studien dient. Er ist nicht darauf ausgelegt, eine einzige experimentelle Methodik vorzuschreiben, sondern vielmehr darauf, die Design-Dimensionen empirischer Studien explizit zu machen. Durch die Organisation des empirischen Designraums zielt der Rahmen darauf ab:

• Die Konsistenz, Vergleichbarkeit und Reproduzierbarkeit in zukünftigen Evaluierungen zu verbessern.
• Forschenden zu helfen, methodische Lücken zu identifizieren und über kompatible Studienkonfigurationen zu argumentieren.
• Die Planung besser fundierter empirischer Untersuchungen zu unterstützen, indem Studien als Konfigurationen interdependenter Entscheidungen statt als isolierte Modellevaluierungen behandelt werden.

Die Autoren betonen, dass der Rahmen eine sich entwickelnde Referenzstruktur ist. Er spiegelt den aktuellen Stand der Literatur (2023–2025) wider und erkennt an, dass zukünftige Verfeinerungen notwendig sein könnten, um neu aufkommende Modelle, Prompting-Workflows und Evaluationsbedenken zu adressieren. Der Rahmen ist so konzipiert, dass er erweiterbar ist, wobei zukünftige Arbeiten geplant sind, um Kompatibilitätsbeschränkungen zwischen den Komponenten zu modellieren und Tool-Unterstützung für das Design empirischer Studien zu entwickeln.