Technische Zusammenfassung: Code-QA-Bench

Problemstellung

Aktuelle Benchmarks für KI-Coding-Agenten, wie HumanEval, MBPP und SWE-Bench, konzentrieren sich hauptsächlich auf Code-Generierung oder Problemlösung. Obwohl sie effektiv zur Messung von Patch-Generierung sind, versagen sie bei der angemessenen Bewertung des Code-Verständnisses – der Fähigkeit, bestehende Codebasen zu verstehen, Kontrollflüsse nachzuvollziehen, Funktionen zu lokalisieren und Verhalten zu erklären. Eine kritische Lücke besteht darin, echtes Code-Reasoning von Dokumentationsabruf oder Vorab-Trainings-Memorierung zu unterscheiden. Bestehende Repository-Level-QA-Benchmarks bewerten Agenten oft an Repositories mit vollständiger Dokumentation, was es schwierig macht, festzustellen, ob ein Agent den Code liest oder einfach Informationen aus seinen Trainingsdaten oder der bereitgestellten Dokumentation abruft.

Methodik

Code-QA-Bench führt ein vollständig automatisiertes Framework ein, das Repository-Level-QA-Benchmarks synthetisiert, um Code-Verständnis von Dokumentation und Memorierung zu isolieren. Das Framework basiert auf vier Kernprinzipien:

1. Drei-Bedingungen-Experimentaldesign

Um die spezifischen Beiträge von Code-Zugriff, Dokumentation und Memorierung zu quantifizieren, wird jede Aufgabe unter drei unterschiedlichen Bedingungen bewertet:

• Closed-book: Der Agent erhält nur die Frage ohne Repository-Zugriff. Dies misst Vorwissen und Memorierung.
• Code-only: Der Agent hat Zugriff auf das Repository, wobei aller natürlicher Sprachinhalt entfernt wurde (Docstrings, Kommentare, READMEs und Dokumentationsdateien). Dies misst reines Code-Struktur-Reasoning.
• Documented: Der Agent hat Zugriff auf das vollständige Repository einschließlich aller Dokumentationen. Dies misst Code-Reasoning, ergänzt durch Dokumentation.

Wichtige Metriken werden aus den Differenzen zwischen diesen Bedingungen abgeleitet:

• Code-only - Closed-book: Der echte Beitrag des Code-Lesens jenseits der Memorierung.
• Documented - Code-only: Der Nutzen von Dokumentation für das Code-Verständnis.

2. Dokumentationsentfernung (Steuerung auf Umgebungs-Ebene)

Um Code-Struktur-Reasoning zu erzwingen, erstellt das Framework eine „Code-only"-Version jedes Repositories durch programmgesteuertes Entfernen von:

• Docstrings: Identifiziert via AST und entfernt (mit pass eingefügt, um die Syntax zu erhalten).
• Kommentare: Vollzeilen- und Inline-Kommentare werden entfernt oder gekürzt.
• Dokumentationsdateien: Verzeichnisse wie docs/, doc/ und Dateien wie README*, *.md und *.rst werden gelöscht.
  Entscheidend bleibt ausführender Code, Importe, Typ-Annotationen und String-Literale erhalten, sodass semantische Signale von Bezeichnern erhalten bleiben.

3. Antwort-zuerst-Aufgabengenerierung

Im Gegensatz zu früheren Ansätzen, die zuerst Fragen generieren, verwendet Code-QA-Bench eine Antwort-zuerst-Pipeline:

1. Chunk-Auswahl: Dokumentations-Chunks werden extrahiert und basierend auf Inhaltsqualität, Code-Referenzen und Struktur-Signalen bewertet.
2. Gold-Antwort-Generierung: Ein mit Werkzeugen ausgestatteter Agent erkundet den Quellcode (unter Verwendung von read_file, list_directory, search_code), um eine verifizierte „Gold-Antwort" zu produzieren. Der Agent muss mindestens eine Ebene tiefer als die Dokumentation nachvollziehen und Fakten einbeziehen, die nicht im Text enthalten sind.
3. Verifizierung: Eine „Code-only-Prüfung" stellt sicher, dass die Gold-Antwort keine Behauptungen enthält, die nur aus der Dokumentation gewonnen werden können. Ist eine Behauptung dokumentationsabhängig, wird sie entfernt oder umgeschrieben.
4. Fragen-Ableitung: Aus der verifizierten Gold-Antwort wird eine natürliche Sprachfrage abgeleitet, wodurch sichergestellt wird, dass die Aufgabe auf der realen Code-Struktur basiert.

4. Dualer Aufgabensatz

Der Benchmark generiert zwei unterschiedliche Aufgabensätze:

• Code-ableitbare Aufgaben (528 Aufgaben): Gold-Antworten werden verifiziert, als allein aus der Code-Struktur gewinnbar. Diese Aufgaben validieren das Design (Erwartung: Code-only ≈ Documented).
• Dokumentationsabhängige Aufgaben (100 Aufgaben): Gold-Antworten werden ausschließlich aus der Dokumentation generiert und erfordern absichtlich Dokumentation zur vollständigen Beantwortung. Diese Aufgaben quantifizieren den Dokumentationsnutzen (Erwartung: Documented > Code-only).

5. Bewertung

Aufgaben werden von einem LLM-Richter (GPT-5.4) auf einer Skala von 0–5 entlang dreier Achsen bewertet:

• Genauigkeit: Korrektheit faktischer Behauptungen.
• Vollständigkeit: Abdeckung der Schlüsselpunkte im Bewertungsschema.
• Spezifität: Bezugnahme auf spezifische Dateien, Funktionen oder Code-Muster.
  Die Endpunktzahl ist der normalisierte Mittelwert dieser drei Achsen.

Wichtige Ergebnisse

Experimente wurden an vier Frontier-Modellen (Claude Opus 4.6, DeepSeek-V4-Pro, Kimi-K2.6, Gemini-3.1-Pro) über 10 Python-Repositories aus SWE-Bench durchgeführt.

1. Code-Zugriff ist der dominierende Faktor

Der Zugriff auf die Codebasis bietet einen erheblichen Leistungsgewinn gegenüber Memorierung. Der mittlere Gewinn von Code-only gegenüber Closed-book beträgt +0,23, was dreimal so groß ist wie der durch Dokumentation bereitgestellte Gewinn. Dies bestätigt, dass das Lesen von Code erheblich mehr zum Verständnis beiträgt als Vorwissen allein.

2. Dokumentation bietet bescheidenen, messbaren Nutzen

Für dokumentationsabhängige Aufgaben liefert der Zugriff auf Dokumentation eine konsistente, statistisch signifikante Verbesserung (Documented - Code-only = +0,071, p < 0,003). Dies deutet darauf hin, dass, obwohl die Code-Struktur Agenten ermöglicht, einen Großteil der Antwort abzuleiten, Dokumentation kritische Details (Design-Rationale, Randfälle) liefert, die Vollständigkeit und Genauigkeit verbessern.

3. Validierung des Experimentaldesigns

Bei code-ableitbaren Aufgaben ist die Leistungslücke zwischen den Bedingungen Code-only und Documented vernachlässigbar (∆ ≈ +0,007) und für die meisten Modelle statistisch nicht signifikant. Dies validiert die Methodik: Das Framework isoliert erfolgreich Aufgaben, bei denen Dokumentation unnötig ist, und beweist, dass die beobachteten Vorteile bei dokumentationsabhängigen Aufgaben echten Nutzen und keine Artefakte des Evaluierungs-Setups darstellen.

4. Modellspezifische Erkenntnisse

• Memorierung: Modelle erzielen in der Closed-book-Bedingung 0,56–0,68, was eine signifikante Vorab-Trainings-Memorierung bekannter Bibliotheken anzeigt.
• Reasoning vs. Abruf: DeepSeek-V4-Pro zeigte die größte Lücke zwischen Code-only und Closed-book (+0,450), was auf eine starke Abhängigkeit von aktiver Code-Erkundung statt parametrischem Abruf hindeutet.
• Kategorienanalyse: Entgegen der Hypothese, dass „Warum"-Fragen die größte Dokumentationslücke zeigen würden, zeigten „Wo"-Fragen (Funktionslokalisierung) das signifikanteste Delta bei code-ableitbaren Aufgaben, was darauf hindeutet, dass Dokumentation als Navigationsindex fungiert.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Code-QA-Bench einen notwendigen methodischen Wandel bei der Bewertung von KI-Coding-Agenten bietet durch:

1. Trennung von Verständnis und Memorierung: Es bietet eine quantitative Möglichkeit zu messen, wie stark ein Agent auf das Lesen von Code versus das Abrufen von Trainingsdaten oder Dokumentation angewiesen ist.
2. Steuerung auf Umgebungs-Ebene: Durch das Entfernen von Dokumentation auf Repository-Ebene statt des Filterns von Fragen werden Agenten gezwungen, sich mit der Code-Struktur auseinanderzusetzen, was das „Kontaminations"-Problem bestehender Benchmarks adressiert.
3. Automatisiert und reproduzierbar: Die Pipeline ist vollständig automatisiert, repository-unabhängig und auf jedes gut dokumentierte Python-Repository anwendbar, was kontinuierliche Benchmark-Aktualisierungen ermöglicht, sobald Modelle verbessert werden.
4. Diagnostischer Wert: Das Drei-Bedingungen-Design liefert diagnostische Signale (z. B. Sättigung der Spezifität, Memorierungsniveaus), die rein generative Benchmarks verpassen, und bietet eine differenziertere Sicht auf die Fähigkeiten eines Agenten.

Die Autoren schließen, dass, obwohl Frontier-Modelle starke Code-Struktur-Leser sind, der bescheidene aber konsistente Nutzen von Dokumentation die anhaltende Bedeutung gut dokumentierter Codebasen für KI-Agenten unterstreicht. Das Framework ist Open-Source und dient sowohl als Evaluierungswerkzeug als auch als Quelle für verifizierte Trainingsdaten.