How Do LLMs Read Bug Reports? An Empirical Study of Attention in LLMs for Automated Program Repair

Das Dilemma des Detektivs: Warum KI manchmal die Hinweise übersieht

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen. Sie haben ein Notizbuch voller Hinweise: die Geschichte eines Zeugen, ein verschwommenes Foto, eine Liste von Verdächtigen und eine Karte des Tatorts. Um den Fall zu lösen, müssen Sie jede Seite lesen, die Punkte verbinden und herausfinden, welcher Hinweis tatsächlich wichtig ist. Stellen Sie sich nun vor, Sie stellen einen superintelligenten Roboter-Detektiv ein, um dieselbe Aufgabe zu erledigen. Sie übergeben ihm das Notizbuch, und er schreibt sofort eine Lösung. Aber hier ist der seltsame Teil: Manchmal löst der Roboter das Rätsel perfekt, und ein anderes Mal scheitert er kläglich – selbst wenn Sie ihm exakt dasselbe Notizbuch geben!

Dies ist die Welt der Large Language Models (LLMs) und der automatisierten Programmbereparatur (Automated Program Repair). LLMs sind wie diese superintelligenten Roboter; es sind KI-Systeme, die auf riesigen Mengen an Text und Code trainiert wurden. Sie können Geschichten schreiben, Fragen beantworten und sogar Fehler (Bugs) in Computerprogrammen beheben. „Automatisierte Programmbereparatur“ ist nur ein schicker Begriff dafür, die KI zu bitten, sich ein kaputtes Stück Software und eine Beschreibung des Problems anzusehen und dann den Code zur Behebung zu schreiben. Doch Entwickler haben etwas Frustrierendes bemerkt: Diese KI-Detektive sind inkonsistent. Sie beheben vielleicht einen Fehler mühelos, scheitern aber an einem fast identischen Fehler direkt daneben. Wissenschaftler wollen wissen: Warum? Rate die KI nur oder schaut sie auf die falschen Hinweise? Dieses Paper taucht in das „Gehirn“ der KI ein, um genau zu sehen, worauf sie achtet, wenn sie versucht, ein fehlerhaftes Programm zu reparieren.

Die große Entdeckung des Papers: Wo die KI hinsieht, zählt

In dieser Studie beschlossen die Forscher, ein Spiel namens „Finde den Unterschied“ mit der Aufmerksamkeit der KI zu spielen. Sie nahmen 319 reale Bugs aus populären Softwareprojekten (geschrieben in Python und Java) und baten drei verschiedene KI-Modelle, diese zu beheben. Einige Modelle waren die großen, teuren, geschlossenen Modelle (wie das proprietäre claude-4-sonnet), andere waren Open-Source-Modelle (wie gpt-oss-20b und qwen-3-32b).

Um herauszufinden, was die KI dachte, nutzten die Forscher einen cleveren Trick namens Perturbationsanalyse. Stellen Sie sich vor, Sie haben ein Rezept für einen Kuchen und möchten wissen, welche Zutat am wichtigsten ist. Sie könnten versuchen, den Kuchen ohne Mehl zu backen, dann ohne Zucker, und sehen, was den Kuchen am meisten ruiniert. Die Forscher machten dasselbe mit den Bug-Reports. Sie nahmen einen Bug-Report – der normalerweise Abschnitte wie „Was schiefgelaufen ist“, „Wie man den Fehler reproduziert“, „Welche Softwareversion verwendet wurde“ und „Wie der Code aussert“ enthält – und löschten heimlich jeweils einen Abschnitt nach dem anderen. Dann baten sie die KI, den Bug erneut zu beheben. Wenn sich die Lösung der KI nach dem Löschen eines Abschnitts stark veränderte, bedeutete dies, dass die KI diesem Teil wirklich Aufmerksamkeit schenkte. Wenn die Lösung gleich blieb, war der KI dieser Teil egal.

Die „diffusen“ vs. „lokalisierten“ Aufbaumuster

Die Forscher fanden zwei sehr unterschiedliche Arten, wie die KI die Hinweise betrachtete, und diese Muster verrieten alles darüber, ob die Reparatur funktionieren würde.

1. Der „diffuse“ Detektiv (Der Gewinner):
Wenn die KI erfolgreich war, agierte sie wie ein gründlicher Detektiv. Sie verteilte ihre Aufmerksamkeit über viele verschiedene Teile des Bug-Reports. Sie betrachtete die Fehlerbeschreibung (die Geschichte dessen, was schiefgelaufen ist), den Stacktrace (das technische Fehlerprotokoll, das auf die exakte Codezeile hinweist) und die Testfälle (Beispiele dafür, wie der Code sich verhalten sollte). Die Forscher nennen dies diffuse Aufmerksamkeit. Es war, als ob die KI das gesamte Notizbuch las und die Geschichte des Zeugen mit der Karte und dem Foto verband.

• Das Ergebnis: Wenn die KI dies tat, war die Wahrscheinlichkeit, dass sie den Bug behob, viel höher. Tatsächlich stellte die Studie fest, dass „diffuse Aufmerksamkeit“ stark mit dem Erfolg korrelierte.

2. Der Detektiv mit dem „Tunnelblick“ (Der Verlierer):
Wenn die KI scheiterte, agierte sie wie ein Detektiv mit Tunnelblick. Sie wurde besessen von einem winzigen, unwichtigen Detail und ignorierte alles andere. Oft fixierte sie sich auf Versionsinformationen (wie „Software Version 1.2.3“ oder „Betriebssystem: Linux“). Das ist so, als würde ein Detektiv die Tatwaffe und den Zeugen ignorieren und statstattdessen seine Zeit damit verbringen, auf die Schuhgröße des Verdächtigen zu starren.

• Das Ergebnis: Wenn die KI zu sehr auf diese langweiligen Metadaten-Details fokussiert war, scheiterte sie meistens bei der Behebung des Bugs. Die Studie zeigte, dass „lokalisierte Aufmerksamkeit“ (der Fokus auf nur eine Sache) ein starkes Anzeichen dafür war, dass die Reparatur fehlschlagen würde.

Stimmen KI und Menschen bei der Wichtigkeit überein?

Die Forscher wollten auch wissen, ob die KI dieselben Hinweise betrachtet, auf die menschliche Entwickler achten. Um dies herauszufinden, baten sie vier erfahrene menschliche Entwickler, 100 der gleichen Bug-Reports zu lesen und die Teile zu markieren, die sie für am wichtigsten hielten.

Die Ergebnisse waren eine Mischung aus guten und schlechten Nachrichten:

• Die guten Nachrichten: Wenn die KI erfolgreich war, betrachtete sie meistens dieselben Abschnitte, die die Menschen für wichtig hielten. Die KI und die Menschen stimmten bei den wichtigsten Hinweisen (wie der Fehlerbeschreibung) in etwa 54 % der Fälle überein.
• Die schlechten Nachrichten: Wenn die KI scheiterte, ignorierte sie oft die wichtigsten Hinweise der Menschen und konzentrierte sich auf die falschen Dinge (wie Versionsnummern). Die Studie ergab: Je mehr die Aufmerksamkeit der KI mit der Aufmerksamkeit der Menschen übereinstimmte, desto höher war die Chance auf eine erfolgreiche Reparatur.

Was das Paper ausschließt

Es ist wichtig anzumerken, was diese Studie nicht gefunden hat. Die Forscher prüften, ob die Schwierigkeit des Bugs der Hauptgrund für das Scheitern war. Sie untersuchten „einfache“, „mittelschwere“ und „schwere“ Bugs. Sie fanden heraus, dass zwar schwerere Bugs tatsächlich schwieriger zu beheben waren, aber die Bug-Schwierigkeit allein nicht erklärte, warum die KI scheiterte. Selbst bei einfachen Bugs konnte die KI scheitern, wenn sie „Tunnelblick“ hatte und die richtigen Hinweise ignorierte. Dies deutet darauf hin, dass das Problem nicht nur darin besteht, dass die Bugs zu schwer sind; das Problem ist, dass die KI manchmal an der falschen Stelle sucht.

Das Fazit

Dieses Paper legt nahe, dass das Geheimnis, die KI besser im Beheben von Code zu machen, nicht nur darin besteht, ihr mehr Daten zu geben oder sie intelligenter zu machen. Es geht darum, ihr das Lesen beizubringen. Die Studie zeigt, dass erfolgreiche Reparaturen stattfinden, wenn die KI ihre Aufmerksamkeit über die gesamte Geschichte verteilt – die Symptome, die Fehlerprotokolle und das erwartete Verhalten – anstatt bei langweiligen Details wie Softwareversionen stecken zu bleiben.

Durch das Verständnis, dass KI unter „Tunnelblick“ leiden kann, können Entwickler nun bessere Anweisungen (Prompts) entwerfen, um die KI zu zwingen, auf die richtigen Hinweise zu achten. Es ist, als würde man einen Detektiv lehren, aufzuhören, auf die Schuhe des Verdächtigen zu starren, und stattdessen auf die Tatwaffe zu achten. Die Forscher haben sogar einen neuen Datensatz mit menschlich annotierten Bug-Reports erstellt, um zukünftige KI-Modelle dabei zu unterstützen, auf die richtigen Dinge zu achten, was sie hoffentlich zu zuverlässigeren Partnern bei der Behebung der Software macht, die unsere Welt am Laufen hält.