SWE-QA: Can Language Models Answer Repository-level Code Questions?
Dieser Beitrag stellt SWE-QA vor, einen Benchmark für die Beantwortung von Code-Fragen auf Repository-Ebene, der aus 77.100 GitHub-Issues abgeleitet wurde und die Einschränkungen bestehender snippet-basierter Datensätze adressiert, indem er LLMs anhand komplexer, mehrdateiger Reasoning-Aufgaben durch eine kuratierte Sammlung von 576 Fragen und ein zugehöriges agentisches Framework bewertet.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen zu verstehen, wie eine riesige, zehnstöckige Bibliothek funktioniert.
Das Problem: Die „Snippet"-Falle
Bisher waren die meisten Tests für die „Code-Gehirne" von KI so, als würde man ihnen eine einzelne, isolierte Seite aus einem Buch zeigen und fragen: „Was bedeutet dieser Satz?" Zwar mag die KI das richtig beantworten, aber Software aus der realen Welt besteht nicht aus einzelnen Seiten. Sie ist die gesamte Bibliothek. Um eine Frage wie „Warum schließt sich die Haustür automatisch, wenn die Sonne untergeht?" zu beantworten, müssen Sie durch den Keller gehen, die Verkabelung im Dachboden prüfen und die Baupläne im Büro des Managers lesen. Sie müssen Punkte über viele verschiedene Dateien hinweg verbinden.
Frühere KI-Tests scheiterten, weil sie die KI nicht zu diesem „Bibliotheksrundgang" zwangen. Sie testeten nur, ob die KI eine einzelne Seite lesen konnte.
Die Lösung: SWE-QA (Der Bibliotheksrundgang)
Die Autoren dieses Papiers entwickelten einen neuen Test namens SWE-QA. Denken Sie daran als an eine strenge „Bibliotheksrundgangs"-Prüfung für KI.
- Das Ausgangsmaterial: Sie erfanden die Fragen nicht einfach. Sie gingen in 15 echte, beliebte Software-„Bibliotheken" (GitHub-Repositories) und untersuchten 77.000 echte Fragen, die menschliche Entwickler tatsächlich untereinander stellten.
- Die Taxonomie (Die Karte): Sie organisierten diese Fragen in eine Karte. Sie fragten: Fragen wir Was ist das? Warum wurde es so gebaut? Wo versteckt sich der Code? oder Wie funktioniert es?
- Der Aufbau: Sie erstellten 720 hochwertige Fragen. Um sie zu beantworten, kann die KI nicht einfach raten. Sie muss:
- Die richtige Datei finden (wie das richtige Regal finden).
- Den Code in dieser Datei lesen.
- Zu einer anderen Datei springen, um zu sehen, wie sie verbunden sind (Multi-Hop-Reasoning).
- Eine Antwort synthetisieren, die das gesamte System erklärt.
Das Experiment: Die KI-Bibliothekare testen
Die Forscher nahmen sechs der intelligentesten verfügbaren KI-Modelle (wie GPT-5.1, Gemini und andere) und gaben ihnen diese „Bibliotheksrundgangs"-Prüfung. Sie testeten sie auf drei verschiedene Arten:
- Der „Auswendiglerner" (Direktes Prompting): Sie stellten der KI einfach die Frage, ohne ihr die Bibliotheksbücher zu geben.
- Ergebnis: Die KI versagte kläglich. Es war, als würde man jemanden bitten, eine Bibliothek zu beschreiben, die er noch nie besucht hat.
- Der „Index-Finder" (RAG): Sie gaben der KI ein Werkzeug, um vor der Beantwortung relevante Seiten zu suchen.
- Ergebnis: Viel besser! Die KI konnte die richtigen Seiten finden, verpasste aber manchmal die Verbindungen zwischen ihnen.
- Der „Detektiv-Agent" (Agent-Frameworks): Sie gaben der KI ein „Detektiv-Kit" (Werkzeuge wie OpenHands), das es ihr ermöglichte, eigenständig zu denken, zu suchen, zu lesen, erneut zu suchen und die Punkte zu verbinden.
- Ergebnis: Dies war der Gewinner. Die KI, die wie ein Detektiv handelte und die Codebasis aktiv erkundete, erzielte die höchsten Punktzahlen (etwa 70 von 100).
Die Erkenntnisse: Was die KI kann und was nicht
- Die gute Nachricht: KI wird wirklich gut darin zu erklären, warum Dinge auf eine bestimmte Weise gebaut wurden (Design Rationale) oder wie eine bestimmte Funktion funktioniert, insbesondere wenn die Erklärung klar in den Code-Kommentaren geschrieben ist.
- Die schlechte Nachricht: Die KI hat immer noch Schwierigkeiten mit „Wo"-Fragen (genau herauszufinden, wo eine bestimmte Variable über 10 Dateien hinweg definiert ist) und komplexen „Was"-Fragen, die das Nachverfolgen einer langen Kette von Abhängigkeiten erfordern. Es ist, als könnte die KI die Geschichte der Bibliothek verstehen, aber sie verirrt sich manchmal beim Versuch, den spezifischen Schlüssel zur Hintertür zu finden.
- Die Kosten: Der „Detektiv"-Ansatz funktioniert am besten, ist aber teuer. Er verbraucht 100-mal mehr Rechenleistung (Tokens) als einfaches Raten. Es ist der Unterschied zwischen einem schnellen Blick und einer vollständigen forensischen Untersuchung.
Die Schlussfolgerung
Dieses Papier führt einen neuen, härteren und realistischeren Test für KI ein. Es zeigt, dass KI zwar vielversprechend für das Verständnis von Software ist, aber immer noch Unterstützung benötigt, um die komplexe, vernetzte Natur von Code aus der realen Welt zu navigieren. Die besten Ergebnisse erzielen KI-Agenten, die aktiv durch die Code-Dateien „laufen" können, anstatt nur ein einzelnes Snippet zu lesen.
Kurz gesagt: Wir haben einen härteren Test entwickelt, um zu sehen, ob eine KI wirklich ein ganzes Softwareprojekt verstehen kann und nicht nur ein winziges Stück davon. Die KI wird besser, aber sie braucht immer noch eine gute Karte und einen Detektiv-Mindset, um die schwierigsten Rätsel zu lösen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.