Beyond Code Snippets: Benchmarking LLMs on Repository-Level Question Answering

Probleemstelling

Grote Taalmodellen (LLMs) hebben indrukwekkende prestaties geleverd op software-engineeringstaken, maar de meeste bestaande benchmarks en studies richten zich op geïsoleerde code-snippets (bijv. enkele functies of bestanden). Dit negeert de complexiteit van repository-level programma-comprehensie in de echte wereld, waar het beantwoorden van vragen vaak vereist dat men door meerdere bestanden, modules en systeemafhankelijkheden heen navigeert.

Bestaande benaderingen hebben beperkingen:

• Contextbeperking: Het simpelweg invoeren van een hele repository in het contextvenster van een LLM is vaak inefficiënt en kan de prestaties zelfs verslechteren ("distracting-context effect").
• Tekstuele zoekopdrachten: Retrieval-Augmented Generation (RAG) die alleen gebaseerd is op vlakke tekstuele gelijkenis, mist de inherente structurele en semantische relaties in code (zoals functie-aanroepen, class-hiërarchieën en data-flow).
• Geen realistische datasets: Bestaande datasets bevatten vaak gegenereerde vragen of zijn beperkt tot één project, waardoor ze niet volledig realistisch of reproduceerbaar zijn voor repository-schaal.

Methodologie

De auteurs introduceren StackRepoQA, een nieuw dataset en evaluatiekader om deze kloof te dichten.

1. Dataset Constructie (StackRepoQA):

• Bron: 1.318 echte ontwikkelaarsvragen met geaccepteerde antwoorden van Stack Overflow.
• Mapping: Deze vragen zijn gekoppeld aan 134 actieve, open-source Java-projecten op GitHub.
• Selectiecriteria: Repositories moesten minimaal 20 bijdragers, 10 stars, 1.000 commits, een grootte van 10 MB en een permissieve licentie hebben.
• Validatie: Een senior Java-ontwikkelaar handmatig beoordeelde de koppelingen om valse positieven te minimaliseren. Het dataset bevat ook vragen die na de trainingscutoff-datum van de modellen zijn gesteld, om memorisatie te onderscheiden van redenering.

2. Experimenteel Ontwerp:

• Modellen: Twee toonaangevende LLMs werden getest: Claude 3.5 Sonnet en GPT-4o.
• Configuraties:
  • Baseline: Directe prompting zonder externe tools (alleen interne kennis).
  • Agentic Setup: Een multi-agent systeem (gebaseerd op AutoGen) met een supervisor-agent die twee gespecialiseerde retrieval-agenten aanstuurt:
    • File-RAG Agent: Haalt relevante codefragmenten op via vectorzoekopdrachten (ChromaDB) op basis van tekstuele gelijkenis.
    • Graph-RAG Agent: Queryt een Neo4j-database die is opgebouwd uit de Abstract Syntax Tree (AST) en statische afhankelijkheden (CALLS, CONTAINS, EXTENDS, USES) om structurele relaties te vinden.
  • Summarization Agent: Synthetiseert de gevonden informatie tot een coherent antwoord.
• Evaluatie: In plaats van traditionele metrics (BLEU/ROUGE) werd gebruikgemaakt van "LLM-as-a-judge" (twee modellen beoordeelden de antwoorden op correctheid, volledigheid en trouw aan de context). Dit werd gevalideerd tegen menselijke beoordelaars.

Belangrijkste Bijdragen

1. StackRepoQA Dataset: De eerste publiek beschikbare, multi-project dataset voor repository-level Q&A, afgeleid van echte Stack Overflow-vragen met geaccepteerde antwoorden.
2. Systematische Evaluatie: Een rigoureuze vergelijking van LLM-prestaties onder directe prompting versus verschillende RAG-strategieën (file-based vs. graph-based).
3. Ablatie-studie: Analyse van de bijdrage van elke agent en het effect van het negeren van interne kennis om memorisatie te isoleren.
4. Inzicht in Memorisatie: Het paper levert empirisch bewijs dat veel "succesvolle" antwoorden voortkomen uit het reproduceren van trainingsdata (Stack Overflow) in plaats van echte redenering over de code.

Resultaten

• Baseline Prestaties: Zonder augmentatie behaalden de modellen gemiddeld een redelijke score (~58-69%), maar dit bleek grotendeels te wijten aan memorisatie.
  • Cutoff-analyse: De prestaties daalden significant voor vragen die na de trainingscutoff-datum waren gesteld (bijv. van 6.59 naar 5.44 voor Claude), wat aantoont dat de modellen niet echt "redeneren" over nieuwe codebases.
• Impact van RAG:
  • File-RAG: Leverde beperkte verbeteringen op.
  • Graph-RAG: Boekte de grootste winst. Structurele retrieval (via Neo4j) verbeterde de prestaties aanzienlijk meer dan alleen tekstuele zoekopdrachten.
  • Totale Score: Zelfs met de beste configuratie (Graph-RAG) bleef de nauwkeurigheid beperkt (rond de 64%), wat aangeeft dat repository-level comprehension nog steeds een uitdaging is.
• Memorisatie vs. Redenering: Veel antwoorden waren letterlijke kopieën van bestaande Stack Overflow-antwoorden. Wanneer modellen werden gevraagd om hun interne kennis te negeren en alleen op de opgehaalde code te vertrouwen, stortten de scores in.
• Afwijkende Effecten: Voor vragen die niets te maken hadden met de repository (onrelated), verslechterde de prestatie soms door RAG, wat wijst op het "distracting effect" van irrelevante context.

Betekenis en Conclusie

Dit onderzoek heeft belangrijke implicaties voor zowel onderzoek als praktijk:

• Waarschuwing voor Praktijk: LLMs kunnen niet als standalone oplossing worden gebruikt voor het begrijpen van private of snel evoluerende codebases, omdat hun prestaties sterk afhankelijk zijn van memorisatie van openbare data.
• Noodzaak van Structuur: Effectieve repository-level QA vereist structurele retrieval (zoals graaf-gebaseerde RAG) in plaats van alleen tekstuele zoekopdrachten.
• Benchmarks: Toekomstige benchmarks moeten strikt onderscheid maken tussen memorisatie en redenering, bijvoorbeeld door het gebruik van tijdscutoffs en onbekende repositories.
• Toekomst: De auteurs pleiten voor systemen die dynamisch kunnen aanpassen aan nieuwe code en voor het integreren van rijkere structurele signalen (zoals data-flow en call-graphs) om de betrouwbaarheid van LLM-tools in de softwareontwikkeling te vergroten.

Kortom, hoewel LLMs potentie hebben, zijn ze momenteel nog niet betrouwbaar genoeg voor complexe repository-taken zonder geavanceerde, structuur-georiënteerde augmentatiemethoden en strikte evaluatieprotocollen.