Technische Samenvatting: Agente Repository Mining: Een Multi-Taak Evaluatie

Probleemstelling

Het delven van software-repositories (MSR) vereist vaak het classificeren van artefacten—zoals commits, code-regels, reviews of volledige repositories—in specifieke categorieën. Traditionele menselijke labeling is duur, tijdrovend en vatbaar voor fouten. Hoewel Machine Learning (ML) en Large Language Models (LLM's) alternatieven bieden, staan ze voor een kritieke knelpunt: context-engineering.

Standaard LLM-benaderingen vereisen dat mensen de context vooraf ontwerpen (bijvoorbeeld het selecteren van specifieke code-diffs, metadata of bestandsinhoud) om in de prompt van het model te passen. Dit proces is arbeidsintensief en leidt vaak tot verkeerde classificaties of onzekerheid wanneer de geboden context ontoereikend is of wanneer de grootte van het artefact de contextvenster van het model overschrijdt. Daarentegen stelt Agente Repository Mining voor dat LLM-agenten repositories autonoom kunnen verkennen met behulp van standaard ontwikkeltools (bijvoorbeeld bash, git) om dynamisch de benodigde context voor classificatie op te halen, waardoor de noodzaak voor menselijke voorafgaande engineering wordt omzeild. Het blijft echter onduidelijk of deze zelf opgehaalde contexten de classificatiekwaliteit van door mensen samengestelde invoer kunnen evenaren.

Methodologie

De auteurs voerden een empirische multi-taak evaluatie uit waarbij agente benaderingen werden vergeleken met eenvoudige LLM-baselines over vier verschillende MSR-classificatietaken.

Experimentele Opzet

• Taken:
  1. Herbold (Verstrengelde Commits): Classificeren of een specifieke regel in een bugfix-commit bijdraagt aan de fix of ongegerelateerd is (bijvoorbeeld refactoring, witruimte).
  2. Härtel (Beveiligingsreviews): Bepalen of een Pull Request (PR) review-commentaar een potentieel beveiligingsdefect bespreekt.
  3. Levin (Onderhoudsactiviteiten): Commits classificeren als corrigerend, adaptief of perfectief.
  4. Munaiah (Repository Classificatie): Gestructureerde softwareprojecten onderscheiden van huiswerk, speelgoed of persoonlijke experimenten.
• Benaderingen:
  • Eenvoudige LLM's: Ontvangen vooraf ontworpen context (bijvoorbeeld volledige diffs, commit-berichten, README's) in één beurt. Varianten omvatten Chain-of-Thought (CoT), No-CoT en een Memorization-baseline (geen context).
  • Agente LLM's: Opereren in een afgesloten Docker-container met toegang tot de volledige repository. Ze voeren autonoom een reeks bash-opdrachten uit (bijvoorbeeld git checkout, grep, cat) om de repository te verkennen en bewijs te verzamelen voordat ze classificeren. Twee tool-aanroepvarianten werden getest: Native (door de leverancier specifieke gestructureerde output) en Stop-Sequence (XML-getagde opdrachten).
• Modellen: De experimenten maakten gebruik van Claude 3.7 Sonnet, Mistral Large 3 en Llama 3.3 70B via Amazon Bedrock.
• Metingen: Classificatie-nauwkeurigheid (met behulp van een hiërarchisch Bayesiaans model om rekening te houden met steekproefmoeilijkheid), resourcegebruik (tokens, tijd, kosten) en faalmodi (contextoverflow, tool-fouten).
• Schaal: 4.943 geldige classificaties over 4.943 experimenten (met uitzondering van contextoverflow-fouten bij eenvoudige LLM's voor sommige metrieken).

Belangrijkste Bijdragen

1. Agente Framework: Introductie van een eenvoudig framework voor agente repository mining waarbij agenten standaard bash-opdrachten gebruiken in geïsoleerde containers om dynamisch context op te halen voor classificatie.
2. Vergelijkende Evaluatie: Een directe vergelijking van nauwkeurigheid, resourcegebruik en faalmodi tussen agente en eenvoudige LLM-benaderingen over vier diverse taken.
3. Diagnose van Ground Truth: Handmatige diagnose van 100 gevallen waarin benaderingen niet overeenkwamen met de ground truth, wat ambiguïteiten in de oorspronkelijke labelrichtlijnen en beperkingen van labels die onder beperkte context zijn geproduceerd, aan het licht bracht.

Resultaten

1. Robuustheid en Schaalbaarheid

Het primaire voordeel van agenten is robuustheid tegenover contextgrootte.

• Contextoverflow: Eenvoudige LLM's kwamen vaak contextoverflow-fouten tegen (bijvoorbeeld 9 fouten voor Llama, 7 voor Sonnet) wanneer artefacten (zoals volledige repositories of grote diffs) de modelgrenzen overschreden. Agenten ondervonden nul contextoverflow-fouten.
• Kostenscaling: De kosten van eenvoudige LLM's correleerden lineair met de grootte van de vooraf ontworpen context. De kosten van agenten toonden een bijna nul-correlatie met de artefactgrootte omdat agenten selectief alleen de benodigde regels lazen.
• Kostenefficiëntie: Hoewel agenten over het algemeen duurder waren (factoren van 1,2x tot 3,2x hoger) vanwege meerdere tool-aanroepen en token-accumulatie, werden ze kosteneffectiever dan Simple Sonnet wanneer de ontworpen context ongeveer 30K tokens overschreed.

2. Classificatienauwkeurigheid

• Concurrerende Prestaties: Agenten behaalden een nauwkeurigheid die concurrerend was met eenvoudige LLM's, ondanks dat ze hun eigen context ophaalden in plaats van vooraf ontworpen invoer ontvingen.
• Taakspecifieke Variantie:
  • Herbold (Regels): Alle benaderingen hadden moeite (46–56% nauwkeurigheid), zonder duidelijke winnaar.
  • Härtel (Beveiliging): Agenten presteerden vergelijkbaar met Simple Sonnet. Opmerkelijk was dat Simple Llama het beste presteerde wanneer fouten werden uitgesloten, waarschijnlijk vanwege de neiging om "onduidelijk" te voorspellen (een geldige strategie voor deze ambiguïteitsvolle taak).
  • Levin (Commits): Hoge nauwkeurigheid over alle modellen (87–93%), zonder significant verschil tussen agenten en eenvoudige LLM's.
  • Munaiah (Repositories): Agenten toonden een lichte voorsprong, met name Agent Mistral, met een kans van 78% om betekenisvol beter te zijn dan Simple Mistral. Deze taak toonde het sterkste signaal voor een agent-voordeel.
• Omgaan met Onzekerheid: Zowel agenten als eenvoudige LLM's hadden moeite om "onduidelijke" labels correct te identificeren, waarbij ze vaak terugvielen op een specifieke categorie. Agenten, met bredere contexttoegang, neigden om onzekerheid te onderschatten.

3. Faalmodi en Meningsverschillen

• Tool-fouten: Agenten hadden niet-dodelijke tool-aanroepfoutpercentages van ongeveer 1,7–2,2%, maar herstelden zich in daaropvolgende stappen.
• Meningsverschillen met Ground Truth: Handmatige diagnose van 100 meningsverschilgevallen onthulde:
  • Specificatie-Ambiguïteiten: Veel meningsverschillen vloeiden voort uit vage taakdefinities (bijvoorbeeld het onderscheiden tussen witruimte-opruiming en refactoring).
  • Contextbeperkingen: Sommige ground truth-labels waren waarschijnlijk onjuist of "onduidelijk" omdat de oorspronkelijke menselijke annotatoren de bredere context misten die agenten hadden.
  • Conclusie: Nauwkeurigheidsmetingen tegen bestaande ground truth kunnen de prestaties van benaderingen met bredere contexttoegang onderschatten.

Betekenis en Claims

Het artikel beweert dat agente repository mining een levensvatbaar en robuust alternatief is voor traditionele context-ontworpen LLM-classificatie.

• Onafhankelijkheid van Artefactgrootte: Agenten schalen onafhankelijk van artefactgrootte, waardoor ze de contextvenster-knelpunten vermijden die eenvoudige LLM's teisteren.
• Concurrerende Nauwkeurigheid: Ondanks de complexiteit van dynamische ophaling, halen agenten de nauwkeurigheid van door mensen samengestelde invoer, wat suggereert dat het knelpunt van "context-engineering" kan worden geautomatiseerd zonder kwaliteitsverlies.
• Herwaardering van Ground Truth: De studie suggereert dat bestaande MSR ground truths, vaak afgeleid van beperkte context, inherente ambiguïteiten of fouten kunnen bevatten. Benaderingen met bredere contexttoegang (zoals agenten) kunnen nauwkeurigere classificaties bieden dan de huidige "gouden standaard"-labels suggereren.

De auteurs concluderen dat hoewel agenten momenteel duurder zijn voor kleine artefacten, hun vermogen om grote, complexe repositories zonder overflow te verwerken, hen een superieure keuze maakt voor schaalbaar software-engineeringonderzoek.