Technische Samenvatting: SHERLOC – Gestructureerde Diagnostische Lokalisatie voor Code-reparatie Agents

1. Probleemstelling

Repository-niveau code-reparatie leunt steeds vaker op Large Language Model (LLM) agents die redeneren afwisselen met gestructureerde tool-aanroepen om GitHub-issues op te lossen. Echter, een systematische analyse van bestaande agents onthult een kritieke inefficiëntie: agents besteden bijna de helft van hun interactiebudget (een gemiddelde van 18,5 beurten en meer dan 320k tokens per instantie) uitsluitend aan het lokaliseren van fouten voordat ze een code-patch proberen te maken.

Huidige lokalisatiemethoden lijden onder twee primaire beperkingen:

1. Onvolledige Output: De meeste benaderingen halen foutieve bestanden of functies op, maar bieden niet de diagnostische context (oorzaak, richting van de oplossing) die nodig is voor downstream reparatie-agents om effectief te handelen.
2. Evaluatie Mismatch: Specifieke lokalisatie-frameworks worden vaak geëvalueerd als bestand-retrieversystemen in plaats van als actiegerichte diagnostische tools, waardoor locaties worden geproduceerd zonder de redenering die vereist is voor reparatie.

Dit creëert een prestatie-bottleneck waarbij aanzienlijke rekenbronnen worden verbruikt aan zoeken in plaats van constructie, en de resulterende locaties vaak niet de specificiteit bezitten die nodig is om reparatie te sturen.

2. Methodologie: SHERLOC

De auteurs introduceren SHERLOC (Structured Hypothesis-driven Exploration and Reasoning for Localization), een training-vrij framework ontworpen om een redenerend LLM te koppelen aan een compacte suite van repository-tools en zelfherstelmechanismen.

Kernarchitectuur

SHERLOC werkt als een enkel redenerend LLM dat interacteert met een deterministische tool-executor via een begrensde, iteratieve loop (maximaal 20 beurten). Het vereist geen fine-tuning, reinforcement learning of multi-agent orchestratie.

• Tool Suite: Het framework maakt gebruik van vier LLM-vriendelijke tools:
  • View File: Inspecteert de inhoud van bestanden met fuzzy path matching en optionele regelbereiken.
  • Codebase Search: Voert repository-brede letterlijke zoekopdrachten uit met context.
  • Repository Tree: Toont de gefilterde bestandsstructuur om globale context te herwinnen.
  • Connected Tree: Vat import-relaties samen (direct en omgekeerd) om dependencies te navigeren.
• Iteratieve Interactie: Het model wisselt af tussen redeneren en tool-selectie. Het verzamelt observaties (snippets, paden, dependency-samenvattingen) in zijn contextgeschiedenis om een hypothese-toestand te vormen.
• Zelfherstelmechanismen: Om uitgebreid toolgebruik te stabiliseren, gebruikt SHERLOC lichtgewicht herstelstrategieën:
  • Context-truncatie (behoud van de initiële prompt en recente beurten).
  • Loop-detectie (waarschuwing tegen herhaalde, onproductieve aanroepen).
  • Impliciet tool-call herstel (verwerken van slecht gevormde maar eenduidige verzoeken).
  • Final-turn synthese (een conclusie afdwingen wanneer het stappenbudget is uitgeput).

Gestructureerde Diagnostische Output

In tegen afhankelijk van voorgaande methoden die alleen bestandspaden outputten, genereert SHERLOC een gestructureerde diagnostische bevinding voor elke voorspelde locatie. Deze bevinding bevat vijf velden:

1. Locatie-uitleg: Waarom het bestand wordt vermoed.
2. Oorzaak (Root Cause): Het onderliggende mechanisme van de bug.
3. Oplossingsidee: Actiegerichte begeleiding voor de fix (zonder code).
4. Dependencies: Impact op andere modules.
5. Test-impact: Voorgestelde wijzigingen aan tests.

Evaluatiemetrieken

Het paper stelt structuur-agnostische chunk-level metrieken voor (coverage recall, precision en gemiddelde 'tightness') over regelnummers heen, in de erkenning dat patches niet altijd overeenkomen met syntactische eenheden zoals functies of klassen.

3. Belangrijkste Resultaten

Lokalisatieprestaties

SHERLOC bereikt state-of-the-art (SOTA) file-level lokalisatie over verschillende model-schalen zonder taakspecifieke training:

• SWE-Bench Lite: 84,33% accuracy@1 (gebruikmakend van Qwen3-235B).
• SWE-Bench Verified: 81,27% recall@1 (gebruikmakend van Qwen3-235B).
• Schaalefficiëntie: Bij een gematchte ~30B parameter schaal, bereikt SHERLOC (Qwen3-30B) 75,07% recall@1, waarmee het fine-tuned baselines (bijv. ToolTrain-32B) en non-fine-tuned methoden met significante marges overtreft (+7,0 tot +18,3 pp).
• Cross-Family Transfer: De methode transfeert effectief tussen modelfamilies (bijv. DeepSeek-V3 bereikt 79,53% recall@1).

Downstream Transfer naar Code-reparatie

Het injecteren van de locaties en diagnostische bevindingen van SHERLOC in bestaande reparatie-agents (OpenHands en SWE-Agent) levert significante verbeteringen op:

• Resolve Rate: Een gemiddelde stijging van +5,95 procentpunt in de resolve rate over vijf reparatie-backbones.
• Efficiëntie: Een reductie van 36,7% in lokalisatie-tokens en een reductie van 23,1% in totale tokens.
• Kwaliteit-mediatie: Het transfer-voordeel is kwaliteitsafhankelijk. Kleinere modellen profiteren van "Alle SHERLOC bevindingen", terwijl grotere, krachtigere modellen het meest profiteren van Kwaliteit-gefilterde bevindingen (die door een LLM-judge met ≥4,0 zijn beoordeeld). Ongefilterde bevindingen kunnen de prestaties van sterke agents verslechteren door negatieve transfer van laag-betrouwbare diagnoses.

Ablatie en Validatiestudies

• Belang van Componenten: Het verwijderen van de View File tool of de final-turn prompt veroorzaakt de grootste prestatiedalingen, wat bevestigt dat code-inspectie en synthese-druk cruciaal zijn.
• Impliciete Kennis vs. Redeneren: Controls die bestandspaden in de issue maskeren, tonen aan dat hoewel LLM's een impliciete bekendheid hebben met populaire repositories (bijv. scikit-learn, requests), actieve tool-ondersteunde exploratie een aanzienlijk deel van het prestatieverschil verklaart (ongeveer 22 pp verbetering ten opzichte van text-only baselines).
• Noodzaak van Redeneren: "Thinking" mode modellen presteren aanzienlijk beter dan "Instruct" mode modellen, die vaak falen om het multi-turn protocol vol te houden.

4. Betekenis en Claims

Het paper betoogt dat gestructureerde diagnostische output, en niet louter locatie-retrieval, de operationele eenheid is van nutvolle lokalisatie. Een correct bestandspad met een misleidende diagnose kan een downstream agent misleiden, terwijl een gestructureerde bevinding met oorzaakanalyse en oplossingsbegeleiding effectieve reparatie mogelijk maakt.

Kernclaims zijn onder meer:

1. Training-vrije SOTA: Een enkel redenerend LLM met compacte tools en zelfherstel kan gespecialiseerde, fine-tuned lokalisatiesystemen evenaren of overtreffen.
2. Actiegerichte Context: De inclusie van gestructureerde diagnostische velden (oorzaak, oplossingsidee) is essentieel om het succes van lokalisatie over te dragen naar downstream reparatie-taken.
3. Efficiëntie: SHERLOC reduceert de tokenkosten van de lokalisatiefase drastisch, waardoor budget vrijkomt voor de daadwerkelijke code-reparatie.
4. Kwaliteitsfiltering: Een kwaliteitsfilter is noodzakelijk om negatieve transfer te voorkomen; hoogwaardige bevindingen drijven succes, terwijl laagwaardige bevindingen schadelijk kunnen zijn.

De auteurs concluderen dat lokalisatie geëvalueerd moet worden op basis van diagnostische actiegerichtheid in plaats van enkel bestand-retrievenauwkeurigheid. Zij merken op dat hoewel hun resultaten sterk zijn, ze deels geconfundeerd worden door de pretraining-familiariteit van LLM's met publieke repositories, en dat toekomstig werk een heldere evaluatie vereist met helder gehouden repository-distributies. Het framework is in ontwerp taal-agnostisch, hoewel de huidige tools afhankelijk zijn van taal-specifieke parsers voor import-trees.