💻 computer science

ProjAgent: Procedural Similarity Retrieval for Repository-Level Code Generation

ProjAgent is een systeem voor codegeneratie op repositoryniveau dat de prestaties verbetert door functies te extraheren op basis van procedurele gelijkenis via een agentische workflow en outputs te verfijnen via statische-analysefeedback, waarmee een Pass@1 van 41,14% op de REPOCOD-benchmark wordt bereikt.

Oorspronkelijke auteurs: QiHong Chen, Aaron Imani, Iftekhar Ahmed

Gepubliceerd 2026-07-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: QiHong Chen, Aaron Imani, Iftekhar Ahmed

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een nieuw hoofdstuk wilt schrijven voor een enorme, 10.000 pagina's tellende mysteryroman. Je weet welk plotpunt je moet raken, maar je kent de namen van de personages niet, de specifieke regels van het stadje niet, of hoe de detective normaal gesproken misdaden oplost. Als je gewoon gaat gokken, riskeer je dat je een personage verzint dat niet bestaat of de wetten van de stad overtreedt, wat het verhaal verpest. Dit is precies wat er gebeurt wanneer Kunstmatige Intelligentie probeert code te schrijven voor een groot softwareproject.

Lange tijd probeerden AI-assistenten hulp te vinden door te zoeken naar "gelijkenissen". Als je vroeg om een functie om de temperatuur te berekenen, zocht de AI naar andere code die het woord "temperatuur" gebruikte of er oppervlakkig hetzelfde uitzag. Dit artikel betoogt dat dit is alsoals proberen een recept voor een taart te vinden, simpelweg omdat het andere recept ook over "suiker" spreekt. Het mist de echte magie: hoe het koken daadwerkelijk gebeurt.

De auteurs, Qihong Chen, Aaron Imani en Iftekhar Ahmed, hebben een nieuw systeem gebouwd genaamd ProjAgent. Ze ontdekten dat de meest behulpzame code niet altijd de code is die er hetzelfde uitziet; het is de code die op dezelfde manier denkt.

Het "Denken" versus het "Praten"

Het paper suggereert dat code uit twee lagen bestaat: de woorden die het gebruikt (zoals variabelenamen en commentaar) en de werkelijke stappen die het onderneemt om een probleem op te lossen (de logica).

Stel je twee chefs voor. Chef A maakt een pizza, en Chef B maakt een salade.

De Oude Manier (Lexicale/Semantische Zoekopdracht): Als je hulp vraagt bij het maken van een pizza, zou de oude AI Chef B negeren omdat deze een salade maakt. De AI zou alleen zoeken naar andere pizzachefs.
De Nieuwe Manier (ProjAgent): ProjAgent beseft dat beide chefs hetzelfde moeten doen: ingrediënten snijden, controleren of ze vers zijn, en ze in een kom doen. Hoewel de een een salade maakt en de ander een pizza, zijn hun procedurele stappen identiek. ProjAgent vindt Chef B en zegt: "Hé, kijk eens naar hoe Chef B controleert of de sla vers is! Je kunt diezelfde logica gebruiken om te controleren of jouw tomaat vers is!"

Het paper sluit expliciet de gedachte uit dat oppervlakkige gelijkenis (het kijken naar de woorden) voldoende is. De auteurs stellen dat het vertrouwen op alleen woorden of eenvoudige betekenis vaak de cruciale "hoe-te"-stappen mist, omdat verschillende projecten verschillende namen gebruiken voor dezelfde acties.

Hoe ProjAgent werkt: De Detective Agent

ProjAgent werkt als een super slimme detective met een speciaal instrument. Zo lost het de mysteries op:

Het Afbreken: Het neemt de nieuwe code die je wilt schrijven en breekt deze af in kleine logische stappen, zoals "controleren of het getal negatief is" of "de eenheden converteren".
De "Denkende" Zoekopdracht: In plaats van alleen de woorden te lezen, gebruikt ProjAgent een speciale truc om naar de "verborgen gedachten" van het AI-model te kijken. Het stript de chique vocabulaire weg en kijkt alleen naar de pure logica. Het vindt andere code in het project die exact dezelfde mentale dans uitvoert, zelfs als die in een totaal ander deel van de codebase geschreven is.
De Jacht van de Agent: Als de eerste zoekopdracht niet genoeg vindt, gaat een digitale "agent" (een klein AI-robotje) op een speurtocht door de projectbestanden. Het leest bestanden, zoekt naar functies en vraagt: "Is er hier iets dat zo denkt als dit?"
Dubbelchecken: Om er zeker van te zijn dat het niet is bedrogen, gebruikt het systeem een "statische analyse"-tool. Denk aan dit als een spellingcontrole voor logica. Het controleert of de code daadwerkelijk draait zonder vast te lopen. Als de AI een fout maakt, zegt het systeem: "Oeps, dat gaat niet werken," en vraagt de AI om het opnieuw te proberen. Deze lus herhaalt zich tot wel 10 keer totdat de code solide is.

De Resultaten: Heeft het Gewerkt?

De auteurs hebben ProjAgent getest op een benchmark genaamd REPOCOD, die 980 echte programmeerproblemen bevat uit 11 verschillende softwareprojecten.

De Score: ProjAgent behaalde een 41,14% Pass@1 score. Dit betekent dat het bij de eerste poging voor ongeveer 41 van de 100 problemen werkende code schreef.
De Vergelijking: Dit versloeg de vorige beste methoden. De oude "dense search"-methoden haalden slechts 28,83%, en de "sparse search" (zoeken op trefwoorden) haalde 26,58%. Zelfs een topniveau-systeem genaamd SpecAgent bereikte slechts 34,52%.
Het Bewijs: Het paper suggereert dat de grootste boost kwam door het vinden van die "procedureel gelijkaardige" stappen. Toen zij de procedurele zoekopdracht verwijderden, daalde de score naar 25,76%. Toen zij de semantische zoekopdracht (het matchen van woorden) verwijderden, daalde het naar 32,29%. Dit bewijst dat je zowel de "hoe" als de "wat" nodig hebt om te slagen.

Wat het Paper Niet Beweert

Het is belangrijk om te weten wat dit paper niet zegt.

Het beweert niet dat het alle programmeerproblemen heeft opgelost. De score is 41,14%, wat betekent dat het nog steeds vaker dan de helft van de tijd faalt.
Het zegt niet dat dit voor elke programmeertaal werkt. De tests werden alleen uitgevoerd op Python-projecten.
Het beweert niet dat de "agent" perfect is. De auteurs geven toe dat de agent soms tijd of geheugen tekortkomt en niet de beste code kan vinden, wat suggereert dat er nog betere exploratietools nodig zijn.

De Kern van het Verhaal

Het paper suggereert dat om goede code voor grote projecten te schrijven, AI moet stoppen met alleen zoeken naar woorden die overeenkomen en moet beginnen met het zoeken naar patronen van denken. Door code te vinden die problemen op dezelfde manier oplost, zelfs als de woorden totaal anders zijn, helpt ProjAgent AI om betere, meer betrouwbare software te schrijven. Het is een stap voorwaarts, maar de reis naar perfecte codegeneratie is nog steeds gaande.

Technische Samenvatting: ProjAgent: Procedurele Gelijkenis voor Retrieval op Repository-niveau voor Codegeneratie

Probleemstelling

Codegeneratie op repository-niveau vereist dat Large Language Models (LLM's) doelgerichte functies implementeren terwijl ze navigeren door complexe cross-file afhankelijkheden, projectspecifieke conventies en gedistribueerde utilities. Bestaande retrieval-augmented generation (RAG) benaderingen voor deze taak vertrouwen voornamelijk op lexicale (bijv. BM25) of semantische (bijv. dense embeddings) gelijkenis.

De auteurs identificeren een kritieke beperking in deze methoden: ze falen vaak in het ophalen van repository-functies die vergelijkbare procedurele logica implementeren, maar significant verschillen in naamgeving, datatypen of toepassingsdomeinen. Bijvoorbeeld: een functie die de vorm van inputs valideert in een kosmologie-module kan procedureel identiek zijn aan een functie die de temperatuur-inputs valideert in een natuurkunde-module, maar oppervlaktegelijke gelijkenismetrieken (lexicaal of semantisch) falen om deze te koppelen. Deze "procedurele kloof" leidt ertoe dat LLM's API's hallucineren of code genereren die de projectconventies schendt omdat de noodzakelijke logische patronen ontbreken in de opgehaalde context.

Methodologie: ProjAgent

Het paper stelt ProjAgent voor, een systeem voor codegeneratie op repository-niveau dat procedurele gelijkenis introduceert als een expliciet retrieval-signaal, geïntegreerd binnen een agentic workflow en een statische-analyse feedbackloop.

1. Representatie van Procedurele Gelijkenis

Om de implementatiegedrag te vangen buiten de oppervlakkige tekst, maakt ProjAgent gebruik van reasoning-subspace projecties afgeleid van de verborgen toestanden (hidden states) van het LLM.

Subspace Decompositie: Bouwend op Hu et al. [14], deelt het systeem de verborgen toestandsruimte van het LLM op in een semantische subspace (linguïstische expressie) en een reasoning subspace (interne logica). Dit wordt bereikt via Singular Value Decomposition (SVD) op de unembedding layer.
Projectie: De verborgen toestanden van codestappen worden geprojecteerd op de reasoning subspace om de procedurele logica te isoleren.
Debiasing: Om het anisotropie-fenomeen aan te pakken (waarbij vectoren in een gemeenschappelijke richting clusteren ongeacht de inhoud), introduceren de auteurs een op Principal Component Analysis (PCA) gebaseerde debiasing-stap. Dit verwijdert de dominante gedeelde richting en voert mean-centering uit, wat de onderscheidende kracht van cosine similarity voor procedurele matching aanzienlijk verbetert.

2. De Agentic Retrieval Workflow

ProjAgent hanteert een meerfasig retrievalproces om een rijke context voor de doelfunctie te construeren:

Offline Preprocessing: De repository wordt voorbewerkt om contextfuncties te decomponeren in logische stappen (bijv. inputvalidatie, staatstransformatie). Elke stap wordt gevalideerd tegen de originele code en geprojecteerd in de reasoning subspace.
Procedurele Retrieval (Agentic):
- Seed Finding: De doelfunctie wordt gedecomponeerd in stappen. Een initiële set procedureel gelijke contextstappen wordt geïdentificeerd via projectie-gelijkenis.
- Agentic Exploratie: Een LLM-agent navigeert door de repository met behulp van tools (bijv. read_func, search_func) om nieuwe functies te ontdekken die mogelijk procedureel gelijke stappen bevatten, waarbij de seed-set iteratief wordt uitgebreid.
- Seed Expansie & Verificatie: Het systeem breidt de zoektocht uit naar onverwerkte functies met behulp van projectie-gelijkenisdrempels. Een verificatiestap (LLM-gebaseerd) filtert fout-positieven eruit, met name voor generieke operaties, om een hoogwaardige procedurele match te garanderen.
Semantische Retrieval: Om de procedurele logica aan te vullen, haalt het systeem semantisch gerelateerde symbolen (API's, klassen, constanten) op via een hybride van lexicale (BM25) en semantische (dense embedding) scores. Dit zorgt ervoor dat de LLM toegang heeft tot de specifieke repository-entiteiten die nodig zijn om de opgehaalde logica te implementeren.
Code Generatie & Feedback: De LLM genereert code met behulp van de gecombineerde procedurele en semantische context. Een conservatieve statische-analyse feedbackloop verfijnt vervolgens iteratief de code. Het voert AST-gebaseerde syntaxiscontroles en semantische consistentiecontroles uit (methode-aanroepen, veldtoegang, variabele resolutie), en voert fouten terug naar de LLM voor reparatie.

Belangrijkste Bijdragen

Procedurele Gelijkenis als een Retrieval Dimensie: Het paper introduceert procedurele gelijkenis als een onderscheidend en effectief retrieval-signaal, waarmee de kloof wordt gedicht waar functies weliswaar dezelfde logische patronen delen maar geen lexicale of semantische overlap hebben.
Reasoning-Subspace Projecties: De auteurs maken gebruik van LLM hidden-state projecties om procedurele logica te representeren, wat het mogelijk maakt om gerelateerde functies op te halen over verschillende naamgevingsconventies en domeinen heen.
ProjAgent Systeem: Een volledig systeem dat een agentic workflow integreert voor procedurele contextontdekking, hybride retrieval (procedureel + semantisch), en een statische-analyse feedbackloop voor iteratieve code-reparatie.
Uitgebreide Evaluatie: Een rigoureuze evaluatie op de REPOCOD benchmark, inclus\nuit ablatie-studies en analyse van de bijdragen van de retrieval-componenten.

Resultaten

Geëvalueerd op de REPOCOD benchmark (980 problemen over 11 repositories) met het Qwen2.5-Coder-14B-Instruct model:

Prestaties: ProjAgent behaalde een Pass@1 van 41,14%, waarmee het bestaande baselines overtreft:
- SpecAgent (SOTA): 34,52%
- Dense Retrieval: 28,83%
- Sparse Retrieval: 26,58%
- Same-File Retrieval: 14,98%
Ablatie-studies:
- Het verwijderen van procedurele retrieval veroorzaakte de grootste prestatiedaling (41,14% $\to$ 25,76%), wat de cruciale rol ervan benadrukt bij het bieden van implementatiebegeleiding.
- Het verwijderen van semantische retrieval zorgde ook voor een significante degradatie in prestaties (41,14% $\to$ 32,29%), wat de noodzaak van repository-specifieke symbolen bevestigt.
- Het verwijderen van de feedbackloop resulteerde in een bescheiden afname (41,14% $\to$ 40,29%), toegeschreven aan het conservatieve karakter van de statische analyse.
Effectiviteit van Retrieval: De projectie-gelijkenis methode bleek zeer effectief in het filteren van ongelijke contexten (hoge precisie in de "leftover" groep), maar vereiste een twee-fasen ontwerp (projectie + verificatie) om fout-positieven in de "promoted" groep te behandelen.

Betekenis en Claims

Het paper claimt dat procedurele gelijkenis een effectieve en voorheen onverkende retrieval-dimensie is voor codegeneratie op repository-niveau. De auteurs stellen dat succesvolle codegeneratie niet alleen afhangt van het ophalen van semantisch relevante code, maar ook van het ophalen van context die dezelfde onderliggende computationele procedures deelt.

Door procedurele gelijkenis te integreren met conventionele lexicale en semantische signalen, demonstreert ProjAgent dat LLM's kunnen worden gestuurd om complexe logica te implementeren, zelfs wanneer de broncode qua domein of vocabulaire significant verschilt. Het werk suggereert een verschuiving naar gedragsbewuste retrieval-methoden in software engineering, waarbij men verder gaat dan oppervlakkige tekstmatching om de functionele intentie van code te vangen. De auteurs blijven bescheiden over de externe validiteit, waarbij zij opmerken dat de resultaten specifiek zijn voor Python-repositories en het gebruikte backbone-model, en dat de zoekdekking een bottleneck blijft voor verdere verbeteringen.