TICoder: A Repository-Level Code Generation Framework with Test-Driven Planning and Implementation-Aware Reuse

Technische Samenvatting: TICoder

Probleemstelling

Code-generatie op repository-niveau met behulp van Large Language Models (LLMs) staat voor aanzienlijke uitdagingen vanwege complexe code-afhankelijkheden en beperkte contextvensters. Hoewel bestaande benaderingen Retrieval-Augmented Generation (RAG) en planningsmechanismen gebruiken om functies uit een repository te hergebruiken, identificeren de auteurs twee kritieke beperkingen in de huidige state-of-the-art (SOTA) methoden:

1. Gebrek aan Test-Gedreven Gedragsmatige Begeleiding in Planning: Bestaande planningsgebaseerde methoden afleiden implementatiestappen direct uit natuurlijke taal (NL) vereisten. Echter, NL-vereisten zijn vaak vaag of incompleet, wat leidt tot onbetrouwbare plannen. Huidige test-gedreven generatiemethoden passen testgevallen primair toe tijdens de code-generatie of post-generatiefase, waardoor hun potentieel om het planningsproces te begeleiden onontgonnen blijft.
2. Gebrek aan Code-Niveau Implementatiebewustzijn in Hergebruik: Bestaande retrieval-strategieën vertrouwen zwaar op semantische gelijkenis tussen implementatiestappen en functiebeschrijvingen. Ze negeren vaak de werkelijke implementatielogica die in de code besloten ligt. Bovendien worden teruggevonden functies frequent in prompts ingevoegd zonder te begrijpen hoe ze daadwerkelijk worden gebruikt (gebruikspatronen) binnen de repository, wat leidt tot ineffectief hergebruik.

Methodologie: TICoder Framework

De auteurs stellen TICoder voor, een framework ontworpen om zowel de planning- als de hergebruikfase van repository-niveau code-generatie te verbeteren. Het framework bestaat uit drie hoofdfasen:

1. Test-Gedreven Iteratieve Planning

In plaats van plannen uitsluitend te genereren op basis van NL-vereisten, maakt TICoder gebruik van testgevallen als gedragsspecificaties om implementatiestappen te verfijnen. Deze fase maakt gebruik van een "judge-and-reflection" mechanisme waarbij twee LLM-rollen betrokken zijn:

• LLM-als-Planner: Genereert een initiële sequentie van implementatiestappen op basis van de vereiste en testgevallen, geleid door principes zoals helderheid, bewustzijn van randvoorwaarden en expliciete afhankelijkheden.
• LLM-als-Judge: Evalueert de gegenereerde stappen tegen drie dimensies: functionele dekking/consistentie, onafhankelijkheid en granulariteit.
• Iteratieve Verfijning: Als de stappen niet voldoen aan de kwaliteitsdrempels, geeft de judge feedback en verfijnt de planner de stappen. Deze lus gaat door totdat het plan bevredigend is of een maximaal aantal iteraties is bereikt.

2. Implementatie-Bewuste Code Hergebruik

Deze fase richt zich op het ophalen van relevante callee-functies en het identificeren van hoe deze effectief te gebruiken.

• Dual-View Callee Functie Retrieval: Om functies op te halen, berekent TICoder een gezamenlijke gelijkenissscore die een combinatie vormt van:
  • Functionele Gelijkenis ($Sim_F$): Semantische gelijkenis tussen de implementatiestap en de functiebeschrijving.
  • Implementatie Gelijkenis ($Sim_I$): Gelijkenis tussen een code-representatie van de implementatiestap (gegenereerd door een LLM) en de werkelijke functie-implementatiecode.
  • De definitieve score is een gewogen som ($Sim = \alpha \cdot Sim_F + \beta \cdot Sim_I$).
• Dual-Stage Gebruikspatroon Selectie: Om te garanderen dat functies correct worden gebruikt, selecteert TICoder representatieve gebruikspatronen uit de repository:
  • Graaf-gebaseerde Identificatie: Construeert een Repository Call Graph (RCG) om alle caller-functies voor een teruggevonden callee te identificeren.
  • Structuur-gebaseerde Clustering: Groepeert caller-functies op basis van de set functies die zij aanroepen (structurele equivalentie).
  • Perplexity-gebaseerde Filtering: Binnen elk cluster wordt de meest relevante caller (laagste perplexity) geselecteerd als het centrum. Een globale filter rangschikt vervolgens deze centra op basis van perplexity om de top $n_p$ patronen te selecteren, waarbij een balans wordt gevonden tussen contextrijkdom en token-efficiëntie.

3. Verbeterde Code-Generatie

De uiteindelijke code-generatiefase integreert de verfijnde implementatiestappen, de teruggevonden callee-functies, de geselecteerde gebruikspatronen, de testgevallen en de oorspronkelijke vereiste in één enkele prompt voor de LLM om de uiteindelijke code te genereren.

Belangrijkste Bijdragen

Het artikel claimt drie primaire bijdragen:

1. TICoder Framework: Een nieuw repository-niveau code-generatie framework dat test-gedreven iteratieve planning en implementatie-bewuste code hergebruik integreert.
2. Implementatie-Bewuste Hergebruikstrategie: Een dual-view retrieval mechanisme (functionele + implementatie gelijkenis) en een dual-stage selectiestrategie (clustering + perplexity filtering) om precisie te bieden bij het identificeren en hergebruiken van repository-functies.
3. Uitgebreide Empirische Evaluatie: Uitgebreide experimenten die aantonen dat TICoder alle SOTA-baselines overtreft over meerdere LLM's en benchmarks.

Experimentele Resultaten

De auteurs evalueerden TICoder op twee breed gebruikte benchmarks, CoderEval (Python en Java) en DevEval (Python), met drie backbone LLM's: GPT-4o-mini, DeepSeek-V3, en Qwen2.5-Coder-7B.

• Algemene Prestaties: TICoder presteerde consequent beter dan alle baselines (inclusief SimpleRAG, RepoCoder, AllianceCoder en RepoScope). Het behaalde een gemiddelde verbetering van 11,52% ten opzichte van de best presterende baseline.
• Statistische Significantie: Een tweezijdige t-test bevestigde dat de prestatiewinsten statistisch significant waren ($p < 0,05$).
• Ablatie Studie: Het verwijderen van een kerncomponent (planning, testgevallen, iteratieve verfijning, dual-view retrieval, of gebruikspatronen) resulteerde in prestatievermindering, wat de noodzaak van elke module valideert.
  • Opvallend genoeg veroorzaakte het verwijderen van de planningsmodule een daling van 6,87% in Pass@1.
  • Het verwijderen van testgevallen uit de generatiefase veroorzaakte een substantiële daling van 10,42%.
• Hyperparameter Gevoeligheid:
  • Iteraties: Prestaties verbeterden over het algemeen met iteraties maar waren niet-monotoon; excessieve iteraties konden ruis introduceren.
  • Gelijkenisgewichten: Functionele gelijkenis was over het algemeen belangrijker, maar implementatie gelijkenis bood significante winst, met name voor Java.
  • Gebruikspatronen: Een gematigd aantal patronen (bijv. 2) leverde de beste resultaten op; te weinig beperkte de context, terwijl te veel ruis introduceerde.

Betekenis en Claims

Het artikel stelt dat TICoder de specifieke beperkingen van eerdere planning-gebaseerde RACG-benaderingen aanpakt door expliciet testgevallen in de planningsfase op te nemen en retrieval te funderen in de werkelijke code-implementatielogica. De auteurs claimen dat door de kloof tussen natuurlijke taalvereisten en uitvoerbare code te overbruggen via gedragsspecificaties (tests) en structurele context (gebruikspatronen), TICoder LLM's in staat stelt om meer nauwkeurige en contextueel passende code te genereren in complexe repository-omgevingen. Het werk benadrukt dat succesvolle repository-niveau generatie niet alleen vereist het vinden van gelijkaardige code, maar ook het begrijpen van hoe die code behavioreel gespecificeerd en structureel geïntegreerd is binnen de bestaande codebase.