TransAgent: Enhancing LLM-Based Code Translation via Fine-Grained Execution Alignment

Probleemstelling

Codevertaling (het converteren van code van één programmeertaal naar een andere met behoud van functionaliteit) is cruciaal voor softwareonderhoud, systeemmodernisering en prestatieoptimalisatie. Hoewel Large Language Models (LLM's) de staat van de kunst hebben verbeterd ten opzichte van traditionele leer-gebaseerde methoden (zoals TransCoder), lijden vertalingen door LLM's nog steeds onder diverse kwaliteitsproblemen:

1. Syntaxisfouten: Fouten die de grammatica van de doeltaal schenden.
2. Semantische fouten: Fouten waarbij het programma compileert, maar voor dezelfde input een ander resultaat oplevert dan het brongedeelte.

Bestaande methoden (zoals UniTrans) vertrouwen vaak op "end-to-end" redenering van de LLM om fouten te repareren zonder gedetailleerde feedback. Dit leidt tot twee hoofdbeperkingen:

• Vage compilerberichten: Compiler-foutberichten zijn vaak vaag en bieden de LLM geen specifieke richtlijnen voor reparatie.
• Gebrek aan fijnmazige lokalisatie: Semantische fouten zijn moeilijk te lokaliseren omdat ze zich alleen manifesteren als afwijkingen in de uitvoer, zonder dat er een compilatie- of runtime-fout optreedt. Bestaande methoden kunnen de exacte locatie van de fout in de doeltaal niet nauwkeurig identificeren, vooral niet wanneer de structuur van de code verschilt tussen bron en doel (bijv. één regel in Python wordt meerdere regels in Java).

Methodologie: TransAGENT

TransAGENT is een nieuw multi-agent systeem dat fouten tijdens de vertaling elimineert door fijnmazige uitvoeringsalignering (fine-grained execution alignment) tussen bron- en doeltaal. Het systeem bestaat uit vier samenwerkende agents:

1. Initial Code Translator:

   • Genereert testgevallen voor het bronprogramma.
   • Genereert een initiële versie van het doeltaalprogramma op basis van de broncode en de gegenereerde testcases.

2. Syntax Error Fixer:

   • Voert syntaxisvalidatie uit via externe tools (compilers/interpreters).
   • Als er fouten zijn, converteert de agent de compiler-berichten naar specifieke reparatiestrategieën (planning) voordat de LLM de code corrigeert. Dit proces is iteratief totdat de code syntactisch correct is.

3. Code Aligner (De kerninnovatie):

   • In plaats van op regel-niveau te aligneren (wat fragiel is), deelt deze agent het bronprogramma op in blokken op basis van de Control Flow Graph (CFG).
   • Een blok wordt gedefinieerd als een continue reeks statements zonder sprongen, of als een control-flow statement (zoals if, for, while).
   • De LLM mapt vervolgens deze bron-blokken naar de doeltaal. Deze blok-gewijze alignering is robuuster tegen structurele verschillen (zoals regelverschuivingen) dan regel-voor-regel mapping.

4. Semantic Error Fixer:

   • Locatiebepaling: Voert het bron- en doeltaalprogramma gelijktijdig uit met dezelfde testinputs. Het vergelijkt de runtime-waarden van variabelen binnen de gemapte blokken.
   • Foutdetectie: Als de runtime-waarden in een doeltaal-blok afwijken van het corresponderende bron-blok, wordt dit blok geïdentificeerd als de foutlocatie.
   • Reparatie: De agent gebruikt de LLM om de specifieke fout te herstellen. Er worden twee strategieën gebruikt:
     • Vanilla: Reparatie op basis van statische code-context.
     • Value-aware: Reparatie waarbij de daadwerkelijke runtime-waarden (inclusief extreme waarden zoals overflows) aan de prompt worden toegevoegd om de LLM te helpen de oorzaak te begrijpen.

Het proces stopt wanneer het doeltaalprogramma alle gegenereerde testcases slaagt.

Belangrijkste Bijdragen

1. TransAGENT Systeem: Een innovatief multi-agent systeem dat syntactische en semantische fouten in LLM-gebaseerde codevertaling aanpakt door gebruik te maken van fijnmazige uitvoeringsalignering.
2. Nieuwe Mapping Strategie: Een hybride aanpak (Code Aligner) die programmeeranalyse (CFG) combineert met LLM's voor blok-gewijze alignering, wat veel robuuster is dan eerdere regel-gewijze methoden.
3. Nieuwe Benchmark: Constructie van een nieuw dataset voor codevertaling gebaseerd op recente programmeertaken (gepubliceerd na augustus 2023) om data-lekage te voorkomen, een veelvoorkomend probleem bij bestaande benchmarks.
4. Uitgebreide Evaluatie: Systematische evaluatie van vertalingseffectiviteit, ablatiestudies van elke agent, reparatie-nauwkeurigheid en generalisatie over verschillende LLM's.

Resultaten

De evaluatie is uitgevoerd op de nieuwe benchmark met vertalingen tussen Python, Java en C++.

• Vertalingseffectiviteit: TransAGENT presteert significant beter dan de state-of-the-art methoden.
  • 33,3% hogere vertalingsnauwkeurigheid (Computational Accuracy - CA) vergeleken met UniTrans (de beste LLM-methode).
  • 87,1% hogere nauwkeurigheid vergeleken met TransCoder (een traditionele leer-methode).
• Programma Reparatie: In vergelijking met Agentless (een toonaangevende LLM-reparatiemethode) behaalt TransAGENT een gemiddelde verbetering van 56,7% in reparatie-nauwkeurigheid.
• Ablatie-studie: Zowel de Syntax Error Fixer als de Semantic Error Fixer dragen substantieel bij aan de prestaties. De "Value-aware" strategie blijkt complementair te zijn aan de statische strategie.
• Generalisatie: Het systeem werkt effectief met verschillende LLM's (o.a. Llama-3-8B, ChatGLM2-6b, Deepseek-Coder-33B), wat aantoont dat de methode onafhankelijk is van de specifieke achtergrond-LLM.
• Efficiëntie: TransAGENT is efficiënter dan UniTrans (gemiddeld 19 seconden per voorbeeld vs. 24 seconden) en vereist in de meeste gevallen minder iteraties voor reparatie.

Betekenis en Impact

Dit paper biedt een doorbraak in het veld van geautomatiseerde codevertaling. De belangrijkste implicaties zijn:

• Overcoming Data Scarcity: Door te vertrouwen op runtime-uitvoering en LLM's in plaats van enorme hoeveelheden parallelle trainingsdata, omzeilt TransAGENT het probleem van schaarste aan hoogwaardige trainingsdata.
• Fijnmazige Foutoplossing: De introductie van blok-gewijze alignering en runtime-vergelijking lost het fundamentele probleem op van het lokaliseren van semantische fouten in complexe vertalingssituaties.
• Praktische Toepasbaarheid: De methode is niet alleen effectiever, maar ook efficiënter en generaliseert goed, wat het een sterke kandidaat maakt voor integratie in moderne softwareontwikkelingsworkflows en project-level vertaling.

Samenvattend bewijst TransAGENT dat het combineren van dynamische uitvoeringsfeedback met LLM-redenering de beperkingen van huidige "black-box" vertaalmethoden aanzienlijk kan overstijgen.