ATLAS: Multi-View Code Representation Tool for C and C++ Source Programs

Technische Samenvatting: ATLAS – Multi-View Code Representatie Tool voor C en C++

Probleemstelling
Machine learning voor software engineering (ML4SE) leunt steeds vaker op multi-view code-grafen die Abstract Syntax Trees (AST's), Control Flow Graphs (CFG's) en Data Flow Graphs (DFG's) uitlijnen om syntactische structuur, executiepaden en variabelenafhankelijkheden vast te leggen. Hoewel modellen zoals GraphCodeBERT en CodeSAM aantonen dat structurele views beter presteren dan tekstgebaseerde baselines, bestaat er een aanzienlijke kloof voor C en C++: geen enkele bestaande tool kan deze uitgelijnde, bronniveau-views genereren zonder een volledige build-omgeving.

Huidige tools kampen met specifieke beperkingen:

• Compiler-gebaseerde frameworks (bijv. SVF, PhASAR) vereisen een opgeloste build en opereren op Intermediate Representations (IR) die variabelenamen op bronniveau en structurele context weggooien.
• Query-gebaseerde analyzers (bijv. CodeQL, Clang Static Analyzer) vereisen eveneals een volledige build.
• Source-only parsers (bijv. Joern, Tree-sitter) missen ofwel inter-procedurele analyse, kunnen geen control of data flow genereren, of kunnen de specifieke semantische complexiteiten van C/C++ (zoals pointer aliasing, handmatig geheugenbeheer en het ontbreken van Runtime Type Information) niet aan.
• Bestaande multi-view tools (bijv. COMEX) zijn vaak beperkt tot talen met beheerd geheugen en vertrouwen op aannames die niet standhouden voor C/C++.

Als gevolg hiervan moeten gebruikers meerdere doeleinde-specifieke tools combineren om uitgelijnde views te verkrijgen, en veel bestaande tools falen wanneer ze worden geconfronteerd met gedeeltelijke inputs, zoals submodules met ontbrekende headers.

Methodologie: De ATLAS Pipeline
ATLAS is een command-line tool die ontworpen is om AST, bronniveau inter-procedurele CFG en een reaching-definition DFG te extraheren uit C en C++ bronbestanden zonder dat daarvoor compilatie of een build-database vereist is. Het werkt via een vierstaps pipeline:

1. Preprocessor: Voegt multi-file projecten samen tot één enkel bestand. Het verzamelt project-lokale macro's en typedefs en inlineert intra-project headers, terwijl het system headers behandelt als opaak declaraties. Voor conditionele compilatie behoudt het zowel de #ifdef/#else takken in C, of selecteert het takken op basis van in-source #define waarden in C++.
2. Parser: Maakt gebruik van Tree-sitter om een syntaxisboom en een symbooltabel op te bouwen, en wijst een uniek integer-identificator toe aan elke node. Cruciaal is dat symbolen van onbekende types worden getagd als unknown_t en als wildcards worden behandeld. Dit voorkomt dat ontbrekende declaraties de call-graph of def–use resolutie blokkeren. Alle drivers opereren over deze gedeelde identificator-ruimte, wat ervoor zorgt dat AST, CFG en DFG nodes een enkele namespace delen.
3. Code-View Generator: Vier drivers (AST, CFG, DFG, Multi-View) opereren op het gedeelde model:
   • AST: Snoeit de Concrete Syntax Tree om alleen semantische nodes te behouden.
   • CFG: Construeert een source-statement-level, inter-procedurele graaf. Het lost directe calls, virtuele calls via Class Hierarchy Analysis (CHA) en function-pointer calls op door de laatste zichtbare toewijzing van de pointer te volgen. Als een doel onopgelost is, verspreidt het zich naar signature-compatibele callees.
   • DFG: Voegt reaching-definition edges toe met inter-procedurele flows. Het volgt pass-by-reference argumenten en member access over calls heen, maar modelleert geen aliasing via pointer arithmetic, heap-opgeslagen pointers of void* callbacks vanwege het ontbreken van een points-to analyse.
   • Multi-View: Voegt geselecteerde views samen in één graaf waarbij edges worden gekleurd door view class, waardoor downstream consumenten specifieke views kunnen filteren zonder heranalyse.
4. Visualizer: Exporteert resultaten als JSON, Graphviz DOT of PNG.

De tool ondersteunt drie command-line flags om de graaf te verkleinen zonder de analyse opnieuw uit te voeren: view selectie, variabele collapsing (het samenvoegen van herhaalde identifiers) en node blacklisting (het verwijderen van specifieke syntactische categorieën).

Belangrijkste Bijdragen

• Build-vrije Extractie: ATLAS draait op gedeeltelijke inputs (bijv. submodules met ontbrekende headers) zonder dat een compilatie database vereist is.
• Cross-View Uitlijning: Door gebruik te maken van gedeelde identifiers, stelt het gebruikers in staat elke enkele view (AST, CFG of DFG) te herstellen door edges uit een verenigde graaf te filteren.
• Configureerbare Graaf Verkleining: CLI-flags maken variabele collapsing en node blacklisting mogelijk om de graafgrootte te reduceren voor trainingsdoeleinden.
• Empirische Validatie: De tool is getest op echte C en C++ corpora en geïntegreerd in een downstream testgeneratie-systeem.

Resultaten en Evaluatie
De auteurs hebben ATLAS geëvalueerd op de TheAlgorithms corpora (406 C bestanden en 360 C++ bestanden):

• Nauwkeurigheid: ATLAS produceert een correcte CFG voor 96,80% van de C-bestanden en 91,67% van de C++ bestanden. Correcte DFGs werden gegenereerd voor 91,38% van de C-bestanden en 90,56% van de C++ bestanden.
• Foutmodi: Falen was beperkt tot specifieke niet-ondersteunde constructen: goto statements, multi-threading, runtime pointer arithmetic, operator overloading en statische class members. Dit zijn gedocumenteerde beperkingen in plaats van implementatiefouten.
• Omgang met Gedeeltelijke Input: In een scenario waarin een headerbestand werd verwijderd, slaagde ATLAS erin een verbonden inter-procedurele CFG en DFG te construeren. De resulterende graaf was structureel equivalent aan de volledige build-versie, met als enige verschil de afwezigheid van de declaratie-node zelf.
• Prestaties: Op de 20 grootste C-programma's (61–309 LOC) was de mediane runtime voor CFG-generatie 6,89 seconden met 135 MB piekgeheugen. Een volledige run op libcurl (124K LOC) duurde ongeveer 23 minuten.
• Downstream Nut: Wanneer gebruikt als de CFG front-end voor SPARC (een LLM-gebaseerd unit-test generatie framework), zorgde ATLAS voor een absolute winst van 31,36% in line coverage en 26,01% in branch coverage ten opzichte van een no-context baseline, waarbij het KLEE evenaarde of overtrof op complexe onderwerpen.

Betekenis en Claims
Het artikel claimt dat ATLAS, naar weten van de auteurs, de enige tool is die tegelijkertijd voldoet aan source-level operatie, inter-procedurele CFG-constructie, tolerantie voor gedeeltelijke input en gedeelde-identifier multi-view uitlijning voor C/C++. Door de drempel voor het verkrijgen van uitgelijnde multi-view grafen te verlagen, faciliteert ATLAS ML4SE onderzoek op C/C++ codebases die voorheen moeilijk te analyseren waren vanwege build-afhankelijkheden of het gebrek aan verenigde structurele representaties. De tool is open-source, wordt gedistribueerd als een Docker-image en bevat een screencast voor reproduceerbaarheid.

Beperkingen
De auteurs merken expliciet op dat ATLAS geen points-to analyse uitvoert, wat betekent dat het niet volledig kan oplossen van aliasing via pointer arithmetic, heap-opgeslagen pointers of void* callbacks. Het benadert ook C++ features zoals templates, exceptions en complexe inheritance zonder een volledige C++ frontend. Validatie is momenteel beperkt tot kleine bestanden, en grootschalige project sweeps en gebruikersstudies zijn geïdentificeerd als toekomstig werk.