Bridging Code Property Graphs and Language Models for Program Analysis

Titel: Bridging Code Property Graphs and Language Models for Program Analysis

Auteur: Ahmed Lekssays (Qatar Computing Research Institute)
Context: 4th International Workshop on Software Vulnerability Management (SVM '26)

---

1. Het Probleem

Grote Taalmodellen (LLMs) staan voor kritieke uitdagingen bij het analyseren van beveiligingskwetsbaarheden in real-world codebases. De huidige benaderingen falen om drie hoofdredenen:

1. Token-limieten: Het is onmogelijk om volledige repositories (vaak met duizenden bestanden en miljoenen regels code) in het contextvenster van een LLM te laden. Bestaande methoden analyseren daarom geïsoleerde code-snippets, waardoor kwetsbaarheden die over meerdere functies en bestanden heen lopen (inter-procedural) worden gemist.
2. Gebrek aan semantische diepte: Code-embeddings (zoals bij RAG-systemen) vangen syntactische patronen, maar falen bij het begrijpen van complexe semantische relaties, zoals dataverbindingen tussen functies of controle-afhankelijkheden die essentieel zijn voor kwetsbaarheidsanalyse.
3. Moeite met complexe query's: LLMs worstelen om correcte queries te genereren voor statische analyse-talen zoals CPGQL (Code Property Graph Query Language). Door de schaarste aan dergelijke domeinspecifieke talen in trainingsdata, hallucineren modellen vaak API-methoden of genereren ze ongeldige queries.

Dit leidt tot een trade-off: ofwel analyseer je kleine stukjes code (en mis je grote problemen), ofwel probeer je enorme contexten te laden (wat de redeneerkwaliteit verslechtert).

2. Methodologie: codebadger

De auteur introduceert codebadger, een open-source Model Context Protocol (MCP) server die Joern's Code Property Graph (CPG) engine integreert met LLMs. In plaats van de LLM te dwingen om de hele codebase te lezen of complexe CPGQL-queries te schrijven, biedt codebadger hoogwaardige, semantische hulpmiddelen.

Architectuur en Werkingsprincipe:

• Intermediär: codebadger fungeert als een tussenlaag tussen de LLM-agent en de Joern-statische analyse-engine.
• Sessie-gebaseerd: De LLM start een sessie (create_cpg_session) waarbij Joern de code parsen en een CPG genereert (gecombineerd AST, CFG en PDG).
• Hoge-abstractie Tools: De LLM roept semantische functies aan in plaats van ruwe queries. Voorbeelden zijn:
  • get_program_slice: Haalt alleen de relevante code op voor een specifieke kwetsbaarheid (backward slicing).
  • find_taint_sources / find_taint_sinks: Identificeert onbetrouwbare invoer en gevoelige uitvoerpunten.
  • get_data_dependencies: Traceert de oorsprong van variabelen.
  • find_bounds_checks: Controleert op grenswaarde-validaties.
• Semantische Navigatie: De LLM navigeert door de codebase op basis van betekenis (bijv. "vind alle allocaties die van onbeveiligde invoer afhankelijk zijn") in plaats van lineair te lezen. Dit verlaagt het token-verbruik aanzienlijk en imiteert het werk van een menselijke analist.

Algoritmen:
Het systeem implementeert geavanceerde algoritmen zoals taint flow analysis (Algorithm 1) en backward program slicing (Algorithm 2) op de CPG. Deze algoritmen traverseren de Program Dependence Graph (PDG) en Control Flow Graph (CFG) om data- en controle-afhankelijkheden te isoleren, waardoor de code die voor een analyse nodig is tot wel 90% kan worden gereduceerd.

3. Belangrijkste Bijdragen

1. Integratie van CPG en LLM: De eerste praktische implementatie die Joern's CPG-engine koppelt aan LLMs via het MCP-protocol, waardoor LLMs toegang krijgen tot geavanceerde statische analyse zonder de complexiteit van de onderliggende query-taal.
2. Tooling voor Agente Workflows: Het bieden van een set tools die LLMs in staat stellen om contextbewust te redeneren over volledige repositories, ondersteunend voor taken zoals kwetsbaarheidsontdekking, patching en programmatuurbegrip.
3. Validatie door Gebruik: Drie concrete use-cases die de effectiviteit van de aanpak aantonen in verschillende scenario's.

4. Resultaten en Gebruikscases

De effectiviteit van codebadger werd getest met een LLM-agent (Claude Sonnet 4.5) in drie scenario's:

• Geval 1: Codebegrip en Audit (GGML Library)

  • Schaal: Een codebase van 8.000 methoden en 246k regels code.
  • Actie: De agent navigeerde semantisch om geheugenveiligheid te auditeren.
  • Resultaat: Identificatie van onbeperkt alloca-gebruik, integer-overflows in allocatieberekeningen en ongecontroleerde pointer-aritmetiek. De agent vermijdt het lezen van alle bestanden en focust zich op hotspots.

• Geval 2: Ontdekking van een Nieuwe Kwetsbaarheid (libtiff)

  • Schaal: tif_getimage.c in libtiff.
  • Actie: De agent traceerde een buffer overflow die ontstond door col_offset-waarden die via pointer-aritmetiek werden gebruikt zonder validatie.
  • Resultaat: Ontdekking van een niet eerder gerapporteerde kwetsbaarheid. De agent genereerde een Proof-of-Concept (PoC) exploit die door AddressSanitizer (ASAN) werd bevestigd. Het bleek dat de kwetsbaarheid later in een commit was gefixt, maar was niet eerder publiek bekend als CVE.

• Geval 3: Kwetsbaarheidspatching (libxml2, CVE-2025-6021)

  • Schaal: xmlBuildQName functie in libxml2.
  • Actie: Analyse van een integer overflow die leidde tot een buffer overflow.
  • Resultaat: De agent gebruikte data-flow analyse en program slicing om de root cause te vinden en genereerde in één poging een correcte patch die sterk leek op de officiële fix van de maintainers. De patch voegde integer overflow-checks toe en gebruikte size_t voor lengtes.

5. Betekenis en Conclusie

Dit paper toont aan dat het combineren van statische analyse (via CPG) met LLMs een krachtige synergie creëert voor Software Vulnerability Management (SVM).

• Overcoming Limitations: codebadger lost het probleem van token-limieten en gebrek aan semantisch inzicht op door LLMs "tools" te geven in plaats van "context" te laten lezen.
• Expertise op Schaal: Het stelt LLMs in staat om redeneringen uit te voeren die vergelijkbaar zijn met die van menselijke beveiligingsanalisten, maar dan op schaal van volledige repositories.
• Toekomstperspectief: Hoewel er beperkingen zijn (zoals de overhead van CPG-generatie voor zeer grote kernels en de afhankelijkheid van de LLM's vermogen tot tool-chaining), opent deze aanpak nieuwe wegen voor geautomatiseerde, agent-gestuurde beveiligingsanalyse en patching.

Het tool is open-source beschikbaar op GitHub en markeert een belangrijke stap richting robuuste, schaalbare AI-gestuurde softwarebeveiliging.