LLM-Enhanced Hierarchical Heterogeneous Graph Representation Learning for Malicious Python Package Detection

Technische Samenvatting: H2GLM voor de detectie van kwaadaardige Python-pakketten

Probleemstelling
De brede adoptie van open-source repositories zoals PyPI heeft kwaadaardige Python-pakketten tot een kritieke dreiging voor software supply chains gemaakt. Bestaande detectiemethoden kampen met significante beperkingen:

• Regelgebaseerde benaderingen (bijv. signatures, heuristieken) hebben moeite met obfuscatie, dynamische code-loading en snel evoluerende aanvalspatronen, wat leidt tot hoge fout-positieve en fout-negatieve ratio's.
• Learning-based benaderingen falen vaak in het vastleggen van de hiërarchische organisatie en de heterogene interacties die inherent zijn aan Python-pakketten. Hoewel Graph Neural Networks (GNNs) structurele afhankelijkheden modelleren, vertrouwen ze vaak op homogene grafen die alle entiteiten uniform behandelen, waardoor cruciale onderscheid tussen pakketten, bestanden en functies verloren gaat.
• Large Language Models (LLMs) blinken uit in semantisch redeneren, maar missen expliciete structurele context en hebben moeite met het verwerken van grootschalige, onderling verbonden programmastructuren zonder afkorting (truncation), wat leidt tot onvolledige reconstructies van de aanvalsketen.
• Cruciaal is dat kwaadaardige gedragingen vaak voortkomen uit interacties over heterogene componenten heen (bijv. installatiescripts die functies aanroepen die omgevingsvariabelen raadplegen en gegevens exfiltreren), een complexiteit die huidige homogene GNN-LLM frameworks niet effectief kunnen modelleren.

Methodologie: H2GLM-framework
De auteurs stellen H2GLM voor (Hierarchical Heterogeneous Graph representation learning framework enhanced by LLMs), een vierfasen framework ontworpen om expliciete structurele heterogeniteit en impliciete semantische heterogeniteit gezamenlijk te modelleren.

1. Grafenextractie:

   • Construeert een heterogene code-graaf $G = (V, E, \phi, \psi)$ vanuit de Abstract Syntax Tree (AST).
   • Nodes ($V$): Drie typen: Package, File, en Function.
   • Edges ($E$): Drie typen: Contain (package-file, file-function), Import, en Call.
   • Attributen: Broncode voor functies; LLM-gegenereerde samenvattingen voor bestanden en pakketten op basis van projectmanifesten en docstrings.

2. Generatie van de Hiërarchische Heterogene Feature Graaf:

   • Versterkt de graaf met een nieuwe laag van semantische heterogeniteit, $\phi_{LLM}$.
   • LLM-inferentie: Een LLM analyseert de broncode van elke Function-node om dynamisch de functionele semantische type (bijv. inspectie van omgeving, toegang tot credentials, netwerkcommunicatie) af te leiden en een semantische beschrijving te genereren. Dit introduceert latente heterogeniteit die niet aanwezig is in de ruwe structuur.
   • Feature Encoding: Node-features worden geconstrueerd door embeddings van een Sentence Transformer (voor tekstsamenvattingen) en CodeBERT (voor broncode-snippets) te concateneren, wat rijke, type-bewuste feature vectoren creëert.

3. Classificatie (H2GNN):

   • Een nieuw Hierarchical Heterogeneous Graph Neural Network (H2GNN) verwerkt de graaf via drie specifieke mechanismen:
     • $\phi(v)$-Guided Feature Projection: Projecteert heterogene node-typen (Package, File, Function) naar een uniforme latente ruimte met behulp van type-specifieke leerbare matrices.
     • $\phi_{LLM}(v)$-Guided Feature Processing: Verwerkt node-representaties verder op basis van de door de LLM geïnferred functionele types, waardoor het model gespecialiseerde representaties kan leren voor verschillende semantische rollen.
     • $\psi(e)$-Guided Message Passing: Aggegeert informatie over edges, waarbij type-specifieke gewichten en attention-coëfficiënten worden gebruikt om kritieke relaties te benadrukken (bijv. import-ketens, functie-aanroepen) die indicatief zijn voor kwaadaardige propagatie.
   • Een globale mean pooling operatie gevolgd door een MLP voorspelt de kwaadaardigheid op pakketniveau.

4. Lokalisatie:

   • Om specifieke kwaadaardige functies te identificeren, gebruikt het framework een functie-niveau attributiemechanisme.
   • Het verwijdert iteratief function-nodes uit de graaf en meet de daling in de voorspelde kwaadaardigheid-waarschijnlijkheid.
   • Functies die significante waarschijnlijkheidsdalingen veroorzaken, worden als verdacht gemarkeerd. Hun lokale subgrafen worden vervolgens geanalyseerd door een LLM om menselijk interpreteerbare verklaringen van de aanvalslogica te genereren.

Belangrijkste Bijdragen

• H2GLM Framework: Een learning-based framework dat GNNs en LLMs integreert om zowel expliciete structurele heterogeniteit (pakketten, bestanden, functies) als impliciete semantische heterogeniteit (LLM-geïnferred functionele rollen) te modelleren.
• Nieuwe H2GNN Architectuur: Een graph neural network op maat voor code-analyse dat type-bewuste message passing en content-bewuste feature processing uitvoert, wat de modellering van kwaadaardige gedragspropagatie over hiërarchische niveaus mogelijk maakt.
• Geautomatiseerde Lokalisatie: Een mechanisme dat automatisch verdachte functies en aanvalspaden identificeert zonder menselijke tussenkomst, door grafen-attributie te combineren met LLM-redenering voor interpreteerbaarheid.
• Real-World Validatie: Het framework werd ingezet om PyPI te monitoren en identificeerde succesvol kwaadaardige pakketten die vervolgens door maintainers als kwaadaardig werden bevestigd en verwijderd.

Experimentele Resultaten
Uitgebreide experimenten werden uitgevoerd op een dataset van 3.049 kwaadaardige en talrijke benigne pakketten, gestratificeerd naar grootte en importcomplexiteit.

• Algemene Prestaties: H2GLM behaalde een F1-score van 97,12%, waarmee het consistent presteerde boven state-of-the-art baselines, inclus\t traditionele ML-methoden, graph-gebaseerde detectoren (MPHunter), statische analyse tools (Bandit4Mal, OSSGadget) en diverse LLMs (Qwen3-14b, DeepSeek-R1-70b).
• Robuustheid: H2GLM behield een stabiele prestatie (F1 > 94,9%) onder extreme condities, inclusief extreem kleine pakketten (<1,57KB) en pakketten met uitgebreide import-afhankelijkheden (>100 imports), waarbij andere methoden (vooral LLMs en homogene GNNs) significante prestatiedegradatie vertoonden door contextlimieten of het onvermogen om complexe afhankelijkheden te modelleren.
• Ablatie-studies: Het verwijderen van de heterogene message passing ($\psi(e)$) of de LLM-gestuurde semantische verwerking ($\phi_{LLM}$) resulteerde in F1-score dalingen van ~4%, wat de noodzaak van zowel structurele als semantische heterogeniteit bevestigt.
• Lokalisatie Nauwkeurigheid: Op een handmatig geannoteerde subset van 300 pakketten behaalde H2GLM een nauwkeurigheid van 95,67% bij het identificeren van de specifieke functies die verantwoordelijk zijn voor kwaadaardig gedrag.
• Casestudies: Het systeem identificeerde succesvol geobfusceerde command-and-control (C2) communicatie in een kwaadaardig pakket dat zich voordeed als een cryptografische bibliotheek, waarbij de specifieke netwerkfunctie ondanks zware obfuscatie werd aangewezen.

Betekenis en Claims
Het artikel claimt dat H2GLM een significante vooruitgang vormt in de beveiliging van de software supply chain door de "heterogeniteitskloof" in bestaande detectiemethoden aan te pakken. Door expliciet de meerlagige structuur van Python-pakketten te modelleren en LLMs te gebruiken om latente semantische rollen te ontsluiten, bereikt het framework:

1. Hogere Accuratesse: Superieure detectiepercentages vergeleken met zowel regelgebaseerde als bestaande learning-based methoden.
2. Robuustheid: Effectieve prestaties over diverse pakketcomplexiteiten waar andere methoden falen.
3. Interpreteerbaarheid: Het vermogen om niet alleen pakketten te classificeren, maar ook specifieke kwaadaardige gedragingen te lokaliseren en te verklaren, wat de noodzaak voor handmatige interventie door experts vermindert.
4. Praktische Toepasbaarheid: Gedemonstreerde succes in een real-world, geautomatiseerde monitoring pipeline op PyPI, wat het nut voor continue grootschalige ecosysteembescherming valideert.

De auteurs benadrukken dat dit werk de eerste is die hiërarchisch heterogene graph learning met LLMs integreert specifiek voor de detectie van kwaadaardige pakketten, wat een paradigmaverschuiving biedt van homogene representaties naar een meer genuanceerde, gedragsgestuurde analyse.