Technische Samenvatting: Het overbruggen van Expertredenering en LLM-detectie (IntelGuard)

Probleemstelling

Open-source ecosystemen zoals NPM en PyPI worden steeds vaker het doelwit van supply chain-aanvallen, maar huidige detectiemethoden kampen met aanzienlijke beperkingen. Regelgebaseerde benaderingen vertrouwen op fragiele, handmatig opgestelde regels die uitgebreid handmatig onderhoud vereisen en er niet in slagen evoluerende aanvalsemantiek te vatten. Datagestuurde machine learning-methoden lijden aan concept drift, waardoor ze verouderd raken naarmate bedreigingspatronen evolueren, wat leidt tot een degradatie van de nauwkeurigheid en een hoog aantal fout-positieven. Hoewel Large Language Model (LLM)-gebaseerde detectoren een paradigmaverschuiving bieden door programmatisch gedrag te analyseren op een hoger abstractieniveau, worden zij geconfronteerd met twee kritieke hindernissen: inherente hallucinaties die leiden tot onbetrouwbare voorspellingen, en een gebrek aan toegang tot systematische expertredenering en contextuele dreigingsinformatie. Bijgevolg hebben zij moeite met het analyseren van complexe of contextafhankelijke kwaadaardige pakketten, waarbij ze legitieme pakketten met ongebruikelijke structuren vaak foutief classificeren.

De kernuitdaging ligt in het overbruggen van de kloof tussen menselijke analytische redenering — waarbij experts het gedrag van code beoordelen op consistentie met de beoogde functionaliteit en de aanvallogica reconstrueren — en geautomatiseerde detectiesystemen. Deze deskundige kennis blijft gevangen in ongestructureerde dreigingsinformatierapporten (PDF's, blogs), die ontoegankelijk zijn voor geautomatiseerde tools.

Methodologie: IntelGuard Framework

De auteurs stellen IntelGuard voor, een op retrieval-augmented generation (RAG) gebaseerd framework dat expert-analytische redenering uit dreigingsinformatierapporten integreert in een geautomatiseerde detectiepipeline voor kwaadaardige pakketten. Het framework werkt in twee primaire fasen:

1. Kennisconstructiefase

Deze fase transformeert ongestructureerde dreigingsinformatie naar een gestructureerde, machine-interpreteerbare kennisbank.

• Data Preprocessing: Het systeem verzamelt 8.024 pagina's van 22 securityvendors (bijv. ReversingLabs, Trend Micro). Het maakt gebruik van OCR om code uit screenshots te extraheren en reconstrueert de documentlay-out om de semantische uitlijning tussen codefragmenten en deskundige verklaringen te behouden.
• Extractie en Validatie: Een LLM extraheert gestructureerde kennis, inclusief kwaadaardige codefragmenten, executiecontexten (triggers, permissies), gedragsresumés en de expertredeneringsketens die uitleggen waarom specifieke gedragingen schendingen van beveiligingsprincipes vormen. Een human-in-the-loop validatiestap, waarbij security-experts betrokken zijn, waarborgt de getrouwheid van de geëxtraheerde redeneringen en gedragsbeschrijvingen.
• Hiërarchische Clustering: Om diverse implementaties van dezelfde kwaadaardige intentie af te handelen, voert het systeem twee-niveau clustering uit:
  • Syntactisch Niveau: Clusteren van code-embeddings om fragmenten met vergelijkbare structuren te groeperen.
  • Gedragsniveau: Clusteren van gedrags-embeddings afgeleid van expertredenering om functioneel equivalente maar syntactisch verschillende aanvallen te groeperen.
• Kennisbank Schema: De uiteindelijke kennisbank slaat entries op als tupels die het codefragment, de context, de gedragsbeschrijving, de expertredenering en duale embeddings (syntactisch en gedragsmatig) bevatten voor efficiënte retrieval.

2. Detectiefase voor Kwaadaardige Pakketten

Wanneer een nieuw pakket wordt geanalyseerd, voert IntelGuard de volgende stappen uit:

• Sensitive Code Slicing: In plaats van het gehele pakket te analyseren, identificeert het systeem gevoelige API-aanroepen (bijv. toegang tot het bestandssysteem, netwerkcommunicatie, procesexecutie) en voert backward data-flow en control-flow slicing uit. Dit extraheert zelfstandige functionele eenheden vanaf het instappunt naar de gevoelige API, waardoor de volledige executiecontext wordt vastgelegd.
• RAG-gebaseerde Retrieval: Het systeem genereert code- en gedrags-embeddings voor de geëxtraheerde slices. Het bevraagt de kennisbank om semantisch vergelijkbare kwaadaardige voorbeelden en de bijbehorende expertredeneringsketens op te halen, waarbij een balans wordt gezocht tussen syntactische en gedragsmatige gelijkenis.
• LLM-gestuurde Redenering: Een LLM analyseert de doel-slice samen met de opgehaalde expertkennis. Het beoordeelt of de geobserveerde gedragingen overeenkomen met de beoogde functionaliteit of beveiligingsprincipes schenden op basis van de opgehaalde redeneringsketens.
• Aggregatie: Een pakket wordt als kwaadaardig geclassificeerd als een van de gevoelige slices een kwaadaardig oordeel ontvangt. Het systeem geeft een binaire label en een interpreteerbaar redeneringsrapport uit.

Belangrijkste Bijdragen

1. Kennisgestuurde Detectiebenadering: Het artikel presenteert het eerste RAG-gebaseerde LLM-framework voor de analyse van kwaadaardige pakketten dat expertredenering uit dreigingsinformatierapporten extraheert en toepast om interpreteerbare, zero-shot detectie mogelijk te maken.
2. Omvattende Kennisbank: De auteurs hebben een gestructureerde kennisbank geconstrueerd uit 8.024 dreigingsrapporten, bevattende 4.420 kwaadaardige codecontexten. Dit omvat gedragsbeschrijvingen en expertredeneringsketens die beveiligingsschendingen uitleggen via functionele grenzen, executiecontexten en aanvallingspatroonprincipes.
3. Robuuste Prestaties: Het framework demonstreert state-of-the-art prestaties, met een nauwkeurigheid van 99,0% en een fout-positieve ratio van 0,50% op een dataset van 4.087 pakketten. Cruciaal is dat het 96,50% nauwkeurigheid behoudt op geobfusceerde code, een significante verbetering ten opzien van directe LLM-analyse (52,82%).

Experimentele Resultaten

De evaluatie werd uitgevoerd op datasets bestaande uit 2.000 PyPI- en 2.027 npm-pakketten, inclusief een specifieke set geobfusceerde monsters.

• Nauwkeurigheid: IntelGuard behaalde een nauwkeurigheid van 99% op PyPI en 98,72% op npm, waarmee het de beste baselines (regelgebaseerd, ML en LLM-gebaseerd) met 4 tot 9 procentpunten verslaat.
• Robuustheid tegen Obfuscatie: Op geobfusceerde PyPI-pakketten behield IntelGuard een nauwkeurigheid van 96,50%. In contrast hiermee daalde de directe LLM-analyse naar 52,82%, en leden machine learning-baselines ernstige prestatiedegradatie (bijv. zakte SAP-RF met 23,17 punten).
• Reductie van Fout-Positieven: De fout-positieve ratio werd verminderd van maximaal 6,5% in de baselines naar 0,50%.
• Real-world Implementatie: Tussen juli en september 2025 werd IntelGuard ingezet om PyPI.org te scannen, waarbij 54 voorheen niet gerapporteerde kwaadaardige pakketten werden ontdekt. Hiervan werden er 24 bevestigd en verwijderd door het PyPI-securityteam, terwijl de overige 30 onafhankelijk werden verwijderd vóór indiening.

Betekenis en Claims

Het artikel claimt dat IntelGuard erin slaagt de kloof tussen menselijke expertredenering en geautomatiseerde detectie te overbruggen door ongestructureerde analytische kennis te transformeren in actiegerichte detectiecapaciteiten. De betekenis ligt in:

• Interpreteerbaarheid: In tegenstelling tot "black box"-modellen, levert IntelGuard redeneringsrapporten die beslissingen verklaren op basis van door experts gevalideerde logica en historische dreigingsinformatie.
• Robuustheid: Door te vertrouwen op gedragsabstracties en expertredenering in plaats van syntactische kenmerken, blijft het systeem effectief tegen technieken voor code-obfuscatie die traditionele ML- en regelgebaseerde detectoren doorgaans verslaan.
• Praktische Impact: De succesvolle real-world implementatie en de ontdekking van niet-gerapporteerde kwaadaardige pakketten demonstreren de levensvatbaarheid van het framework voor continue, real-time monitoring van open-source ecosystemen.

De auteurs benadrukken dat het systeem de menselijke analist niet vervangt, maar hun redeneringspatronen operationaliseert, waardoor geautomatiseerde systemen kunnen adapteren aan diverse aanvallingspatronen zonder handmatige regelcodering.