💻 computer science

Evaluating Retrieval-Augmented Generation for Explainable Malware Analysis

Dit artikel toont empirisch aan dat Retrieval-Augmented Generation (RAG) vaak de kwaliteit van malware-interpretaties verslechtert door ruis en irrelevante context in te brengen, wat suggereert dat malware-analyse beter wordt behandeld als een signaal-extractietaken dan als een kennis-opzoekingsprobleem wanneer gestructureerd bewijsmateriaal al beschikbaar is.

Oorspronkelijke auteurs: Jayson Ng, Amin Milani Fard

Gepubliceerd 2026-05-06

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Jayson Ng, Amin Milani Fard

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen: Waarom gedraagt dit computerbestand zich als een crimineel?

In de wereld van cybersecurity hebben analisten een enorme database genaamd VirusTotal. Denk aan deze database als een supergedetailleerd politierapport. Het vermeldt precies wat het bestand heeft gedaan: "Het opende een deur," "Het kopieerde een bestand," "Het belde een verdacht telefoonnummer." Het staat er allemaal in, in duidelijke, gestructureerde feiten.

Onlangs zijn beveiligingsexperts begonnen met het gebruik van AI-detectives (Large Language Models, of LLM's) om deze politierapporten te lezen en een duidelijk verhaal te schrijven dat uitlegt waarom het bestand slecht is.

De Grote Vraag: Hebben We een "Bibliotheek" voor de AI Nodig?

Er is een populair idee in AI genaamd RAG (Retrieval-Augmented Generation). De logica gaat als volgt: "Als onze AI-detective een verhaal schrijft, laten we hem dan eerst een bibliotheek met extra boeken geven om te lezen. Misschien moet hij opzoeken wat 'een deur openen' meestal betekent in andere misdaadverhalen om een betere uitleg te kunnen schrijven."

De auteurs van dit artikel besloten te testen of deze "bibliotheek" echt helpt wanneer het politierapport (VirusTotal) al perfect en compleet is.

Het Experiment: De Detective Met en Zonder Bibliotheek

De onderzoekers stelden een test op met twee groepen AI-detectives:

Groep A: Lees het VirusTotal-rapport en schrijf een uitleg.
Groep B: Lees het VirusTotal-rapport, plus de AI ging naar de "bibliotheek", pakte enkele extra boeken over malware en probeerde die verhalen in de uitleg te verwerken.

Ze gebruikten een scoresysteem (genaamd BERTScore) om te zien hoe goed het verhaal van de AI overeenkwam met de "gouden standaard" van een perfecte uitleg.

Het Verrassende Resultaat: De Bibliotheek Maakte Het Slechter

Het artikel vond dat het toevoegen van de extra bibliotheekboeken de uitleg van de AI eigenlijk slechter maakte.

Hier is de analogie:
Stel je voor dat je een auto-ongeluk aan een rechter probeert uit te leggen. Je hebt het officiële politierapport met de snelheid, de remsporen en het weer.

Zonder bibliotheek: De AI kijkt naar het rapport en zegt: "De auto reed te hard en reed tegen de boom." (Duidelijk, accuraat).
Met bibliotheek: De AI gaat naar de bibliotheek, vindt een boek over "Hoe bomen groeien" en een ander boek over "De geschiedenis van snelheidslimieten". Het probeert deze te mengen in het verhaal. Plotseling wordt de uitleg: "De auto reed te hard, en terwijl bomen meestal langzaam groeien, werd deze aangereden door een snelle auto, wat ons herinnert aan de snelheidslimietdebatten uit de jaren 90..."

De extra informatie hielp niet; het afleidde de AI. Het voegde "ruis" toe en maakte het verhaal verwarrend of generiek.

Waarom Is Dit Gebeurd?

De auteurs leggen uit dat het analyseren van malware lijkt op een naald in een hooiberg vinden, niet op een essay van scratch schrijven.

Het VirusTotal-rapport heeft al alle "naalden" (de specifieke slechte gedragingen).
De taak van de AI is gewoon om die naalden te extraheren en je te vertellen wat ze betekenen.
Wanneer je de AI dwingt om extra boeken te lezen (RAG), begint het te kijken naar "hooi" (irrelevante of zwak gerelateerde informatie) in plaats van de naalden. Het raakt in de war door verhalen die klinken als ze gerelateerd zijn, maar eigenlijk niet gaan over dit specifieke bestand.

De Conclusie voor Beveiligingsteams

Het artikel concludeert dat voor deze specifieke taak (malware uitleggen op basis van een compleet rapport), minder meer is.

Maak het niet te ingewikkeld: Als je al de volledige feiten hebt, dwing de AI dan niet om extra informatie op te zoeken. Het zorgt er alleen voor dat de AI hallucineert of afgeleid raakt.
Signaal versus Ruis: De taak is om de duidelijke signalen uit de data te halen, niet om nieuwe kennis te synthetiseren uit een bibliotheek.
Betere Tools: In plaats van een "bibliotheek"-aanpak te gebruiken, moeten beveiligingstools zich richten op het helpen van de AI om het bestaande rapport nauwkeuriger te lezen, bijvoorbeeld door de feiten beter te organiseren of irrelevante afleidingen te negeren.

Kortom: Wanneer het bewijs al direct voor je neus ligt, zorgt het sturen van de AI naar de bibliotheek er alleen voor dat het vergeet waar het naar moest kijken.

Technische Samenvatting: Evaluatie van Retrieval-Augmented Generation voor Verklaarbare Malware-analyse

Probleemstelling

Hoewel Large Language Models (LLM's) steeds vaker worden ingezet om laag-niveau malware-indicatoren (bijvoorbeeld API-calls, registerbewerkingen) te vertalen naar natuurlijke taalverklaringen, blijft de effectiviteit van Retrieval-Augmented Generation (RAG) in dit specifieke domein onbevestigd. De heersende aanname is dat het injecteren van externe beveiligingskennis via RAG de kwaliteit van de verklaringen verbetert. Malware-analyse steunt echter vaak op gestructureerd bewijs (zoals VirusTotal-rapporten) dat reeds voldoende contextuele gegevens omvat. De auteurs stellen dat ongedifferentieerde retrievals in dergelijke scenario's "narratieve ruis", afleidendende context of generieke schrijfsels kunnen introduceren, waardoor het vermogen van het model om saliente signalen te extraheren verslechtert. Dit kan leiden tot misleidende verklaringen in beveiligingskritieke pijplijnen.

Methodologie

De studie voert een empirische evaluatie uit van de verklaarbaarheid van LLM's met en zonder RAG, waarbij gestructureerde VirusTotal-rapporten als primaire invoer worden gebruikt.

Dataset en Architectuur: De dataset bestaat uit 1.702 VirusTotal-rapporten uit het MalGPT-corpus, met gestructureerde indicatoren zoals API-calls en registerbewerkingen. De RAG-pijplijn gebruikt LlamaIndex voor orkestratie, ChromaDB voor vectoropslag en OpenRouter als LLM-gateway. Embeddings worden gegenereerd met all-MiniLM-L6-v2 en OpenAI's text-embedding-3-large. Documenten worden opgedeeld in chunks van 1.024 tokens met een overlap van 100 tokens, en de retrievals gebruiken top- $k$ -similariteitszoekopdrachten met een drempelwaarde van 0,5.
Kennisbasis: De bron voor retrievals omvat het MITRE ATT&CK-framework, onderzoeksrichtlijnen (bijvoorbeeld MalGPT, CISA/MITRE-mappings), technische documentatie van VirusTotal en malware-intelligence-datasets (taxonomieën, CVE's).
Systeemprompt: Een gestructureerde prompt met 10 secties zorgt voor consistentie en vereist dat de output vonnissen, niet-technische samenvattingen, citaten van bewijs, mapping naar malware-families, groepering van IoC's, gedragsamenvattingen, betrouwbaarheidsscores en actievere aanbevelingen bevat.
Evaluatieprotocol: Een ablatiestudie vergelijkt verschillende LLM's (GPT OSS 21B, DeepSeek-R1 671B en GPT-5.1) onder identieke prompts, waarbij ze worden getest met alleen VirusTotal-JSON versus JSON verrijkt met opgehaalde context. Er wordt geen fine-tuning toegepast om de effecten van retrievals te isoleren.
Metingen: De kwaliteit van de verklaringen wordt gemeten met BERTScore, dat de semantische gelijkenis evalueert tegen een GPT-5.1-baseline (zonder RAG). Deze metriek is gekozen vanwege de robuustheid tegen parafraseren en de gevoeligheid voor semantische drift veroorzaakt door losjes gerelateerde opgehaalde passages.

Belangrijkste Resultaten

De experimenten tonen aan dat RAG de kwaliteit van verklaringen vaak verslechtert in plaats van verbetert wanneer er reeds gestructureerd bewijs aanwezig is:

Prestatieverslechtering: Bij meerdere modellen verlaagde de toevoeging van opgehaalde context over het algemeen de BERTScores. Zo behaalde DeepSeek-R1 zijn hoogste score (0,8617) zonder RAG, terwijl de prestaties daalden naar 0,8583 en 0,8582 met verschillende embedding-modellen. Evenzo zag GPT OSS 21B een significante daling van 0,8407 (zonder RAG) naar 0,8184 met de all-MiniLM-L6-v2-retriever.
Gevoeligheid voor Embeddings: Hoewel text-embedding-3-large marginale verbeteringen bood voor GPT OSS 21B, leverde het geen voordeel op voor DeepSeek-R1.
Oorzaak van Verslechtering: De auteurs schrijven de daling toe aan de retrievals van semantisch vergelijkbare maar weinig bruikbare passages (bijvoorbeeld generieke malware-beschrijvingen) die fungeren als "harde negatieven". Deze afleiders verschuiven de aandacht van het model naar plausibele maar irrelevante narratieven, waardoor de specifieke signalen in de gestructureerde VirusTotal-rapporten worden verdund.
Modelgedrag: Sterkere modellen (zoals DeepSeek-R1) lijken de extra context als overbodig of lichtjes tegenstrijdig te behandelen, wat verder de hypothese ondersteunt dat de taak er een van signaalextractie is en niet van kenniscompletie.

Belangrijkste Bijdragen

Empirische Uitdaging aan RAG-aannames: Het werk levert bewijs dat de standaardtoepassing van RAG op malware-verklaringen contraproductief is wanneer er hoogwaardig gestructureerd bewijs (VirusTotal-rapporten) beschikbaar is.
Herformulering van de Taak: De auteurs betogen dat malware-verklaring primair een signaalextractie-taak is, en geen kennisretrieval-probleem. Het toevoegen van externe context kan daarom cognitieve belasting en risico's op fouten introduceren zonder waarde toe te voegen.
Ontwerpaanbevelingen: Het artikel schetst specifieke strategieën om door retrievals veroorzaakte ruis in beveiligingswerkstromen te mitigeren:
- RAG overslaan wanneer gestructureerde rapporten voldoende zijn (met behulp van predictors voor contextvolledigheid).
- Toepassen van domein-afgestemde her-rankers met strikte $k$ -limieten om harde negatieven te vermijden.
- Vervangen van vast venster-chunking door chunks die gericht zijn op gedrag of IoC's, verrijkt met metadata.
- Verkennen van alternatieven zoals Cache-Augmented Generation (CAG) en Context Engineering.

Betekenis en Claims

Het artikel stelt dat in beveiligingskritieke pijplijnen het risico op automatische bias toeneemt wanneer RAG-gebaseerde verklaringen afdrijven van het onderliggende bewijs. De auteurs stellen dat analisten meer baat hebben bij consistentie en traceerbaarheid dan bij uitgebreide narratieven. Door aan te tonen dat RAG de prestaties kan verslechteren in domeinen die worden gedreven door gestructureerd redeneren, pleit het werk voor een verschuiving in het ontwerp van hulpmiddelen: weg van kennis-synthese via retrievals en richting gestructureerde signaalextractie. De bevindingen suggereren dat voor taken waarbij de bronbewijzen reeds volledig zijn, de "ruis" die door retrievalmechanismen wordt geïntroduceerd, opweegt tegen de potentiële voordelen van externe kennisinjectie.