💻 computer science

Evaluating Retrieval-Augmented Generation for Explainable Malware Analysis

Dieser Artikel zeigt empirisch, dass Retrieval-Augmented Generation (RAG) die Qualität von Malware-Erklärungen häufig durch das Einführen von Rauschen und irrelevantem Kontext verschlechtert, was nahelegt, dass Malware-Analyse, wenn strukturierte Beweise bereits verfügbar sind, besser als Signal-Extraktionsaufgabe und nicht als Wissensabrufproblem behandelt wird.

Ursprüngliche Autoren: Jayson Ng, Amin Milani Fard

Veröffentlicht 2026-05-06

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jayson Ng, Amin Milani Fard

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen: Warum verhält sich diese Computerdatei wie ein Krimineller?

In der Welt der Cybersicherheit verfügen Analysten über eine riesige Datenbank namens VirusTotal. Betrachten Sie diese Datenbank als einen extrem detaillierten Polizeibericht. Sie listet genau auf, was die Datei getan hat: „Sie hat eine Tür geöffnet", „Sie hat eine Datei kopiert", „Sie hat eine verdächtige Telefonnummer angerufen". Alles ist da, in klaren, strukturierten Fakten.

Vor kurzem haben Sicherheitsexperten begonnen, KI-Detektive (Large Language Models, oder LLMs) einzusetzen, um diese Polizeiberichte zu lesen und eine klare Geschichte zu verfassen, die erklärt, warum die Datei schädlich ist.

Die große Frage: Brauchen wir eine „Bibliothek" für die KI?

Es gibt in der KI eine populäre Idee namens RAG (Retrieval-Augmented Generation). Die Logik dahinter lautet: „Wenn unser KI-Detektiv eine Geschichte schreibt, geben wir ihm doch erst eine Bibliothek mit zusätzlichen Büchern zum Lesen. Vielleicht muss er nachschauen, was das ‚Öffnen einer Tür' normalerweise in anderen Kriminalgeschichten bedeutet, um eine bessere Erklärung zu verfassen."

Die Autoren dieser Studie entschieden sich zu testen, ob diese „Bibliothek" tatsächlich hilft, wenn der Polizeibericht (VirusTotal) bereits perfekt und vollständig ist.

Das Experiment: Der Detektiv mit und ohne Bibliothek

Die Forscher richteten einen Test mit zwei Gruppen von KI-Detektiven ein:

Gruppe A: Las den VirusTotal-Bericht und verfasste eine Erklärung.
Gruppe B: Las den VirusTotal-Bericht, plus die KI ging zur „Bibliothek", holte sich einige zusätzliche Bücher über Malware und versuchte, diese Geschichten in die Erklärung einzuflechten.

Sie verwendeten ein Bewertungssystem (genannt BERTScore), um zu sehen, wie gut die Geschichte der KI mit dem „Goldstandard" einer perfekten Erklärung übereinstimmte.

Das überraschende Ergebnis: Die Bibliothek verschlechterte die Dinge

Die Studie ergab, dass das Hinzufügen der zusätzlichen Bibliotheksbücher die Erklärungen der KI tatsächlich verschlechterte.

Hier ist die Analogie:
Stellen Sie sich vor, Sie versuchen, einem Richter einen Autounfall zu erklären. Sie haben den offiziellen Polizeibericht mit der Geschwindigkeit, den Bremsspurmarkierungen und dem Wetter.

Ohne Bibliothek: Die KI schaut den Bericht an und sagt: „Das Auto fuhr zu schnell und prallte gegen den Baum." (Klar, präzise).
Mit Bibliothek: Die KI geht zur Bibliothek, findet ein Buch über „Wie Bäume wachsen" und ein weiteres über „Die Geschichte der Geschwindigkeitsbegrenzungen". Sie versucht, diese in die Geschichte einzuflechten. Plötzlich lautet die Erklärung: „Das Auto fuhr zu schnell, und während Bäume normalerweise langsam wachsen, wurde dieser hier von einem schnellen Auto getroffen, was uns an die Geschwindigkeitsbegrenzungsdebatten der 1990er Jahre erinnert..."

Die zusätzlichen Informationen halfen nicht; sie lenkten die KI ab. Sie fügten „Rauschen" hinzu und machten die Geschichte verwirrend oder allgemein gehalten.

Warum ist das passiert?

Die Autoren erklären, dass die Analyse von Malware wie das Finden einer Nadel im Heuhaufen ist, nicht wie das Schreiben eines Aufsatzes aus dem Nichts.

Der VirusTotal-Bericht enthält bereits alle „Nadeln" (die spezifischen schädlichen Verhaltensweisen).
Die Aufgabe der KI besteht lediglich darin, diese Nadeln zu extrahieren und Ihnen zu sagen, was sie bedeuten.
Wenn Sie die KI zwingen, zusätzliche Bücher zu lesen (RAG), beginnt sie, nach „Stroh" (irrelevante oder nur schwach verwandte Informationen) statt nach den Nadeln zu suchen. Sie wird durch Geschichten verwirrt, die nach verwandt klingen, aber nicht wirklich über diese spezifische Datei handeln.

Die Erkenntnis für Sicherheitsteams

Die Studie kommt zu dem Schluss, dass für diese spezifische Aufgabe (Erklärung von Malware basierend auf einem vollständigen Bericht) weniger mehr ist.

Überkomplizieren Sie es nicht: Wenn Sie bereits alle Fakten haben, zwingen Sie die KI nicht, nach zusätzlichen Informationen zu suchen. Das führt nur dazu, dass die KI halluziniert oder abgelenkt wird.
Signal vs. Rauschen: Die Aufgabe besteht darin, die klaren Signale aus den Daten herauszufiltern, nicht neues Wissen aus einer Bibliothek zu synthetisieren.
Bessere Werkzeuge: Anstatt einen „Bibliotheks"-Ansatz zu verwenden, sollten Sicherheitstools darauf fokussieren, der KI zu helfen, den bestehenden Bericht sorgfältiger zu lesen, etwa indem sie die Fakten besser organisieren oder irrelevante Ablenkungen ignorieren.

Kurz gesagt: Wenn die Beweise bereits direkt vor Ihnen liegen, führt das Senden der KI in die Bibliothek nur dazu, dass sie vergisst, worauf sie eigentlich achten sollte.

Technische Zusammenfassung: Evaluierung von Retrieval-Augmented Generation für erklärbare Malware-Analyse

Problemstellung

Während Large Language Models (LLMs) zunehmend genutzt werden, um Low-Level-Malware-Indikatoren (z. B. API-Aufrufe, Registry-Änderungen) in natürliche Sprachbeschreibungen zu übersetzen, bleibt die Wirksamkeit von Retrieval-Augmented Generation (RAG) in diesem spezifischen Bereich unverifiziert. Die vorherrschende Annahme besagt, dass die Einbringung externen Sicherheitswissens via RAG die Qualität der Erklärungen verbessert. Die Malware-Analyse stützt sich jedoch oft auf strukturierte Beweise (wie VirusTotal-Berichte), die bereits ausreichende Kontextdaten enthalten. Die Autoren gehen davon aus, dass eine unselektive Suche in solchen Szenarien „narratives Rauschen", ablenkenden Kontext oder generische Zusammenfassungen einführt, die die Fähigkeit des Modells, relevante Signale zu extrahieren, beeinträchtigen und potenziell zu irreführenden Erklärungen in sicherheitskritischen Pipelines führen können.

Methodik

Die Studie führt eine empirische Evaluierung der Erklärbarkeit von LLMs mit und ohne RAG durch, wobei strukturierte VirusTotal-Berichte als primäre Eingabe dienen.

Datensatz und Architektur: Der Datensatz umfasst 1.702 VirusTotal-Berichte aus dem MalGPT-Korpus, die strukturierte Indikatoren wie API-Aufrufe und Registry-Operationen enthalten. Die RAG-Pipeline nutzt LlamaIndex für die Orchestrierung, ChromaDB für die Vektorspeicherung und OpenRouter als LLM-Gateway. Embeddings werden mit all-MiniLM-L6-v2 und OpenAIs text-embedding-3-large generiert. Dokumente werden in 1.024-Token-Blöcke mit einer 100-Token-Überlappung zerlegt, und die Suche verwendet eine Top- $k$ -Ähnlichkeitssuche mit einem Schwellenwert von 0,5.
Wissensbasis: Die Suchquelle umfasst das MITRE ATT&CK-Framework, Forschungsleitfäden (z. B. MalGPT, CISA/MITRE-Zuordnungen), technische Dokumentation von VirusTotal und Malware-Intelligence-Datensätze (Taxonomien, CVEs).
System-Prompt: Ein strukturierter Prompt mit 10 Abschnitten erzwingt Konsistenz und verlangt, dass Ausgaben Urteile, nicht-technische Zusammenfassungen, Beweiszitate, Zuordnungen zu Malware-Familien, Gruppierungen von IoCs, Verhaltenszusammenfassungen, Konfidenzwerte und handlungsorientierte Empfehlungen enthalten.
Evaluierungsprotokoll: Eine Ablationsstudie vergleicht verschiedene LLMs (GPT OSS 21B, DeepSeek-R1 671B und GPT-5.1) unter identischen Prompts und testet sie mit VirusTotal-JSON allein versus JSON, das um abgerufenen Kontext erweitert wurde. Es wird kein Fine-Tuning angewendet, um die Effekte der Suche zu isolieren.
Metriken: Die Qualität der Erklärungen wird mit BERTScore gemessen, der die semantische Ähnlichkeit gegenüber einer GPT-5.1-Baseline (ohne RAG) bewertet. Diese Metrik wird aufgrund ihrer Robustheit gegenüber Umschreibungen und ihrer Sensitivität für semantische Drifts durch lose verwandte abgerufene Passagen gewählt.

Wichtige Ergebnisse

Die Experimente zeigen, dass RAG die Qualität der Erklärungen häufig verschlechtert, anstatt sie zu verbessern, wenn bereits strukturierte Beweise vorliegen:

Leistungsverschlechterung: Bei mehreren Modellen führte die Hinzufügung abgerufenen Kontexts im Allgemeinen zu niedrigeren BERTScores. Beispielsweise erzielte DeepSeek-R1 ohne RAG die höchste Punktzahl (0,8617), während die Leistung mit verschiedenen Embedding-Modellen auf 0,8583 bzw. 0,8582 sank. Ebenso verzeichnete GPT OSS 21B einen signifikanten Rückgang von 0,8407 (ohne RAG) auf 0,8184 mit dem all-MiniLM-L6-v2-Retriever.
Empfindlichkeit gegenüber Embeddings: Während text-embedding-3-large marginale Verbesserungen für GPT OSS 21B bot, brachte es DeepSeek-R1 keinen Vorteil.
Ursache der Verschlechterung: Die Autoren führen den Rückgang auf die Suche nach semantisch ähnlichen, aber wenig nützlichen Passagen (z. B. generische Malware-Beschreibungen) zurück, die als „harte Negative" wirken. Diese Ablenkungen verlagern die Aufmerksamkeit des Modells auf plausible, aber irrelevante Narrative und verwässern die spezifischen Signale in den strukturierten VirusTotal-Berichten.
Modellverhalten: Stärkere Modelle (wie DeepSeek-R1) scheinen den zusätzlichen Kontext als redundant oder leicht widersprüchlich zu behandeln, was die Hypothese weiter stützt, dass es sich bei der Aufgabe um eine Signal-Extraktion und nicht um eine Wissensergänzung handelt.

Wichtige Beiträge

Empirische Herausforderung von RAG-Annahmen: Die Arbeit liefert Belege dafür, dass die Standardanwendung von RAG auf Malware-Erklärungen kontraproduktiv ist, wenn hochwertige strukturierte Beweise (VirusTotal-Berichte) verfügbar sind.
Neudefinition der Aufgabe: Die Autoren argumentieren, dass Malware-Erklärung primär eine Signal-Extraktionsaufgabe und kein Wissensabrufproblem ist. Folglich kann das Hinzufügen externen Kontexts kognitive Belastung und Fehlerrisiken erhöhen, ohne Mehrwert zu bieten.
Design-Empfehlungen: Das Papier skizziert spezifische Strategien zur Minderung von suchinduziertem Rauschen in Sicherheits-Workflows:
- Überspringen von RAG, wenn strukturierte Berichte ausreichen (unter Verwendung von Kontext-Ausreichendkeits-Prädiktoren).
- Anwendung domänenspezifisch abgestimmter Re-Ranker mit strengen $k$ -Grenzen, um harte Negative zu vermeiden.
- Ersetzen der festen Fenster-Chunking durch verhaltens- oder IoC-zentrierte Blöcke, die mit Metadaten angereichert sind.
- Erkundung von Alternativen wie Cache-Augmented Generation (CAG) und Context Engineering.

Bedeutung und Behauptungen

Das Papier behauptet, dass in sicherheitskritischen Pipelines das Risiko einer Automatisierungsverzerrung steigt, wenn RAG-basierte Erklärungen von den zugrunde liegenden Beweisen abweichen. Die Autoren betonen, dass Analysten mehr von Konsistenz und Nachverfolgbarkeit profitieren als von erweiterten Narrativen. Indem gezeigt wird, dass RAG die Leistung in Bereichen, die von strukturierter Argumentation geprägt sind, verschlechtern kann, plädiert die Arbeit für eine Verschiebung im Tooling-Design: weg von der Wissenssynthese durch Abruf hin zur strukturierten Signal-Extraktion. Die Ergebnisse deuten darauf hin, dass für Aufgaben, bei denen die Quellbeweise bereits umfassend sind, das durch Abrufmechanismen eingeführte „Rauschen" die potenziellen Vorteile externer Wissenseinbringung überwiegt.