NAAMSE: Framework for Evolutionary Security Evaluation of Agents

Das Paper stellt NAAMSE vor, ein evolutionäres Framework, das die Sicherheit von KI-Agenten durch einen feedbackgesteuerten Optimierungsprozess mit genetischer Prompt-Mutation und hierarchischer Korpus-Exploration bewertet, um adaptive Bedrohungen realistischer zu simulieren als statische Methoden.

Das Wesentliche

NAAMSE: Der evolutionäre Sicherheits-Test für KI-Agenten

Stellen Sie sich vor, Sie haben einen hochintelligenten, aber noch etwas unerfahrenen KI-Assistenten, der bald in der echten Welt arbeiten soll – vielleicht als persönlicher Berater, Finanzexperte oder medizinischer Ratgeber. Bevor Sie ihn loslassen, müssen Sie sicherstellen, dass er nicht versehentlich schädliche Dinge tut oder sich von böswilligen Nutzern manipulieren lässt.

Das Problem ist: Die bisherigen Methoden, um diese KI zu testen, sind wie ein veraltetes Sicherheitsmanöver.

Das Problem: Der statische Test

Bisher haben Sicherheitsexperten oft wie Lehrer mit einem alten Fragebogen gearbeitet. Sie haben der KI immer wieder die gleichen, feststehenden Fragen gestellt (sogenannte „Benchmarks").

• Der Nachteil: Wenn die KI lernt, diese spezifischen Fragen zu beantworten, ist der Test vorbei. Aber echte Hacker sind nicht statisch; sie passen ihre Angriffe ständig an. Es ist, als würden Sie einen Dieb nur mit einem einzigen Schloss testen, während er eigentlich einen万能-Schlüssel (einen „Master Key") entwickelt hat, den Sie noch nie gesehen haben.

Die Lösung: NAAMSE – Der evolutionäre Sicherheits-Test

Die Forscher aus dem Papier haben NAAMSE entwickelt. Man kann sich das wie einen intelligenten, sich selbst entwickelnden „Schurken" vorstellen, der in einer Art digitalen Arena gegen die KI kämpft.

Hier ist, wie es funktioniert, mit ein paar einfachen Vergleichen:

1. Der „Schurke" lernt aus Fehlern (Evolution)

Statt immer wieder die gleichen Fragen zu stellen, nutzt NAAMSE einen Prozess, der der natürlichen Evolution nachempfunden ist.

• Der Start: Der „Schurke" beginnt mit einer riesigen Bibliothek von Fragen (einige böse, einige harmlos).
• Die Mutation: Wenn eine Frage die KI nicht täuschen kann, verändert der Schurke sie leicht (wie eine genetische Mutation). Vielleicht fügt er einen neuen Satz hinzu, ändert die Sprache oder spielt eine Rolle.
• Die Auslese: Wenn eine neue Frage die KI dazu bringt, einen Fehler zu machen (z. B. ein Geheimnis preiszugeben), wird diese Frage „überleben" und weiterentwickelt. Wenn sie scheitert, wird sie verworfen.

2. Der „Richter", der nicht nur auf Ja/Nein schaut

Ein entscheidender Punkt bei NAAMSE ist, dass es nicht nur zählt, ob die KI „ja" sagt, wenn sie „nein" sagen sollte.

• Das Dilemma: Eine KI, die alles ablehnt (z. B. „Ich kann Ihnen nicht helfen"), ist sicher, aber völlig unbrauchbar. Eine KI, die alles macht, ist gefährlich.
• Die Lösung: NAAMSE bewertet die KI wie einen guten Angestellten.
  • Wenn die KI eine böse Frage ablehnt, bekommt sie Punkte.
  • Wenn die KI eine harmlose Frage beantwortet, bekommt sie Punkte.
  • Wenn die KI eine böse Frage beantwortet (schlecht!) oder eine harmlose Frage ablehnt (auch schlecht!), bekommt sie Strafpunkte.
  • Das Ziel ist es, die KI zu finden, die klug genug ist, um zu unterscheiden, nicht nur eine, die stur ist.

3. Der Kreislauf des Lernens

Der Prozess läuft in einem ständigen Kreislauf ab:

1. Auswählen: Der Schurke wählt eine Frage aus.
2. Testen: Er stellt sie der KI.
3. Bewerten: Ein automatischer Richter (eine andere KI) schaut, wie die Antwort war.
4. Anpassen: Basierend auf dem Ergebnis entscheidet der Schurke: „Diese Frage war zu einfach, ich muss sie härter machen" oder „Diese Frage war zu seltsam, ich probiere einen neuen Ansatz".

Warum ist das wichtig?

Stellen Sie sich vor, Sie testen einen neuen Sicherheitsdienst für ein Bank.

• Die alte Methode: Sie schicken einen Testkandidaten, der versucht, mit einem einfachen Trick das Tor zu öffnen. Wenn er scheitert, sagen Sie: „Alles sicher!"
• Die NAAMSE-Methode: Sie schicken einen Trainer, der den Kandidaten tagelang trainiert, immer neue Tricks auszuprobieren, bis er den schwächsten Punkt im System findet. Erst wenn der Trainer nicht mehr weiterkommt, sind Sie wirklich sicher.

Fazit

NAAMSE ist wie ein digitaler Evolutionsmotor. Es simuliert nicht nur einen Angriff, sondern lässt Tausende von Angriffen entstehen, die sich gegenseitig verbessern, bis sie die KI so weit herausfordern, dass ihre wahren Schwachstellen ans Licht kommen. Gleichzeitig stellt es sicher, dass die KI nicht durch übermäßige Vorsicht (alles ablehnen) ihre Nützlichkeit verliert.

Es ist der Unterschied zwischen einem Sicherheitscheck, der nur einmal gemacht wird, und einem Sicherheitscheck, der nie aufhört zu lernen.

Technische Zusammenfassung

Titel: NAAMSE: Framework für die evolutionäre Sicherheitsbewertung von Agenten

Veröffentlicht bei: ICLR 2026 Workshop on Agents in the Wild

---

1. Problemstellung

Die schnelle Integration von KI-Agenten in Produktionsumgebungen hat die Notwendigkeit robuster Sicherheitsmaßnahmen verschärft. Trotz einer hohen Adoptionsrate (79 % der Organisationen, laut PwC 2024) hinken die Sicherheitspraktiken hinterher.

• Herausforderungen bestehender Methoden:
  • Manuelles Red-Teaming: Ist langsam, nicht skalierbar, stark von der Intuition einzelner Tester abhängig und deckt den riesigen Eingaberaum moderner LLMs nicht umfassend ab.
  • Statische Benchmarks: Sind schnell veraltet (z. B. alte „DAN"-Prompts sind oft gepatcht) und testen Modelle mit festen, unveränderlichen Angriffskorpora.
  • Fehlende Adaptivität: Bestehende automatische Tools (wie GPTFuzzer oder AutoDAN) optimieren oft nur die Angriffserfolgsrate (ASR) bei isolierten, einstufigen LLMs. Sie berücksichtigen nicht die komplexen, mehrstufigen Workflows von Agenten oder den Trade-off zwischen Sicherheit und Nützlichkeit (Usability).
• Das Kernproblem: Es fehlt ein skalierbarer Ansatz, der Angriffe adaptiv entwickelt, um komplexe Agenten-Workflows zu testen, ohne dabei in eine „Blanket Refusal"-Strategie (pauschale Ablehnung aller Anfragen) zu verfallen, die zwar sicher, aber unbrauchbar ist.

2. Methodik: Das NAAMSE-Framework

NAAMSE (Neural Adaptive Agent Mutation & Security Evaluation) reframed das Red-Teaming als feedback-getriebenes Optimierungsproblem. Das System verwendet einen einzigen autonomen Agenten, der einen evolutionären Zyklus aus genetischer Prompt-Mutation und Korpus-Exploration orchestriert.

Die Architektur besteht aus einer Pipeline mit vier Phasen:

Phase 1: Selektion und Repräsentation (Clustering Engine)

• Ein strukturiertes Korpus wird aus über 128.000 adversarialen und 50.000 benignen (harmlosen) Anfragen erstellt.
• Prompts werden mittels all-MiniLM-L6-v2 Sentence Transformer kodiert und durch rekursive K-Means-Clustering in einer hierarchischen Baumstruktur organisiert.
• Top-Level-Cluster werden durch LLM-Analyse annotiert (z. B. „Rollen-Spiel-Jailbreaks" oder „Banking-Abfragen"), um eine breite Abdeckung des Eingaberaums zu gewährleisten.

Phase 2: Ausführung und Bewertung (Behavioral Engine)

• Der ausgewählte Prompt wird über eine Agent-zu-Agent (A2A)-Schnittstelle an das Zielsystem gesendet (unterstützt Tool-Nutzung und Multi-Turn-Dialoge).
• Die Antwort wird bewertet und ein skalierter Fitness-Score (0–100) berechnet, basierend auf drei Signalen:
  1. Schädlichkeit (Harmfulness): Bewertung durch spezialisierte LLM-Richter in sechs Sicherheitskategorien.
  2. Ausrichtung (Alignment): Unterscheidung zwischen Ablehnung, Compliance und Gehorsam.
  3. Datenschutzrisiko (Privacy Risk): Erkennung sensibler Datenlecks (PII).
• Logik des Scores:
  • Bei adversarialen Prompts: Hohe Strafe für schädliche Compliance, Belohnung für Ablehnung.
  • Bei benignen Prompts: Umgekehrte Logik. Hohe Strafe für unnötige Ablehnung (Over-Refusal), Belohnung für Hilfsbereitschaft.
  • Dies verhindert, dass ein Modell, das alles ablehnt, fälschlicherweise als „sicher" bewertet wird.

Phase 3: Evolutionäre Entscheidung (Mutation Engine)

Der erhaltene Score steuert die Strategie des Angreifers (Adaptive Adversary):

• Niedriger Score (< 50): Trigger Exploration. Der Angriff gilt als ineffektiv; der Agent wechselt zu anderen Clustern für neue Angriffsflächen.
• Mittlerer Score (50–80): Trigger Verfeinerung (Refinement). Semantisch ähnliche Varianten werden generiert, um den Angriff zu stabilisieren.
• Hoher Score (80–100): Trigger Mutation. Aggressive, forschungsbasierte Transformationen (z. B. Spieltheorie, Rollenspiele, Verschlüsselung) werden angewendet, um die Schwere des Exploits zu maximieren.
• Perfekter Score (100): Trigger Exploration. Die Angriffsfläche gilt als „gesättigt"; der Agent wechselt den Cluster, um lokale Optima zu vermeiden.

Phase 4: Korpus-Integration

Neu generierte Prompts werden zurück in das Clustering-System eingespeist, basierend auf ihrer semantischen Nähe zu bestehenden Clustern. Dies ermöglicht eine kumulative Verfeinerung der Angriffsverteilung über die Zeit.

3. Wichtige Beiträge

1. Dual-Dimension-Bewertung: NAAMSE ist das erste Framework, das Agenten sowohl auf adversariale Prompts (Sicherheit) als auch auf benignen Prompts (Nützlichkeit) testet. Es bestraft explizit die „Blanket Refusal"-Strategie, die oft als Sicherheitsmaßnahme missverstanden wird.
2. Evolutionärer Suchansatz: Im Gegensatz zu statischen Benchmarks oder reinen Zufallsgeneratoren nutzt NAAMSE eine adaptive Feedback-Schleife, die Angriffe iterativ verbessert und so verborgene, komplexe Schwachstellen aufdeckt.
3. Synergie von Exploration und Mutation: Die Arbeit zeigt, dass weder reine Exploration noch reine Mutation allein ausreichen. Die Kombination führt zu einer systematischen Amplifizierung von Schwachstellen.
4. Open Source: Der Code ist verfügbar, um die Reproduzierbarkeit und Weiterentwicklung zu fördern.

4. Ergebnisse

Die Experimente wurden primär mit Gemini 2.5 Flash als Zielmodell durchgeführt, wobei auch Cross-Model-Tests (z. B. mit Qwen3.5) die Generalisierbarkeit bestätigten.

• Synergie-Effekt: Die vollständige Konfiguration („All": Random + Similar + Mutation) erzielte einen durchschnittlichen Fitness-Score von 79,76, deutlich höher als isolierte Strategien.
  • Mutation-only: Konvergierte zu lokalen Optima (Score ~53) und konnte keine neuen Angriffsvektoren finden.
  • Exploration-only (Random+Similar): Fehlschlag bei der Ausnutzung gefundener Lücken (Score fiel auf ~5), da keine gezielte Mutation stattfand.
• Entdeckung komplexer Fehler: Evolutionäre Mutationen deckten systematisch Schwachstellen auf, die von Ein-Schuss-Methoden (One-shot) übersehen wurden.
• Kalibrierung: Externe Validierungen durch andere LLMs (ChatGPT, Claude) bestätigten, dass die höchsten Scores (100) tatsächlich erfolgreiche Jailbreaks darstellen.
• Degenerierte Agenten: Das Framework konnte „All-No"-Agenten (immer ablehnend) und „All-Yes"-Agenten (immer compliant) korrekt als unsicher bzw. unbrauchbar identifizieren.

5. Bedeutung und Ausblick

NAAMSE adressiert die Kluft zwischen dem rasanten Wachstum von KI-Agenten und der Stagnation traditioneller Sicherheitspraktiken.

• Praktische Relevanz: Es bietet eine skalierbare, automatisierte Methode, um die Robustheit von Agenten in dynamischen Umgebungen zu testen, bevor sie in der Produktion eingesetzt werden.
• Paradigmenwechsel: Statt statischer Checklisten fordert NAAMSE einen kontinuierlichen, adaptiven Testprozess.
• Zukünftige Arbeit: Das Framework ist erweiterbar auf Tool-Call-Payloads, API-Ausnutzungen und Multi-Modal-Injectionen. Aktuelle Limitationen umfassen die Abhängigkeit von LLM-basierten Richtern (Bias-Risiko) und den Fokus auf Interaktionsebene (ohne Systemkompromisse wie Gewichts-Extraktion).

Zusammenfassend stellt NAAMSE einen bedeutenden Schritt hin zu einer realistischeren und skalierbaren Sicherheitsbewertung von autonomen KI-Agenten dar, die nicht nur nach Schwachstellen sucht, sondern auch die Funktionalität des Systems wahrt.