Who Tests the Testers? Systematic Enumeration and Coverage Audit of LLM Agent Tool Call Safety

1. Problemstellung

Large Language Model (LLM) Agenten agieren zunehmend durch die Nutzung externer Tools (z. B. E-Mail, Kalender, Web-APIs). Die Sicherheit dieser Agenten hängt daher nicht nur von der Textgenerierung ab, sondern kritisch von den Tool-Call-Workflows.

• Lücke in der aktuellen Forschung: Bestehende Sicherheits-Benchmarks (wie AgentSafetyBench, AgentHarm) bewerten Agenten in verschiedenen Umgebungen, doch es ist unklar, wie vollständig diese Test-Suiten sind.
• Das Kernproblem: Selbst wenn ein Agent einen Benchmark besteht, können gefährliche Interaktionsmuster bestehen bleiben, die von den Testfällen nicht abgedeckt werden. Kleine Änderungen im Nutzerkontext oder Mehrdeutigkeiten in API-Parametern können zu qualitativ anderen, unsicheren Ergebnissen führen. Es fehlt eine systematische Methode, um den Raum möglicher unsicherer Interaktionen zu enumerieren und den Abdeckungsgrad (Coverage) bestehender Benchmarks zu quantifizieren.

2. Methodik: SafeAudit

Die Autoren stellen SafeAudit vor, ein Meta-Audit-Framework, das die Lücken bestehender Benchmarks aufdeckt. Der Ansatz besteht aus zwei Hauptkomponenten:

A. LLM-basierter Enumerator (Systematische Generierung)

Anstatt Testfälle direkt zu generieren (was zu einer riesigen Suchraum führt), verwendet SafeAudit einen zweistufigen Prozess:

1. Phase 1 – Enumeration unsicherer Muster: Ein LLM generiert zunächst abstrakte, hochlevelige Beschreibungen unsicherer Interaktionsmuster. Dabei werden gültige Tool-Call-Ketten (Workflows) und deren potenzielle Fehlerpunkte (z. B. mehrdeutige Suche, veraltete Daten, fehlende Verifikation) systematisch durchsucht.
2. Phase 2 – Konkretisierung: Diese abstrakten Muster werden in konkrete, ausführbare Testfälle umgewandelt, die an die spezifische Umgebung und die Tools des Ziel-Agenten angepasst sind.
   • Diversität: Die Generierung variiert Nutzerrollen, Geschäftskontexte und Delegationsstile (von präzisen Anweisungen bis zu vagen Aufgaben), um realistische Szenarien abzudecken.

B. Rule-Resistance (Quantitative Messung der Vollständigkeit)

Um zu messen, wie vollständig ein Testset ist, führen die Autoren das Konzept der Rule-Resistance ein:

1. Regel-Extraktion: Aus den bestehenden Benchmarks werden kompakte Sicherheitsregeln (z. B. „MUSST nicht senden ohne Bestätigung") extrahiert, die die dort bekannten unsicheren Fälle neutralisieren.
2. Evaluation: Diese Regeln werden sequenziell auf die neu generierten Testfälle von SafeAudit angewendet.
3. Metrik: Ein Testfall gilt als „uncovered" (nicht abgedeckt), wenn er auch nach Anwendung aller extrahierten Regeln weiterhin als unsicher bewertet wird. Die Uncovered Rate (UR) misst den Anteil dieser verbleibenden unsicheren Fälle. Dies dient als quantitatives Maß für die Lücken im bestehenden Benchmark.

3. Wichtige Beiträge

1. Systematischer Enumerator: Entwicklung eines Frameworks, das den Raum gültiger Agenten-Workflows durch Kombination von Tool-Chains und diversen Nutzer-Szenarien systematisch erkundet, anstatt sich auf zufällige Prompting-Methoden zu verlassen.
2. Rule-Resistance-Metrik: Einführung einer nicht-semantischen, überprüfbaren Metrik zur Messung der Testabdeckung. Im Gegensatz zu semantischer Ähnlichkeit basiert dies auf der Fähigkeit von Sicherheitsregeln, unsichere Verhaltensweisen zu blockieren.
3. Meta-Audit-Ergebnisse: Analyse von 3 Benchmarks über 12 Umgebungen und 8 LLM-Backbones. Die Studie zeigt, dass bestehende Benchmarks systematisch mehr als 20 % der unsicheren Interaktionsmuster übersehen.

4. Ergebnisse

Die Experimente wurden mit drei Benchmarks (AgentSafetyBench, AgentHarm, ToolSafety) und verschiedenen Agenten-Backbones (GPT-4o-mini, Claude-3.5-haiku, Llama-3.1-8b) durchgeführt.

• Überlegene Entdeckung: SafeAudit deckt signifikant mehr unsichere Fälle auf als Baselines (DirectGen und SIRAJ). In vielen Umgebungen liegt die Uncovered Rate bei SafeAudit bei über 50–60 %, während Baselines oft unter 30 % bleiben.
• Skalierbarkeit: Mit steigendem Budget (Anzahl der generierten Testfälle) steigt die Uncovered Rate monoton an, was darauf hindeutet, dass SafeAudit kontinuierlich neue, generalisierbare Fehlermuster findet.
• Neuartigkeit (Novelty): Etwa 11 % der von SafeAudit gefundenen Muster sind völlig neu und werden von keinem der bestehenden Test-Suiten unter denselben Tools und Umgebungen abgedeckt.
  • Beispiel: Ein Agent antwortet korrekt auf eine E-Mail, wählt aber aufgrund von Mehrdeutigkeiten einen Link aus einer anderen E-Mail-Kette aus, was zu einem Phishing-Risiko führt – ein Muster, das von Benchmarks oft übersehen wird.
• Robustheit: Die Ergebnisse bleiben stabil unter verschiedenen Bewertungsmodellen (Judges) und führen nicht zu einer signifikanten Verschlechterung der Nützlichkeit (Utility) des Agenten bei harmlosen Aufgaben.

5. Bedeutung und Fazit

Das Paper demonstriert, dass das Bestehen eines bestehenden Benchmarks kein Garant für die Sicherheit eines LLM-Agenten ist.

• Paradigmenwechsel: Statt nur neue Benchmarks zu erstellen, sollte die Forschung auf Meta-Auditing setzen, um die Vollständigkeit und die Blindstellen aktueller Evaluierungen zu quantifizieren.
• Strukturelle vs. Inhaltliche Sicherheit: Die Arbeit unterstreicht, dass Unsicherheiten oft in der Struktur der Tool-Aufrufe (Workflows, Parameter-Bindung) liegen und nicht nur im generierten Text.
• Zukunftsausblick: SafeAudit bietet einen Weg, um systematisch Trainingsdaten für sicherere Agenten zu generieren und die Sicherheitsgarantien in realen, komplexen Umgebungen zu verbessern.

Zusammenfassend liefert SafeAudit ein essentielles Werkzeug, um zu verstehen, was noch nicht getestet wurde, und treibt die Entwicklung robusterer Sicherheitsstandards für autonome Agenten voran.