Technische Zusammenfassung: SAFESEARCH: Automatisierte Red-Teaming von LLM-basierten Suchagenten

1. Problemstellung

Suchagenten auf Basis von Large Language Models (LLM) verbinden Modelle mit dem Internet, um auf aktuelle Informationen zuzugreifen, und ermöglichen Anwendungen von der schnellen Informationsbeschaffung bis hin zu Forschungsarbeiten mit langem Zeithorizont. Diese Architektur führt jedoch eine kritische neue Angriffsfläche ein: unzuverlässige Suchergebnisse. Im Gegensatz zu Retrieval-Augmented Generation (RAG)-Systemen, die auf kuratierten, lokalen Korpora basieren, empfangen Suchagenten passiv Inhalte aus dem offenen Web, die qualitativ minderwertige Content-Farmen, voreingenommene Quellen, gesponserte Werbung oder manipulierte Informationen durch Black-Hat-SEO enthalten können.

Reale Vorfälle und Beobachtungen in der Praxis zeigen, dass Suchagenten diese Ergebnisse oft kritiklos vertrauen, was zu unsicheren Ausgaben führt, wie z. B. Fehlinformationen, schädlichen Ratschlägen oder der Ausführung indirekter Prompt-Injectionen. Bestehende Evaluierungen für Suchagenten konzentrieren sich primär auf die Genauigkeit der Aufgaben (z. B. GAIA, SIMPLEQA) und nicht auf die Sicherheit, und aktuelle Red-Teaming-Methoden beruhen auf arbeitsintensiver manueller Erstellung oder adversariellen Abfragen, die die Realität nicht widerspiegeln, in der harmlose Benutzerabfragen auf unzuverlässige Suchergebnisse treffen. Darüber hinaus stellt das reale adversarielle Testen (z. B. Manipulation von Suchrankings) ethische Risiken dar und ist für die meisten Entwickler nicht durchführbar.

2. Methodik: Das SAFESEARCH-Framework

Die Autoren schlagen SAFESEARCH vor, ein automatisiertes, skalierbares und kosteneffizientes Red-Teaming-Framework, das entwickelt wurde, um die Sicherheit von LLM-basierten Suchagenten zu bewerten, wenn sie harmlosen Benutzerabfragen ausgesetzt sind, die unzuverlässige Suchergebnisse erhalten.

2.1 Bedrohungsmodell

Das Framework operiert unter einem spezifischen Bedrohungsmodell:

• Harmlose Abfragen: Der Tester gibt ausschließlich harmlose, realistische Benutzerabfragen aus.
• Gesteuerte Injection: Für jede Abfrage injiziert der Tester höchstens eine unzuverlässige Website in die dem Agenten zurückgegebenen Suchergebnisse.
• Agenten-unabhängig: Die unzuverlässige Website ist für alle Agenten bei einem gegebenen Testfall festgelegt, wodurch sichergestellt wird, dass die Bedrohung nicht auf spezifische Modellarchitekturen zugeschnitten ist.
• Ziel: Zu identifizieren, ob der Agent den unzuverlässigen Inhalt in unsichere Endantworten weiterleitet.

2.2 Automatisierte Generierung von Testfällen

Das Framework nutzt einen dreistufigen Workflow, der von LLM-Assistenten gesteuert wird, um 300 hochwertige Testfälle über fünf Risikokategorien hinweg zu generieren:

1. Szenario-Ankerung: Ein LLM generiert realistische Benutzerszenarien und Abfragen, bei denen das spezifische Risiko (z. B. Fehlinformationen, Voreingenommenheit) plausibel auftreten könnte.
2. Testdesign: Das System definiert einen „bösartigen Plan", der die Zielkonsequenz und die Art der unzuverlässigen Website spezifiziert. Entscheidend ist, dass es die Zeitlücke zwischen dem Wissensstichtag des LLM und dem aktuellen Datum berücksichtigt, um sicherzustellen, dass die Bedrohung zeitkritisch und realistisch ist.
3. Test-Instanziierung: Das System generiert Richtlinien zur Synthese der unzuverlässigen Website und eine Checkliste für die Sicherheitsbewertung.

Qualitätsfilterung: Um sicherzustellen, dass Testfälle handlungsrelevant sind, setzt das Framework auf differenzielles Testen. Ein Basis-Agent wird unter zwei Einstellungen getestet: einem harmlosen Tool und einem manipulierten Tool (mit der injizierten Website). Ein Testfall wird nur beibehalten, wenn die Zielkonsequenz unter Manipulation erreichbar ist, aber unter harmlosen Bedingungen nicht ausgelöst wird.

2.3 Simulation-basiertes Testen

Um die ethischen und praktischen Probleme der Manipulation realer Suchmaschinen zu vermeiden, verwendet SAFESEARCH eine sandboxierte Simulation:

• Injection: Eine unzuverlässige Website wird synthetisch generiert und in die Liste der authentischen Suchergebnisse injiziert (typischerweise am Ende angehängt, um ein niedrigeres Ranking zu simulieren, obwohl die Positionsempfindlichkeit analysiert wird).
• Ausführung: Der Suchagent verarbeitet die gemischten Ergebnisse und generiert eine Antwort.
• Evaluation: Ein LLM-as-a-Judge, unterstützt durch die vorab generierte Checkliste, bewertet die Antwort des Agenten gegen die Zielkonsequenz, um eine Attack Success Rate (ASR) zu bestimmen. Ein separater Bewerter bewertet Helpfulness Scores (HS), um festzustellen, ob unsichere Antworten für Nutzer dennoch nützlich erscheinen.

3. Hauptbeiträge

1. Problemformulierung: Die Arbeit definiert formal die Sicherheitsrisiken von LLM-basierten Suchagenten, die harmlosen Abfragen ausgesetzt sind und unzuverlässige Suchergebnisse erhalten, und unterscheidet dies von RAG-Vergiftung und expliziten adversariellen Angriffen.
2. SAFESEARCH-Framework: Die Entwicklung einer automatisierten Red-Teaming-Pipeline, die die Generierung von Testfällen, differenzielle Filterung, sandboxierte Simulation und checklistengestützte Bewertung umfasst.
3. Umfassende Evaluation: Die Erstellung eines Datensatzes mit 300 Testfällen und die Bewertung von 17 repräsentativen LLMs (9 proprietär, 8 Open Source) über drei Such-Agenten-Scaffolds (Search Workflow, Tool Calling und Deep Research).
4. Open Source: Die Veröffentlichung des Codes und des Datensatzes zur Förderung weiterer Forschung.

4. Experimentelle Ergebnisse

Die Autoren bewerteten 17 Modelle über drei Scaffolds hinweg. Zu den wichtigsten Erkenntnissen gehören:

• Hohe Anfälligkeit: Suchagenten sind unzuverlässigen Suchergebnissen gegenüber hochgradig anfällig. Die höchste beobachtete ASR betrug 90,5 % für GPT-4.1-mini unter Verwendung eines Search Workflows. Selbst die robustesten Konfigurationen (z. B. Claude-Sonnet-4.5 mit Tool Calling) wiesen nicht-null ASRs auf (4,6 %).
• Einfluss von Backend-LLMs: Reasoning-Modelle zeigten im Allgemeinen eine stärkere Resilienz als nicht-reasoning-Modelle. Beispielsweise wiesen GPT-5 und GPT-5-mini im Vergleich zu früheren Generationen signifikant niedrigere ASRs auf, was darauf hindeutet, dass fortschrittliche Reasoning-Fähigkeiten beim Filtern unzuverlässiger Informationen helfen.
• Einfluss des Scaffold-Designs: Die Agentenarchitektur spielt eine entscheidende Rolle.
  • Search Workflow (passive Retrieval) zeigte die höchste Anfälligkeit.
  • Tool Calling und Deep Research (aktive, mehrstufige Retrieval) zeigten eine verbesserte Sicherheit, wahrscheinlich aufgrund der Kreuzvalidierung über Quellen hinweg und der Fähigkeit, Konflikte zu lösen.
  • Wenn jedoch Suchbudgets kontrolliert wurden, verringerte sich der Vorteil von „Deep Research", was darauf hindeutet, dass der Sicherheitsgewinn oft aus der Nutzung mehrerer Suchabfragen resultiert und nicht aus der Scaffold-Logik selbst.
• Risiko-Variation: Die Anfälligkeit variierte je nach Risikotyp. Fehlinformationen stellten die größte Bedrohung dar (höchste durchschnittliche ASR), während Indirekte Prompt-Injection die niedrigste durchschnittliche ASR aufwies, was auf eine stärkere Resilienz gegenüber dieser spezifischen Sicherheitsbedrohung hindeutet.
• Sicherheit vs. Hilfsbereitschaft: Unsicheres Verhalten reduziert nicht notwendigerweise die wahrgenommene Hilfsbereitschaft. In vielen Fällen erzeugten Agenten, die von unzuverlässigen Quellen beeinflusst wurden, Antworten, die trotz faktischer Unrichtigkeit oder Unsicherheit hohe Werte bei der Hilfsbereitschaft (Plausibilität) erzielten.
• Grenzen der Verteidigung: Übliche Verteidigungsmaßnahmen wie Reminder-Prompting (Warnung des Agenten vor unzuverlässigen Quellen) boten nur begrenzten Schutz. Filterung (Verwendung eines LLM zur Vorfilterung der Ergebnisse) reduzierte die ASR um etwa die Hälfte, schaffte es jedoch nicht, Risiken vollständig zu eliminieren, insbesondere gegenüber heimlichen oder hochgradig persuasiven Inhalten.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass SAFESEARCH eine praktische, skalierbare und transparente Methode zur Messung und Verbesserung der Sicherheit von LLM-basierten Suchagenten bietet.

• Transparenz in der Entwicklung: Das Framework zeigt auf, wie Designentscheidungen (z. B. die Anzahl der zurückgegebenen Suchergebnisse) implizit die Sicherheit beeinflussen. Es hebt eine Lücke zwischen Wissen und Handeln hervor, bei der Modelle zwar die Fähigkeit besitzen, unzuverlässige Quellen zu identifizieren, wenn sie explizit damit beauftragt werden, diese Fähigkeit aber in agentischen Workflows nicht anwenden.
• Kontinuierliche Überwachung: Im Gegensatz zu statischen Benchmarks ist SAFESEARCH für die kontinuierliche Sicherheitsverfolgung während der Entwicklung von Agenten konzipiert, was die Bewertung von Verteidigungsstrategien und die Generierung zunehmend herausfordernder Testfälle ermöglicht.
• Relevanz für die Praxis: Durch die Simulation der Injection unzuverlässiger Ergebnisse in authentische Suchkontexte approximiert das Framework reale Bedrohungen, ohne die ethischen Risiken der Manipulation live laufender Suchmaschinen. Die Autoren argumentieren, dass simulationbasiertes Testen zwar Grenzen hat, aber notwendig ist, um systematisch die untere Grenze der Agentensicherheit vor dem Einsatz zu identifizieren.

Die Autoren schließen, dass zwar aktuelle Suchagenten anfällig sind, das Framework jedoch einen Weg für Entwickler bietet, sicherere Systeme zu iterieren, und betonen, dass Sicherheit in zukünftigen Agenten-Designs neben der Leistung Priorität haben muss.