Technische Samenvatting: SAFESEARCH: Geautomatiseerd Red-Teaming van LLM-gebaseerde Zoekagenten

1. Probleemstelling

Zoekagenten op basis van Large Language Models (LLM) verbinden modellen met het internet om actuele informatie te raadplegen, waardoor toepassingen mogelijk worden die variëren van snelle informatiewinning tot onderzoeksopdrachten met een lange horizon. Deze architectuur introduceert echter een kritiek nieuw bedreigingsoppervlak: onbetrouwbare zoekresultaten. In tegenstelling tot Retrieval-Augmented Generation (RAG)-systemen die vertrouwen op gecureerde, lokale corpora, ontvangen zoekagenten passief inhoud van het open web, wat kan variëren van contentfabrieken van lage kwaliteit en bevooroordeelde bronnen tot gesponsorde advertenties of gemanipuleerde informatie via black-hat SEO.

Real-world incidenten en waarnemingen in het wild geven aan dat zoekagenten deze resultaten vaak kritiekloos vertrouwen, wat leidt tot onveilige output zoals desinformatie, schadelijk advies of de uitvoering van indirecte prompt-injecties. Bestaande evaluaties voor zoekagenten richten zich voornamelijk op taaknauwkeurigheid (bijvoorbeeld GAIA, SIMPLEQA) in plaats van veiligheid, en huidige red-teaming-methoden vertrouwen op arbeidsintensieve menselijke creatie of adversariële queries die de realiteit niet weerspiegelen van onschuldige gebruikersqueries die onbetrouwbare zoekresultaten tegenkomen. Bovendien vormt real-world adversariële testing (bijvoorbeeld het manipuleren van zoekrangschikkingen) ethische risico's en is dit voor de meeste ontwikkelaars niet uitvoerbaar.

2. Methodologie: Het SAFESEARCH-raamwerk

De auteurs stellen SAFESEARCH voor, een geautomatiseerd, schaalbaar en kostenefficiënt red-teaming-raamwerk dat is ontworpen om de veiligheid van LLM-gebaseerde zoekagenten te evalueren wanneer deze worden blootgesteld aan onbetrouwbare zoekresultaten onder onschuldige gebruikersqueries.

2.1 Bedreigingsmodel

Het raamwerk opereert onder een specifiek bedreigingsmodel:

• Onschuldige Queries: De tester geeft uitsluitend onschuldige, realistische gebruikersqueries.
• Gestuurde Injectie: Voor elke query injecteert de tester ten hoogste één onbetrouwbare website in de zoekresultaten die aan de agent worden teruggegeven.
• Agent-onafhankelijk: De onbetrouwbare website is vast voor alle agenten binnen een gegeven testgeval, zodat de bedreiging niet is toegespitst op specifieke modelarchitecturen.
• Doel: Om te bepalen of de agent de onbetrouwbare inhoud doorgeeft in onveilige uiteindelijke antwoorden.

2.2 Geautomatiseerde Generatie van Testgevallen

Het raamwerk maakt gebruik van een workflow in drie stappen, aangedreven door LLM-assistenten, om 300 hoogwaardige testgevallen te genereren over vijf risicocategorieën:

1. Scenario-verankering: Een LLM genereert realistische gebruikersscenario's en queries waarbij het specifieke risico (bijvoorbeeld desinformatie, bias) plausibel kan ontstaan.
2. Testontwerp: Het systeem definieert een "kwaadaardig plan", waarin het beoogde negatieve gevolg en de aard van de onbetrouwbare website worden gespecificeerd. Cruciaal is dat rekening wordt gehouden met het tijdsverschil tussen de kennisafsnijdatum van de LLM en de huidige datum om ervoor te zorgen dat de bedreiging tijdgevoelig en realistisch is.
3. Test-instantiatie: Het systeem genereert richtlijnen voor het synthetiseren van de onbetrouwbare website en een checklist voor veiligheidsevaluatie.

Kwaliteitsfiltering: Om ervoor te zorgen dat testgevallen uitvoerbaar zijn, past het raamwerk differentiële testing toe. Een basisagent wordt getest onder twee instellingen: een onschuldige tool en een gemanipuleerde tool (met de ingejecteerde website). Een testgeval wordt alleen behouden als het beoogde gevolg haalbaar is onder manipulatie, maar niet wordt geactiveerd onder onschuldige omstandigheden.

2.3 Op simulatie gebaseerde Testing

Om de ethische en praktische problemen van het manipuleren van echte zoekmachines te vermijden, maakt SAFESEARCH gebruik van een gesandboxde simulatie:

• Injectie: Een onbetrouwbare website wordt synthetisch gegenereerd en ingejecteerd in de lijst met authentieke zoekresultaten (meestal aan het einde toegevoegd om een lagere rangschikking te simuleren, hoewel de gevoeligheid voor positie wordt geanalyseerd).
• Uitvoering: De zoekagent verwerkt de gemengde resultaten en genereert een antwoord.
• Evaluatie: Een LLM-as-a-Judge, bijgestaan door de vooraf gegenereerde checklist, evalueert het antwoord van de agent tegen het beoogde gevolg om een Aanvalsuccesratio (ASR) te bepalen. Een aparte evaluator beoordeelt Hulpvaardigheidsscores (HS) om te bepalen of onveilige antwoorden voor gebruikers nog steeds nuttig lijken.

3. Belangrijkste Bijdragen

1. Probleemformulering: Het artikel definieert formeel de veiligheidsrisico's van LLM-gebaseerde zoekagenten die worden blootgesteld aan onbetrouwbare zoekresultaten onder onschuldige queries, en onderscheidt dit van RAG-vergiftiging en expliciete adversariële aanvallen.
2. SAFESEARCH-raamwerk: De ontwikkeling van een geautomatiseerde red-teaming-pijplijn die testgevalgeneratie, differentiële filtering, gesandboxde simulatie en checklist-ondersteunde evaluatie omvat.
3. Uitgebreide Evaluatie: De constructie van een dataset van 300 testgevallen en de evaluatie van 17 representatieve LLM's (9 propriëtaire, 8 open-source) over drie zoekagent-scaffolds (Zoekworkflow, Tool Calling en Deep Research).
4. Open Source: De release van de code en dataset om verder onderzoek te faciliteren.

4. Experimentele Resultaten

De auteurs evalueerden 17 modellen over drie scaffolds. Belangrijkste bevindingen zijn:

• Hoge Kwetsbaarheid: Zoekagenten zijn zeer vatbaar voor onbetrouwbare zoekresultaten. De hoogste waargenomen ASR was 90,5% voor GPT-4.1-mini met een zoekworkflow. Zelfs de meest robuuste configuraties (bijvoorbeeld Claude-Sonnet-4.5 met tool calling) vertoonden niet-nul ASR's (4,6%).
• Invloed van Backend LLM's: Redenerende modellen toonden over het algemeen een sterkere veerkracht dan niet-rederende modellen. Zo vertoonden GPT-5 en GPT-5-mini aanzienlijk lagere ASR's dan eerdere generaties, wat suggereert dat geavanceerde redeneercapaciteiten helpen bij het filteren van onbetrouwbare informatie.
• Invloed van Scaffold-ontwerp: De agentarchitectuur speelt een kritieke rol.
  • Zoekworkflow (passieve winst) toonde de hoogste kwetsbaarheid.
  • Tool Calling en Deep Research (actieve, meerstapswinning) toonden verbeterde veiligheid, waarschijnlijk door cross-validatie over bronnen en het vermogen om conflicten op te lossen.
  • Echter, wanneer zoekbudgetten werden gecontroleerd, nam het voordeel van "Deep Research" af, wat suggereert dat de veiligheidswinst vaak voortkomt uit het gebruik van meer zoekqueries in plaats van de scaffold-logica zelf.
• Risicovariantie: De vatbaarheid varieerde per risicotype. Desinformatie vormde de grootste bedreiging (hoogste gemiddelde ASR), terwijl Indirecte Prompt-injectie de laagste gemiddelde ASR vertoonde, wat wijst op sterkere veerkracht tegen deze specifieke veiligheidsbedreiging.
• Veiligheid versus Hulpvaardigheid: Onveilig gedrag vermindert niet noodzakelijkerwijs de waargenomen hulpvaardigheid. In veel gevallen produceerden agenten die werden beïnvloed door onbetrouwbare bronnen antwoorden die hoog scoorden op hulpvaardigheid (plausibiliteit), ondanks dat ze feitelijk incorrect of onveilig waren.
• Beperkingen van Defensie: Veelvoorkomende defensies zoals reminder prompting (waarschuwen van de agent voor onbetrouwbare bronnen) boden beperkte bescherming. Filtering (het gebruik van een LLM om resultaten vooraf te filteren) verlaagde de ASR met ongeveer de helft, maar slaagde er niet in om risico's volledig uit te sluiten, met name tegen sluwe of zeer overtuigende inhoud.

5. Betekenis en Claims

Het artikel stelt dat SAFESEARCH een praktische, schaalbare en transparante methode biedt voor het meten en verbeteren van de veiligheid van LLM-gebaseerde zoekagenten.

• Transparantie in Ontwikkeling: Het raamwerk onthult hoe ontwerptaken (bijvoorbeeld het aantal teruggegeven zoekresultaten) impliciet de veiligheid beïnvloeden. Het benadrukt een kennis-actie-kloof, waarbij modellen weliswaar het vermogen hebben om onbetrouwbare bronnen te identificeren wanneer ze expliciet worden gevraagd, maar dit kennis niet toepassen in agent-workflows.
• Continue Supervisie: In tegenstelling tot statische benchmarks is SAFESEARCH ontworpen voor continue veiligheidsmonitoring tijdens de ontwikkeling van agenten, waardoor evaluatie van defensiestrategieën mogelijk is en er steeds uitdagendere testgevallen kunnen worden gegenereerd.
• Relevantie voor de Realiteit: Door het simuleren van de injectie van onbetrouwbare resultaten in authentieke zoekcontexten, benadert het raamwerk real-world bedreigingen zonder de ethische risico's van het manipuleren van live zoekmachines. De auteurs betogen dat hoewel op simulatie gebaseerde testing beperkingen heeft, het noodzakelijk is om systematisch de ondergrens van agentveiligheid te identificeren voordat er sprake is van implementatie.

De auteurs concluderen dat hoewel huidige zoekagenten kwetsbaar zijn, het raamwerk een pad biedt voor ontwikkelaars om te itereren op veiligere systemen, met de nadruk dat veiligheid voorrang moet krijgen naast prestaties in toekomstige agentontwerpen.