Assessing Attack Surfaces in Generative Search Engines through Publisher Attributes: A Case Study in Political Domains

In het moderne digitale landschap is een nieuw soort zoekmachine opgekomen, één die niet slechts links opsomt, maar het web leest en een direct antwoord schrijft op uw vraag. Deze systemen, bekend als generatieve zoekmachines, combineren het enorme bereik van het internet met het conversationele vermogen van geavanceerde kunstmatige intelligentie. Ze fungeren als een brug, waarbij ze de zoekopdracht van een gebruiker nemen, miljoenen webpagina's scannen en een samenvatting synthetiseren die hun bronnen citeert. Deze verschuiving verandert de manier waarop mensen toegang krijgen tot informatie: van het doorspitten van een lijst met resultaten naar het ontvangen van een gecureerd narratief. Echter, omdat deze machines vertrouwen op de inhoud die door iedereen op het openbare web wordt gepubliceerd, kampen ze met een unieke kwetsbaarheid. Net zoals een chef kan worden misleid door één enkel slecht ingrediënt, kunnen deze motoren worden misleid door kwaadwillende actoren die valse informatie publiceren die er legitiem uitziet. Als een aanvaller het systeem kan misleiden om een nepnieuwswebsite te citeren, kan de motor die onwaarheid presenteren als een feit, wat de betrouwbaarheid van de verstrekte informatie ondermijnt.

Onderzoekers van de Keio Universiteit en QueryLift Inc. zetten zich in om te meten hoe kwetsbaar deze systemen precies zijn in de hooggespannen arena van de politiek. Ze richtten zich op een specifieke vraag: hoe gemakkelijk is het voor een aanvaller om valse informatie te injecteren in de antwoorden die deze motoren genereren? Om dit te beantwoorden, ontwikkelden ze een manier om de bronnen die een motor kiest te citeren te categoriseren op basis van hoe moeilijk het voor een kwaadwillende actor zou zijn om een website als die te creëren. Ze stelden zich een schaal van moeilijkheidsgraad voor. Aan de bovenkant van de schaal staan "primaire bronnen", zoals de officiële websites van politieke partijen, die moeilijk na te maken zijn omdat ze eigendom zijn van en gecontroleerd worden door de partijen zelf. Onderaan staan "bronnen met een lage barrière", zoals sociale mediaplatforms of persoonlijke blogs, waar iedereen direct alles kan publiceren met weinig toezicht. De onderzoekers redeneerden dat als een motor zwaar leunt op deze bronnen met een lage barrière, het zich op een breed, blootgesteld aanvalsoppervlak bevindt, waardoor het gemakkelijker is voor desinformatie om in het uiteindelijke antwoord te glippen.

Het team testte drie grote generatieve zoekmachines door modellen van OpenAI, Anthropic en Google te gebruiken, door honderden vragen over politieke partijen in de Verenigde Staten en Japan te stellen. Ze vroegen naar de standpunten van zowel regeringspartijen als oppositiepartijen, en ze varieerden de vragen om te zien of het gedrag van de motor veranderde op basis van wie de vraag stelde. Ze simuleerden verschillende typen gebruikers, inclusief gebruikers met een hoge politieke kennis en gebruikers zonder enige kennis, evenals gebruikers met verschillende politieke neigingen. Het doel was om te zien of de keuze van de motor voor bronnen verschoof afhankelijk van het profiel van de gebruiker of de politieke context, en om te meten hoeveel van het uiteindelijke antwoord daadwerkelijk uit deze bronnen werd getrokken.

De resultaten onthulden een duidelijk en zorgwekkend patroon. De kwetsbaarheid van deze systemen hangt veel meer af van het specifieke model dat wordt gebruikt en welke politieke partij wordt besproken, dan van de persoon die de vraag stelt. Een van de geteste modellen, GPT-5 van OpenAI, had de neiging om vast te houden aan officiële partijwebsites en hoogwaardige bronnen, waardoor de deur naar gemakkelijke manipulatie effectief werd gesloten. In contrast hiermee citeerde een ander model, Gemini van Google, regelmatig bronnen met een lage barrière, waardoor een veel grotere opening werd achtergelaten voor aanvallers om valse informatie te injecteren. De studie vond dat wanneer de motor werd gevraagd naar de regeringspartij, deze aanzienlijk meer vertrouwde op deze gemakkelijk te injecteren bronnen dan wanneer er naar oppositiepartijen werd gevraod. Dit suggereert dat het succes van een politieke partij in de echte wereld, wat een enorme hoeveelheid webcontent genereert, paradoxaal genoeg de zoekmachine moeilijker kan maken om de officiële bron te vinden, waardoor deze in plaats daarvan richting de zee van ongeverifieerde content wordt geduwd waar desinformatie floreert.

Misschien wel de meest geruststellende bevinding was dat de identiteit van de gebruiker de uitkomst niet veranderde. De onderzoekers testten of de politieke ideologie of het kennisniveau van een gebruiker de motor zou doen overschakelen naar een kwetsbaarder pakket aan bronnen. Dat gebeurde niet. Of de gebruiker nu conservatief, progressief of iemand zonder politieke kennis was, de motor citeerde dezelfde typen bronnen. Dit betekent dat het risico op het vergiftigen van het antwoord geen kwestie is van wie er vraagt, maar eerder een structurele fout is in hoe de motor gebouwd is en hoe deze het web navigeert. De studie concludeert dat de veiligheid van deze tools wordt bepa bepaald door het interne ontwerp van de motor en het specifieke onderwerp dat het bespreekt, en niet door de intentie van de gebruiker.

De onderzoekers keken ook naar hoe getrouw de motoren de inhoud weerspiegelden die ze citeerden. Ze vonden dat wanneer een motor een hoogwaardige, moeilijk na te maken bron citeerde, het antwoord meestal een zeer nauwkeurige reflectie van die bron was. Echter, wanneer de motor vertrouwde op bronnen met een lage barrière, was de verbinding tussen de bron en het antwoord vaak zwakker, waarbij de motor de inhoud op manieren samenvatte of interpreteerde die afweek van de originele tekst. Dit creëert een dubbel gevaar: de bron zelf is gemakkelijker te manipuleren, en de motor is minder waarschijnlijk geneigd zich strikt aan te houden aan wat die bron daadwerkelijk zegt.

Uiteindelijk biedt dit werk een kaart van waar deze krachtige instrumenten het meest waarschijnlijk zullen breken. Het laat zien dat het pad naar een vergiftigd antwoord niet willekeurig is; het volgt specifieke patronen gebaseerd op de gebruikte technologie en het politieke landschap. De studie suggereert dat om de integriteit van informatie te beschermen, ontwikkelaars zich moeten richten op hoe hun systemen bronnen selecteren, om ervoor te zorgen dat ze niet onbedoeld de voorkeur geven aan precies die kanalen waar desinformatie het gemakkelijkst wordt verspreid. De bevindingen wijzen erop dat de oplossing niet ligt in het veranderen van de gebruiker, maar in het verfijnen van het vermogen van de motor om onderscheid te maken tussen een betrouwbare bron en een gevaarlijke bron, ongeacht wie het toetsenbord vasthoudt.