Assessing Attack Surfaces in Generative Search Engines through Publisher Attributes: A Case Study in Political Domains

Dans le paysage numérique moderne, un nouveau type de moteur de recherche est apparu, qui ne se contente pas de lister des liens, mais qui lit le web et rédige une réponse directe à votre question. Ces systèmes, connus sous le nom de moteurs de recherche génératifs, combinent la vaste portée d'Internet avec la capacité conversationnelle de l'intelligence artificielle avancée. Ils agissent comme un pont, prenant la requête d'un utilisateur, scannant des millions de pages web et synthétisant un résumé qui cite ses sources. Ce changement modifie la façon dont les gens accèdent à l'information, passant du tri d'une liste de résultats à la réception d'un récit organisé. Cependant, parce que ces machines s'appuient sur du contenu publié par n'importe qui sur le web ouvert, elles font face à une vulnérabilité unique. Tout comme un chef peut être trompé par un seul mauvais ingrédient, ces moteurs peuvent être induits en erreur par des acteurs malveillants qui publient de fausses informations conçues pour paraître légitimes. Si un attaquant peut tromper le système pour qu'il cite un site de fausses nouvelles, le moteur pourrait présenter cette fausseté comme un fait, compromettant la fiabilité de l'information qu'il délivre.

Des chercheurs de l'Université Keio et de QueryLift Inc. ont entrepris de mesurer précisément à quel point ces systèmes sont vulnérables dans l'arène à enjeux élevés de la politique. Ils se sont concentrés sur une question spécifique : quelle est la facilité avec laquelle un attaquant peut injecter de fausses informations dans les réponses que ces moteurs génèrent ? Pour répondre à cela, ils ont développé un moyen de catégoriser les sources qu'un moteur choisit de citer en fonction de la difficulté pour un acteur malveillant de créer un site web comme celui-ci. Ils ont imaginé une échelle de difficulté. Au sommet de l'échelle se trouvent les « sources primaires », telles que les sites officiels des partis politiques, qui sont difficiles à falsifier car ils sont détenus et contrôlés par les partis eux-mêmes. Au bas de l'échelle se trouvent les « sources à faible barrière », telles que les plateformes de réseaux sociaux ou les blogs personnels, où n'importe qui peut publier n'importe quoi instantanément avec peu de supervision. Les chercheurs ont raisonné que si un moteur s'appuie fortement sur ces sources à faible barrière, il est assis sur une surface d'attaque large et exposée, rendant plus facile l'infiltration de la désinformation dans la réponse finale.

L'équipe a testé trois grands moteurs de recherche génératifs, utilisant des modèles d'OpenAI, d'Anthropic et de Google, en leur posant des centaines de questions sur les partis politiques aux États-Unis et au Japon. Ils ont interrogé sur les positions des partis au pouvoir et des partis d'opposition, et ils ont varié les questions pour voir si le comportement du moteur changeait selon la personne qui posait la question. Ils ont simulé différents types d'utilisateurs, incluant ceux ayant une connaissance politique élevée et ceux n'en ayant aucune, ainsi que des utilisateurs ayant différentes orientations politiques. Le but était de voir si le choix de sources du moteur changeait en fonction du profil de l'utilisateur ou du contexte politique, et de mesurer quelle part de la réponse finale était réellement tirée de ces sources.

Les résultats ont révélé un schéma clair et préoccupant. La vulnérabilité de ces systèmes dépend bien plus du modèle de moteur spécifique utilisé et du parti politique faisant l'objet de la discussion que de la personne qui pose la question. L'un des modèles testés, le GPT-5 d'OpenAI, avait tendance à s'en tenir aux sites officiels des partis et aux sources de haute qualité, fermant efficacement la porte à une manipulation facile. En revanche, un autre modèle, le Gemini de Google, citait fréquemment des sources à faible barrière, laissant une ouverture bien plus grande aux attaquants pour injecter de fausses informations. L'étude a révélé que lorsque le moteur était interrogé sur le parti au pouvoir, il s'appuyait nettement plus sur ces sources faciles à injecter que lorsqu'il était interrogé sur les partis d'opposition. Cela suggère que le succès même d'un parti politique dans le monde réel, qui génère un volume massif de contenu web, pourrait paradoxalement rendre plus difficile pour le moteur de recherche de trouver la source officielle, le poussant plutôt vers la mer de contenus non vérifiés où la désinformation prospère.

La découverte la plus rassurante est peut-être que l'identité de l'utilisateur ne changeait pas le résultat. Les chercheurs ont testé si l'idéologie politique ou le niveau de connaissance d'un utilisateur pouvait amener le moteur à passer à un ensemble de sources plus vulnérables. Ce ne fut pas le cas. Que l'utilisateur soit conservateur, progressiste ou dépourvu de connaissances politiques, le moteur citait les mêmes types de sources. Cela signifie que le risque d'empoisonner la réponse n'est pas une question de qui pose la question, mais plutôt un défaut structurel dans la manière dont le moteur est construit et comment il navigue sur le web. L'étude conclut que la sécurité de ces outils est déterminée par la conception interne du moteur et le sujet spécifique dont il traite, et non par l'intention de l'utilisateur.

Les chercheurs ont également examiné avec quelle fidélité les moteurs reflétaient le contenu qu'ils citaient. Ils ont constaté que lorsqu'un moteur citait une source de haute qualité et difficile à falsifier, la réponse était généralement un reflet très précis de cette source. Cependant, lorsque le moteur s'appuyait sur des sources à faible barrière, le lien entre la source et la réponse était souvent plus faible, le moteur résumant ou interprétant le contenu de manières qui divergeaient du texte original. Cela crée un double danger : la source elle-même est plus facile à manipuler, et le moteur est moins susceptible de s'en tenir strictement à ce que la source dit réellement.

En fin de compte, ce travail fournit une carte des points où ces outils puissants sont les plus susceptibles de faillir. Il montre que le chemin vers une réponse empoisonnée n'est pas aléatoire ; il suit des schémas spécifiques basés sur la technologie utilisée et le paysage politique. L'étude suggère que pour protéger l'intégrité de l'information, les développeurs doivent se concentrer sur la manière dont leurs systèmes sélectionnent les sources, en veillant à ce qu'ils ne favorisent pas par inadvertance les canaux mêmes où la désinformation se propage le plus facilement. Les conclusions indiquent que la solution ne réside pas dans le changement de l'utilisateur, mais dans le perfectionnement de la capacité du moteur à distinguer une source fiable d'une source dangereuse, peu importe qui est devant le clavier.