Assessing Attack Surfaces in Generative Search Engines through Publisher Attributes: A Case Study in Political Domains

No cenário digital moderno, um novo tipo de mecanismo de busca surgiu, um que não apenas lista links, mas lê a web e escreve uma resposta direta à sua pergunta. Esses sistemas, conhecidos como mecanismos de busca generativos, combinam o vasto alcance da internet com a capacidade conversacional da inteligência artificial avançada. Eles atuam como uma ponte, pegando a consulta de um usuário, examinando milhões de páginas da web e sintetizando um resumo que cita suas fontes. Essa mudança altera a forma como as pessoas acessam a informação, passando de filtrar uma lista de resultados para receber uma narrativa curada. No entanto, como essas máquinas dependem de conteúdo publicado por qualquer pessoa na web aberta, elas enfrentam uma vulnerabilidade única. Assim como um chef pode ser enganado por um único ingrediente ruim, esses mecanismos podem ser induzidos ao erro por atores maliciosos que publicam informações falsas projetadas para parecerem legítimas. Se um atacante conseguir enganar o sistema para citar um site de notícias falsas, o mecanismo pode apresentar essa falsidade como um fato, minando a confiabilidade da informação que entrega.

Pesquisadores da Universidade de Keio e da QueryLift Inc. propuseram-se a medir exatamente o quão vulneráveis esses sistemas são na arena de alto risco da política. Eles focaram em uma questão específica: quão fácil é para um atacante injetar informações falsas nas respostas que esses mecanismos geram? Para responder a isso, eles desenvolveram uma forma de categorizar as fontes que um mecanismo escolhe citar com base na dificuldade de um mau ator criar um site como aquele. Eles imaginaram uma escala de dificuldade. No topo da escala estão as "fontes primárias", como os sites oficiais de partidos políticos, que são difíceis de falsificar porque são de propriedade e controlados pelos próprios partidos. Na base estão as "fontes de baixo obstáculo", como plataformas de redes sociais ou blogs pessoais, onde qualquer pessoa pode publicar qualquer coisa instantaneamente com pouca supervisão. Os pesquisadores raciocinaram que, se um mecanismo depende fortemente dessas fontes de baixo obstáculo, ele está sentado em uma superfície de ataque ampla e exposta, tornando mais fácil para a desinformação deslizar para a resposta final.

A equipe testou três grandes mecanismos de busca generativos, usando modelos da OpenAI, Anthropic e Google, fazendo centenas de perguntas sobre partidos políticos nos Estados Unidos e no Japão. Eles perguntaram sobre as posições tanto de partidos governistas quanto de partidos de oposição, e variaram as perguntas para ver se o comportamento do mecanismo mudava dependendo de quem estava perguntando. Eles simularam diferentes tipos de usuários, incluindo aqueles com alto conhecimento político e aqueles sem nenhum, bem como usuários com diferentes inclinações políticas. O objetivo era ver se a escolha de fontes do mecanismo mudava dependendo do perfil do usuário ou do contexto político, e medir quanto da resposta final era realmente extraído dessas fontes.

Os resultados revelaram um padrão claro e preocupante. A vulnerabilidade desses sistemas depende muito mais do modelo de mecanismo específico sendo usado e de qual partido político está sendo discutido do que da pessoa que faz a pergunta. Um dos modelos testados, o GPT-5 da OpenAI, tendia a manter-se fiel aos sites oficiais dos partidos e fontes de alta qualidade, fechando efetivamente a porta para a manipulação fácil. Em contraste, outro modelo, o Gemini do Google, citava frequentemente fontes de baixo obstáculo, deixando uma abertura muito maior para atacantes injetarem informações falsas. O estudo descobriu que, quando o mecanismo era questionado sobre o partido governista, ele dependia significativamente mais dessas fontes de fácil injeção do que quando questionado sobre partidos de oposição. Isso sugere que o próprio sucesso de um partido político no mundo real, que gera um volume massivo de conteúdo na web, pode paradoxalmente tornar mais difícil para o mecanismo de busca encontrar a fonte oficial, empurrando-o, em vez disso, para o mar de conteúdo não verificado onde a desificação prospera.

Talvez a descoberta mais tranquilizadora tenha sido que a identidade do usuário não mudou o resultado. Os pesquisadores testaram se a ideologia política ou o nível de conhecimento de um usuário faria o mecanismo mudar para um conjunto de fontes mais vulnerável. Não aconteceu. Quer o usuário fosse conservador, progressista ou alguém sem conhecimento político, o mecanismo citava os mesmos tipos de fontes. Isso significa que o risco de envenenar a resposta não é uma questão de quem está perguntando, mas sim de uma falha estrutural em como o mecanismo é construído e como ele navega pela web. O estudo conclui que a segurança dessas ferramentas é determinada pelo design interno do mecanismo e pelo tópico específico que ele está discutindo, não pela intenção do usuário.

Os pesquisadores também observaram o quão fielmente os mecanismos refletiam o conteúdo que citavam. Eles descobriram que, quando um mecanismo citava uma fonte de alta qualidade e difícil de falsificar, a resposta era geralmente um reflexo muito preciso dessa fonte. No entanto, quando o mecanismo dependia de fontes de baixo obstáculo, a conexão entre a fonte e a resposta era frequentemente mais fraca, com o mecanismo resumindo ou interpretando o conteúdo de maneiras que divergiam do texto original. Isso cria um duplo perigo: a própria fonte é mais fácil de manipular, e o mecanismo é menos propenso a aderir estritamente ao que aquela fonte realmente diz.

Em última análise, este trabalho fornece um mapa de onde essas ferramentas poderosas são mais propensas a falhar. Mostra que o caminho para uma resposta envenenada não é aleatório; segue padrões específicos baseados na tecnologia usada e no cenário político. O estudo sugere que, para proteger a integridade da informação, os desenvolvedores devem focar em como seus sistemas selecionam as fontes, garantindo que não favoreçam inadvertidamente os próprios canais onde a desinformação se espalha mais facilmente. As descobertas indicam que a solução não reside em mudar o usuário, mas em refinar a capacidade do mecanismo de distinguir entre uma fonte confiável e uma perigosa, independentemente de quem esteja segurando o teclado.