Assessing Attack Surfaces in Generative Search Engines through Publisher Attributes: A Case Study in Political Domains

En el panorama digital moderno, ha surgido un nuevo tipo de motor de búsqueda, uno que no se limita a listar enlaces, sino que lee la web y escribe una respuesta directa a su pregunta. Estos sistemas, conocidos como motores de búsqueda generativos, combinan el vasto alcance de Internet con la capacidad conversacional de la inteligencia artificial avanzada. Actúan como un puente, tomando la consulta de un usuario, escaneando millones de páginas web y sintetizando un resumen que cita sus fuentes. Este cambio transforma la forma en que las personas acceden a la información, pasando de filtrar una lista de resultados a recibir una narrativa curada. Sin embargo, debido a que estas máquinas dependen del contenido publicado por cualquier persona en la web abierta, enfrentan una vulnerabilidad única. Así como un chef puede ser engañado por un solo ingrediente malo, estos motores pueden ser inducidos al error por actores malintencionados que publican información falsa diseñada para parecer legítima. Si un atacante logra engañar al sistema para que cite un sitio de noticias falsas, el motor podría presentar esa falsedad como un hecho, socavando la fiabilidad de la información que entrega.

Investigadores de la Universidad de Keio y QueryLift Inc. se propusieron medir exactamente qué tan vulnerables son estos sistemas en el escenario de alto riesgo de la política. Se centraron en una pregunta específica: ¿qué tan fácil es para un atacante inyectar información falsa en las respuestas que generan estos motores? Para responder a esto, desarrollaron una forma de categorizar las fuentes que un motor elige citar basándose en qué tan difícil sería para un mal actor crear un sitio web como ese. Imaginaron una escala de dificultad. En la parte superior de la escala se encuentran las "fuentes primarias", como los sitios web oficiales de los partidos políticos, que son difíciles de falsificar porque son propiedad de ellos y están controlados por los mismos partidos. En la parte inferior están las "fuentes de baja barrera", como las plataformas de redes sociales o los blogs personales, donde cualquiera puede publicar cualquier cosa instantáneamente con poca supervisión. Los investigadores razonaron que si un motor depende fuertemente de estas fuentes de baja barrera, está sentado sobre una superficie de ataque amplia y expuesta, lo que facilita que la desinformación se filtre en la respuesta final.

El equipo probó tres de los principales motores de búsqueda generativos, utilizando modelos de OpenAI, Anthropic y Google, mediante la formulación de cientos de preguntas sobre partidos políticos en los Estados Unidos y Japón. Preguntaron sobre las posiciones tanto de los partidos gobernantes como de los de oposición, y variaron las preguntas para ver si el comportamiento del motor cambiaba según quién preguntaba. Simularon diferentes tipos de usuarios, incluyendo aquellos con alto conocimiento político y aquellos sin ninguno, así como usuarios con diferentes inclinaciones políticas. El objetivo era ver si la elección de fuentes del motor cambiaba dependiendo del perfil del usuario o del contexto político, y medir qué tanto de la respuesta final se extraía realmente de dichas fuentes.

Los resultados revelaron un patrón claro y preocupante. La vulnerabilidad de estos sistemas depende mucho más del modelo de motor específico que se esté utilizando y de qué partido político se esté discutiendo, que de la persona que hace la pregunta. Uno de los modelos probados, el GPT-5 de OpenAI, tendía a ceñirse a los sitios web oficiales de los partidos y a fuentes de alta calidad, cerrando eficazmente la puerta a la manipulación fácil. En contraste, otro modelo, Gemini de Google, citaba frecuentemente fuentes de baja barrera, dejando una apertura mucho mayor para que los atacantes inyecten información falsa. El estudio encontró que cuando el motor era consultado sobre el partido gobernante, dependía significativamente más de estas fuentes de fácil inyección que cuando se le preguntaba sobre los partidos de oposición. Esto sugiere que el propio éxito de un partido político en el mundo real, que genera un volumen masivo de contenido web, podría paradójicamente hacer que sea más difícil para el motor de búsqueda encontrar la fuente oficial, empujándolo en su lugar hacia el mar de contenido no verificado donde prospera la desinformación.

Quizás el hallazgo más tranquilizador fue que la identidad del usuario no cambió el resultado. Los investigadores probaron si la ideología política de un usuario o su nivel de conocimiento harían que el motor cambiara hacia un conjunto de fuentes más vulnerable. No fue así. Ya fuera un conservador, un progresista o alguien sin conocimientos políticos, el motor citaba el mismo tipo de fuentes. Esto significa que el riesgo de envenenar la respuesta no es una cuestión de quién pregunta, sino de un fallo estructural en cómo el motor está construido y cómo navega por la web. El estudio concluye que la seguridad de estas herramientas está determinada por el diseño interno del motor y el tema específico que este esté tratando, no por la intención del usuario.

Los investigadores también observaron con qué fidelidad los motores reflejaban el contenido que citaban. Encontraron que cuando un motor citaba una fuente de alta calidad y difícil de falsificar, la respuesta era usualmente un reflejo muy preciso de dicha fuente. Sin embargo, cuando el motor dependía de fuentes de baja barrera, la conexión entre la fuente y la respuesta era a menudo más débil, con el motor resumiendo o interpretando el contenido de maneras que divergían del texto original. Esto crea un doble peligro: la fuente en sí misma es más fácil de manipular, y el motor es menos propenso a ceñirse estrictamente a lo que esa fuente realmente dice.

En última instancia, este trabajo proporciona un mapa de dónde es más probable que estas poderosas herramientas fallen. Muestra que el camino hacia una respuesta envenenada no es aleatorio; sigue patrones específicos basados en la tecnología utilizada y el panorama político. El estudio sugiere que, para proteger la integridad de la información, los desarrolladores deben centrarse en cómo sus sistemas seleccionan las fuentes, asegurándose de no favorecer inadvertidamente los mismos canales donde la desinformación se propaga con mayor facilidad. Los hallazgos indican que la solución no radica en cambiar al usuario, sino en refinar la capacidad del motor para distinguir entre una fuente confiable y una peligrosa, independientemente de quién esté frente al teclado.