Blast Radius Characterization of Triple-Level Poisoning Attacks in Knowledge Graph Retrieval-Augmented Generation Systems

Imagina el internet como una biblioteca gigante y caótica donde cada libro es un fragmento de información. Durante mucho tiempo, las computadoras que intentaban responder preguntas (como nuestros asistentes de IA súper inteligentes) simplemente agarraban el libro más similar de un estante, lo leían y adivinaban la respuesta. Era como pedirle a un bibliotecario una receta y recibir un libro de cocina al azar que casualmente tenía la palabra "pollo" en la portada. Pero recientemente, los científicos comenzaron a construir un tipo diferente de biblioteca: un Grafo de Conocimiento. En lugar de solo pilas de libros, esta biblioteca es una enorme red brillante donde cada hecho es un nodo (un punto) y cada relación es una cuerda que los conecta. Si preguntas por el "pollo", el sistema no solo encuentra un libro; sigue las cuerdas para ver qué come el pollo, qué enfermedades podría transmitir y qué recetas lo utilizan. Esto se llama Generación Aumentada por Recuperación (RAG). Es como darle a la IA un mapa en lugar de solo una lista de palabras, permitiéndole razonar a través de cadenas complejas de hechos.

Sin embargo, esta nueva biblioteca con forma de red tiene una nueva y aterradora debilidad. En el antiguo sistema de estanterías de libros, si alguien deslizaba una página falsa en un libro, solo las personas que buscaran ese libro específico serían engañadas. Pero en una red de puntos conectados, si envenenas una sola cuerda en medio del mapa, esa mentira puede viajar por docenas de caminos diferentes al mismo tiempo. Es como dejar caer una sola gota de tinte rojo en el centro de un río; de repente, todos los arroyos, estanques y cascadas conectados a ese río se vuelven rosas. Este artículo investiga exactamente qué tan lejos se propaga ese "tinte". Los investigadores querían saber: si un actor malintencionado inyecta una sola mentira en esta red conectada, ¿cuántas preguntas diferentes responderá mal la IA debido a ello? Ellos lo llaman el "Radio de Explosión" (Blast Radius). Es una medida de cuánto daño puede causar un solo error diminuto cuando el sistema está construido sobre una red de conexiones enredadas.

El Gran Experimento: ¿Qué tan lejos se propaga el veneno?

Los autores de este artículo configuraron un experimento digital para medir este "Radio de Explosión" en un entorno muy específico y de alto riesgo: un grafo de conocimiento médico. Utilizaron un sistema llamado Microsoft GraphRAG impulsado por un modelo de IA llamado Gemma 2 9B, alimentándolo con una colección de resúmenes médicos reales sobre temas como el cáncer, la diabetes y los virus.

Para probar el sistema, no intentaron engañar a la IA con código complejo o contraseñas secretas. En su lugar, jugaron a un juego de "sabotaje estructural". Inyectaron tres tipos diferentes de hechos falsos (llamados "tripletas") en el grafo para ver cómo se propagaba el daño:

1. El Ataque de "Borde" (Edge Attack): Plantaron una mentira sobre un hecho médico menor y oscuro (como un fármaco específico para una condición rara) que solo tenía pocas conexiones con otros hechos.
2. El Ataque de "Centro" (Hub Attack): Apuntaron a un hecho médico superestrella —un "Hub"— que está conectado con docenas de otras cosas. En su experimento, eligieron p53, una proteína famosa que es un personaje central en la investigación del cáncer, conectando con genes, enfermedades y tratamientos por todas partes. Inyectaron una mentira diciendo que la p53 causa tumores en lugar de detenerlos.
3. El Ataque de "Cadena" (Chain Attack): Crearon una historia falsa compuesta por tres mentiras conectadas, vinculando cuatro temas médicos diferentes en una cadena que no existía en la vida real.

Los Resultados Impactantes: Una Mentira, Catorce Errores

Los resultados fueron una llamada de atención. Los investigadores descubrieron que la forma de la red importa más que el contenido de la mentira.

• El Ataque de "Borde": Cuando mintieron sobre el hecho médico menor y oscuro, el daño fue contenido. Por cada mentira inyectada, la IA dio 7 respuestas incorrectas. El veneno se propagó, pero se mantuvo mayormente local.
• El Ataque de "Centro": Aquí es donde las cosas se descontrolaron. Cuando inyectaron solo una mentira sobre la proteína superconectada p53, el radio de explosión estalló. Ese único hecho falso causó que la IA diera 14 respuestas incorrectas. Esto significa que el ataque de "Centro" fue el doble de peligroso que el ataque de Borde, incluso aunque solo usaron una pieza de datos falsos. La mentira no se quedó solo con la p53; viajó a través de la red, corrompiendo respuestas sobre tratamientos contra el cáncer, terapia génica y mecanismos de fármacos que el usuario ni siquiera preguntó directamente sobre la p53.
• El Ataque de "Cadena": Cuando construyeron la cadena falsa de tres mentiras, el daño fue profundo pero ligeramente menos explosivo por mentira (unas 4 respuestas incorrectas por mentira). Sin embargo, fue muy efectivo para engañar a la IA en preguntas complejas de múltiples pasos.

El Punto Dulce de los "Dos Saltos"

Uno de los descubrimientos más interesantes fue qué preguntas se vieron más afectadas. Los investigadores probaron preguntas que requerían que la IA diera un paso (1 salto), dos pasos (2 saltos) o tres pasos (3 saltos) a través de la red para encontrar una respuesta.

Descubrieron que las preguntas de dos pasos eran las más vulnerables. Parece que cuando la IA tiene que saltar sobre un hecho intermedio para llegar a la respuesta, es más probable que tropiece con la zona envenenada. En el ataque de Centro, 6 de cada 10 preguntas de dos pasos fueron corrompidas. El "Efecto Cascada" era real: la IA no solo obtuvo mal la pregunta directa; también obtuvo mal las consecuencias de esa mentira. De hecho, en todos los escenarios, el daño por "cascada" (respuestas indirectamente afectadas) fue mucho mayor que el daño "directo" (respuestas que mencionaban explícitamente la mentira).

Por Qué Esto Importa y Cómo Solucionarlo

El artículo concluye que, en un Grafo de Conocimiento, la ubicación lo es todo. Si envenenas un rincón tranquilo de la biblioteca, es un problema pequeño. Si envenenas la intersección principal donde se cruzan todos los caminos, toda la ciudad se pierde. Este es un gran problema para campos como la medicina, el derecho y los negocios, donde un solo dato erróneo podría llevar a un mal diagnóstico o a una estrategia legal equivocada.

Para defenderse, los autores proponen una nueva defensa llamada "Puntuación de Confianza Ponderada por Grado" (Degree-Weighted Trust Scoring). Imagina a un guardia de seguridad en la entrada de la biblioteca. En lugar de solo leer el libro para ver si es falso, este guardia observa al autor y al tema. Si un dato nuevo trata sobre un "Centro" (una entidad superconectada como la p53), el guardia se vuelve muy suspicaz y lo marca para que un humano lo verifique antes de permitir su entrada al sistema. Si el dato trata sobre un tema menor y oscuro, el guardia lo deja pasar rápidamente. De esta manera, el sistema enfoca su energía en proteger las partes más peligrosas del mapa.

En resumen, este artículo nos muestra que, si bien conectar el conocimiento de nuestra IA en una red la hace más inteligente, también la hace más frágil. Una sola mentira en el lugar correcto (o incorrecto) puede propagarse y confundir al sistema de formas que no esperábamos, convirtiendo un pequeño error en un desastre masivo.