CiteShade: Citation Laundering in Multi-Source Retrieval-Augmented Generation and Its Counterfactual Defense

En el panorama digital moderno, los sistemas de inteligencia artificial tienen la tarea cada vez más frecuente de responder preguntas complejas mediante la búsqueda en vastas bibliotecas de documentos. Este proceso, conocido como generación aumentada por recuperación, funciona como un estudiante al que se le permite abrir un libro de texto mientras realiza un examen. En lugar de confiar únicamente en su memoria interna, que puede estar desactualizada o propensa a inventar cosas, el sistema extrae páginas relevantes de una base de datos y las utiliza para construir una respuesta. Para garantizar la transparencia, estos sistemas están diseñados para citar sus fuentes, adjuntando una referencia al documento específico que respaldó cada afirmación. Para el usuario, esta cita actúa como un recibo, una forma de verificar que la información proviene de un lugar confiable en lugar de la imaginación de la máquina. El supuesto subyacente es sencillo: si el sistema señala una fuente, esa fuente debe ser la que realmente convenció a la máquina para dar esa respuesta.

Un investigador de la Universidad de la Ciudad de Hong Kong ha descubierto que este supuesto es peligrosamente frágil. Ha identificado una nueva forma de engañar a estos sistemas, no cambiando la respuesta en sí, sino secuestrando el recibo. Su trabajo revela que un atacante puede controlar un único documento en la base de datos y manipular al sistema para que produzca una respuesta completamente falsa, señalando simultáneamente con el dedo a un documento diferente y confiable que no contiene evidencia para esa falsedad. El investigador llama a esto "lavado de citas" (citation laundering). Es una forma sigilosa de engaño donde el error parece legítimo porque está respaldado por una cita en la que el usuario ya confía, a pesar de que la verdadera causa del error reside en una fuente maliciosa y oculta que el usuario nunca ve.

El investigador demostró esta vulnerabilidad mediante la configuración de un experimento controlado que involucraba múltiples documentos y una serie de preguntas difíciles que requerían combinar información de diferentes fuentes. En un escenario estándar y seguro, el sistema leería los documentos disponibles, encontraría los hechos correctos y citaría el documento que realmente contenía esos hechos. Sin embargo, cuando el investigador introdujo un único documento malicioso cuidadosamente diseñado en la mezcla, el comportamiento del sistema cambió drásticamente. Este documento malicioso no intentó borrar la información correcta ni bloquear la capacidad del sistema para encontrar la verdad. En su lugar, fue escrito para ser tan persuasivo que el sistema adoptaría su afirmación falsa como la respuesta. Crucialmente, el documento también estaba estructurado para explotar una peculiaridad en la forma en que el sistema elige qué fuente citar.

El método del sistema para seleccionar una cita no es un reflejo perfecto de qué documento causó la respuesta. En cambio, está influenciado por dónde aparecen los documentos en la lista y por marcadores o etiquetas específicos adjuntos a ellos. El investigador descubrió que, al colocar su documento malicioso en una posición específica y añadir una frase sutil que hiciera eco de la etiqueta de un documento inocente y confiable, podía forzar al sistema a citar al inocente. El resultado fue una cita "lavada": el sistema daba una respuesta errónea impulsada por el mal documento, pero el usuario veía una cita que apuntaba al buen documento. En sus pruebas, esta técnica elevó la tasa de respuestas incorrectas de un porcentaje insignificante del uno por ciento a casi el setenta por ciento. En los sistemas más vulnerables, el ataque tuvo éxito en más del noventa por ciento de los casos, demostrando que la falla no es un error raro, sino una debancia fundamental en la forma en que estos sistemas vinculan las respuestas con las fuentes.

Lo que hace que este descubrimiento sea particularmente preocupante es que el ataque funciona sin necesidad de instrucciones o comandos complejos ocultos dentro del texto. El documento malicioso simplemente se lee como una entrada de enciclopedia normal, declarando un hecho falso como si fuera una verdad establecida, seguido de una frase que menciona casualmente la fuente confiable. El sistema, siguiendo sus patrones naturales, capta esta frase y la posición del texto para generar la cita. El investigador mostró que esta vulnerabilidad está relacionada con la disposición de un sistema a citar fuentes más que con su tamaño general o inteligencia. Los modelos que son mejores proporcionando respuestas precisas y bien documentadas son, de hecho, los más susceptibles a este truco, porque son los que tienen más probabilidades de generar una cita en primer lugar. Un sistema que nunca cita nada no puede ser engañado para lavar una cita, pero tampoco puede ser auditado por un lector humano.

Para comprender la profundidad de este problema, el investigador probó un mecanismo de defensa que simplemente verifica si el texto citado respalda la afirmación. Esta es la forma estándar en que los usuarios y las herramientas automatizadas verifican actualmente la información. Descubrieron que esta defensa falla por completo contra el lavado de citas. Debido a que el sistema apunta al documento confiable, y ese documento efectivamente existe y es relevante para el tema, la verificación pasa. El sistema no está mintiendo sobre lo que dice el documento confiable; está mintiendo sobre qué documento causó la respuesta. El documento confiable es inocente, pero está siendo utilizado como un escudo para el malicioso. El investigador confirmó que la fuente maliciosa era el verdadero motor de la respuesta incorrecta al eliminarla del contexto y observar cómo el sistema revertía a la respuesta correcta, demostrando que la cita era una cortina de humo.

El estudio también exploró si el simple hecho de filtrar texto extraño o confuso podría detener el ataque. Descubrieron que, debido a que los documentos maliciosos estaban escritos para sonar como prosa natural y profesional, se escapaban de los filtros diseñados para detectar errores obvios o frases extrañas. La única forma de detectar este tipo de engaño de manera fiable es observar el vínculo causal entre la fuente y la respuesta, preguntando no solo "¿este documento respalda la afirmación?", sino "¿causó este documento realmente la afirmación?". El investigador propuso un nuevo método de defensa que simula la eliminación de cada fuente una por una para ver cuál es la verdaderamente responsable del resultado. Aunque este enfoque es más costoso computacionalmente, es la única forma de ver a través del lavado.

Las implicaciones de este trabajo se extienden más allá de la mera curiosidad académica. A medida que la inteligencia artificial se integra en las noticias, la investigación y la toma de decisiones, la confianza depositada en las citas es una característica de seguridad crítica. Si esa característica puede ser manipulada, todo el rastro de auditoría se vuelve poco fiable. El investigador demostró que esto no es un riesgo teórico sino práctico, que puede ejecutarse con herramientas relativamente simples. Demostró que el ataque funciona a través de diferentes tipos de preguntas y diferentes modelos, lo que sugiere que el problema es generalizado. Los modelos más efectivos, aquellos que son más útiles y precisos en condiciones normales, son los que pueden ser engañados más fácilmente para proporcionar una respuesta falsa con una cita de apariencia creíble.

Al final, el artículo revela una brecha entre lo que un sistema dice haber usado y lo que realmente utilizó. La cita no es un recuerdo de la fuente que convenció a la máquina; es un producto del propio proceso de decodificación de la máquina, moldeado por la posición del texto y las etiquetas que ve. Este desencuentro crea un espacio donde un atacante puede esconder una afirmación falsa detrás de un nombre confiable. El investigador no encontró una forma de solucionar esto con un simple parche o un cambio de reglas. En cambio, demostró que la forma actual de verificar la información es insuficiente y que se necesita un nuevo enfoque para asegurar que la fuente acreditada sea realmente la fuente que importó. El trabajo sirve como una advertencia de que, en la era de las respuestas automatizadas, el recibo no siempre es prueba de la compra, y la evidencia de apariencia más confiable podría ser la más peligrosa.