Resumen Técnico: Una Encuesta sobre Ataques de Envenenamiento, Defensas y Defensa Probable en la Era de los LLM

Declaración del Problema

El rápido despliegue de los Modelos de Lenguaje de Gran Escala (LLM) en sistemas de IA compuestos —que integran recuperación, herramientas externas, módulos de memoria y agentes autónomos— ha expandido fundamentalmente la superficie de ataque para las amenazas de seguridad. Mientras que la investigación de seguridad tradicional se centraba en ataques de evasión en el tiempo de inferencia, los ataques de envenenamiento (poisoning attacks) representan una amenaza más insidiosa al comprometer la integridad del modelo durante el entrenamiento, la adaptación o la interacción.

El problema central abordado por esta encuesta es la fragmentación de la investigación existente. Las encuestas previas operaban mayoritariamente bajo un paradigma de amenaza "centrado en el modelo", enfocándose principalmente en el envenenamiento de pesos durante el preentrenamiento o el ajuste fino (fine-tuning). Sin embargo, los ecosistemas modernos de LLM dependen fuertemente de contextos externos dinámicos (por ejemplo, Generación Aumentada por Recuperación [RAG], aprendizaje en contexto, flujos de trabajo de agentes). Estos sistemas introducen superficies de ataque que existen enteramente fuera de los parámetros del modelo, tales como corpora de recuperación envenenados, descripciones de herramientas manipuladas y memoria a largo plazo comprometida. Actualmente, no existe un marco unificado que trate de manera exhaustiva tanto el envenenamiento de pesos (manipulación de parámetros) como el envenenamiento de contexto (manipulación del contexto en tiempo de inferencia) a lo largo de todo el ciclo de vida de los LLM, ni existe un análisis consolidado de la transición de las defensas empíricas hacia las defensas matemáticamente probables en este nuevo panorama.

Metodología y Taxonomía

Esta encuesta emplea una revisión sistemática de la literatura para categorizar los ataques y defensas de envenenamiento. Los autores proponen una taxonomía exhaustiva que organiza la investigación existente en dos categorías primarias y complementarias basadas en la superficie de ataque:

1. Envenenamiento de Pesos (Weight Poisoning)

Esta categoría implica la manipulación adversaria de los parámetros de un modelo, incrustando comportamientos dañinos persistentes o corrompiendo las representaciones internas. La encuesta mapea estos ataques a etapas específicas del ciclo de vida:

• Preentrenamiento: Ataques en corpora a escala web (por ejemplo, envenenamiento de vista dividida [split-view], envenenamiento de anteposición [frontrunning]) donde los adversarios inyectan datos maliciosos en conjuntos de datos fundacionales.
• Ajuste Fino y Alineación: Envenenamiento de conjuntos de datos de ajuste de instrucciones para incrustar puertas traseras (backdoors) o manipulación de las señales de recompensa de Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF) para degradar la alineación de seguridad.
• Adaptación: Compromiso de módulos de Ajuste Fino Eficiente en Parámetros (PEFT) (por ejemplo, adaptadores LoRA) o la fusión de pesos maliciosos en adaptadores benignos.
• Pre-despliegue: Edición directa de los pesos o embeddings del modelo mediante ejemplos de pocos disparos (few-shot) para implantar puertas traseras sin necesidad de reentrenamiento.

2. Envenenamiento de Contexto (Context Poisoning)

Esta categoría apunta a la información externa incorporada dinámicamente durante la inferencia, manipulando el comportamiento del modelo sin alterar sus pesos. La encuesta identifica tres dominios primarios:

• Aprendizaje en Contexto (ICL): Envenenamiento de ejemplos de demostración o prompts para dirigir el razonamiento (por ejemplo, envenenar ejemplos de Cadena de Pensamiento [Chain-of-Thought]).
• Generación Aumentada por Recuperación (RAG): Corrupción de los corpora de recuperación para asegurar que los pasajes envenenados sean clasificados con alta prioridad, manipulando así las respuestas finales, secuestrando la atención o inyectando sesgos. Esto incluye ataques en arquitecturas especializadas como GraphRAG, RAG Multimodal y RAG de Código.
• Flujo de Agentes (Agent Flow): Compromiso del entorno del agente (inyección de prompts indirecta), interfaces de herramientas (descripciones/metadatos de herramientas maliciosos) y memoria persistente (injerto de plantillas procedimentales maliciosas).

La encuesta también clasifica las defensas en Defensas Empíricas (mitigación heurística y práctica) y Defensas Probables (robustez matemáticamente certificada).

Contribuciones Clave

El artículo se distingue por tres contribuciones principales:

1. Taxonomía Unificada de Envenenamiento de Pesos y de Contexto: Los autores introducen un marco que trata el Contexto del Modelo (corpora de recuperación, memoria de agentes, definiciones de herramientas) como una superficie de ataque crítica paralela a los Pesos del Modelo. Esto mapea sistemáticamente cómo las vulnerabilidades migran desde los pipelines de entrenamiento hacia los sistemas compuestos en tiempo de inferencia.
2. Alcance Multimodal y Agéntico: La encuesta amplía el alcance más allá de los modelos de solo texto para incluir amenazas y defensas en RAG aumentado por grafos, modelos de difusión aumentados por recuperación y flujos de trabajo de agentes que abarcan entorno, herramientas y memoria.
3. Integración de Defensas Probables: El documento proporciona un análisis estructurado de la transición de la mitigación empírica a la robustez matemáticamente certificada. Detalla cómo técnicas como el Suavizado Aleatorio (Randomized Smoothing) y la Agregación de Partición Profunda (Deep Partition-Aggregation) están siendo adaptadas para espacios de tokens discretos, mecanismos de recuperación y flujos de trabajo agénticos.

Resultados y Análisis

La encuesta sintetiza un vasto cuerpo de literatura para resaltar los siguientes hallos:

• Persistencia y Escalabilidad de los Ataques: La investigación indica que los ataques de envenenamiento no requieren volúmenes masivos de datos para tener éxito. Los estudios muestran que un número casi constante de muestras envenenadas (por ejemplo, tan solo 250 documentos) puede comprometer los modelos independientemente del tamaño del conjunto de datos o la escala del modelo. Además, el conocimiento envenenado en el preentrenamiento puede persistir a través del ajuste fino descendente y la especialización de dominio.
• Evolución de los Vectores de Ataque: El panorama de amenazas ha pasado de ataques aislados de una sola etapa a un envenenamiento compuesto. Por ejemplo, un documento envenenado en un sistema RAG puede influir en la selección de herramientas, lo que posteriormente altera las actualizaciones de memoria y las decisiones futuras del agente.
• Limitaciones de las Defensas Empíricas: Aunque las defensas empíricas (por ejemplo, sanitización de datos, detección de anomalías, entrenamiento adversarial) ofrecen una mitigación práctica, generalmente carecen de garantías de caso de peor escenario y siguen siendo vulnerables a atacantes adaptativos que pueden realizar ingeniería inversa al mecanismo de defensa.
• Emergencia de Defensas Probables: Un creciente cuerpo de investigación está proporcionando certificados de robustez matemáticamente rigurosos. Técnicas como el Suavizado Aleatorio (extendido a tokens discretos) y la verificación formal se están aplicando para certificar que las predicciones de los LLM permanezcan estables bajo perturbaciones acotadas, que los sistemas RAG resistan un número específico de documentos envenenados y que la selección de herramientas de los agentes satisfaga restricciones de seguridad.

Significación y Direcciones Futuras

El artículo argumenta que la evolución de los ataques de envenenamiento refleja la evolución de los propios sistemas de IA. A medida que los LLM transicionan de modelos independientes a ecosistemas interconectados, las amenazas de envenenamiento apuntan cada vez más a las vías de información (recuperación, memoria, herramientas) en lugar de solo a los parámetros del modelo.

Los autores identifican varios desafíos críticos y trayectorias de investigación futura:

• Del Envenenamiento Aislado al Compuesto: La investigación futura debe ir más allá de los modelos de amenaza de un solo componente para investigar cómo los efectos del envenenamiento se propagan a través de módulos interconectados (recuperación, memoria, herramientas, razonamiento).
• Modelos de Amenaza y Evaluación Unificados: Existe la necesidad de benchmarks estandarizados que cubran todo el espectro de amenazas de envenenamiento, incorporando actualizaciones de conocimiento dinámicas y la propagación de ataques entre componentes.
• Defensas Probables Escalables: Si bien las defensas probables ofrecen garantías de seguridad críticas para aplicaciones de alto riesgo, los métodos actuales suelen incurrir en una carga computacional significativa. El trabajo futuro debe centrarse en la certificación composicional para combinar garantías a nivel de módulo en garantías de sistema de extremo a extremo.
• Envenenamiento Multimodal y Corpóreo: A medida que los sistemas procesan texto, imágenes, audio y datos de sensores, las defensas deben evolucionar para manejar el envenenamiento transmodal y el desaprendizaje consciente de la modalidad.
• Seguridad Centrada en el Humano: La encuesta enfatiza que las defensas técnicas deben complementarse con la verificación humana en el bucle (human-in-the-loop), el seguimiento transparente de la procedencia y los principios de seguridad por diseño para abordar las ambigüedades en la confianza y la interacción con el usuario.

En conclusión, esta encuesta proporciona una base estructurada para comprender, evaluar y mitigar las amenazas de envenenamiento en los sistemas modernos de LLM, abogando por un cambio de la mitigación reactiva e aislada hacia garantías de seguridad sistémicas y fundamentadas.