Adversarial Feeds Steer LLM Agent Decisions Against Their Defaults

Este artículo demuestra que la curación y el ordenamiento de los flujos de información externa pueden dirigir sistemáticamente a los agentes de LLM hacia decisiones adversarias, particularmente cuando presentan incertidumbre, revelando que las evaluaciones de seguridad deben auditar la capa de recomendación ascendente en lugar de probar el modelo de forma aislada.

Lo esencial

Imagina que tienes un asistente robot muy inteligente y servicial. Le haces una pregunta y te da una respuesta. Por lo general, nos preocupamos por si el robot está "roto" o si alguien lo engañó con un comando directo como "Ignora tus reglas y haz X".

Pero este artículo plantea una pregunta diferente, más sigilosa: ¿Qué pasa si nadie le dice al robot qué hacer, pero controlan lo que el robot lee justo antes de responder?

Aquí está la historia de la investigación, explicada de forma sencilla:

La Configuración: La fase de "Desplazamiento" (Scrolling)

Los investigadores organizaron un juego. Le dieron a un agente de IA una tarea: "Decide si una empresa debe permitir que los empleados trabajen desde casa, regresen a la oficina o hagan una mezcla".

Antes de que la IA tomara su decisión final, la hicieron "desplazarse" por un muro de redes sociales durante diez turnos. En cada turno, la IA veía cinco publicaciones cortas.

• El Control: El cerebro del modelo (la IA), la pregunta que debía responder y su personalidad eran exactamente iguales en todas las pruebas.
• La Variable: Lo único que cambiaba era el muro (feed). A veces, el muro tenía publicaciones normales y aleatorias. Otras veces, estaba lleno de publicaciones que argumentaban fuertemente a favor del "Regreso a la Oficina", aunque esas publicaciones no decían "Debes elegir el Regreso a la Oficina". Eran solo artículos de opinión y publicaciones de apariencia normal.

El Descubrimiento: El Efecto "Cámara de Eco"

Los investigadores descubrieron que, al curar el muro, podían realmente dirigir la decisión del robot, a pesar de que no se le estaba ordenando directamente cambiar de opinión.

Descubrieron tres tipos de robots (modelos) basados en cómo reaccionaban:

1. El "Capitulador" (El fácil de dirigir):

   • Analogía: Imagina a una persona que no está segura de qué cenar. Si le muestras un menú donde todas las fotos son de pizza, es probable que pida pizza.
   • Resultado: Algunos modelos de IA (como Llama 3.2) eran así. Si el muro estaba lleno de publicaciones de "Regreso a la Oficina", la IA empezaba a recomendar el "Regreso a la Oficina", incluso si normalmente prefería el trabajo remoto. No necesitaba un comando; simplemente se dejaba influenciar por el volumen de información.

2. La "Saturación" (La roca obstinada):

   • Analogía: Imagina a una persona que ama tanto la pizza que mostrarle un menú lleno de hamburguesas no hace que cambie de opinión. Solo quiere pizza.
   • Resultado: Otros modelos (como Qwen) estaban tan decididos a una respuesta específica (un enfoque "híbrido") que ninguna cantidad de publicaciones de "Regreso a la Oficina" pudo moverlos. Estaban "saturados" con su propia opinión predeterminada.

3. La "Asimetría" (La calle de un solo sentido):

   • Analogía: Imagina que te inclinas ligeramente hacia la izquierda. Si alguien te empuja desde la derecha, podrías caerte. Pero si te empujan desde la izquierda (la dirección hacia la que ya te inclinas), no te mueves.
   • Resultado: El ataque solo funcionaba cuando el muro empujaba a la IA contra su tendencia natural. Si la IA ya prefería el "Trabajo Remoto" y el muro estaba lleno de publicaciones de "Trabajo Remoto", la IA no cambiaba. Pero si el muro estaba lleno de publicaciones de "Regreso a la Oficina", la IA se desplazaba. El muro no podía sobrescribir una creencia fuerte, pero podía inclinar la balanza en una creencia débil.

"La Dosis" Importa

Los investigadores descubrieron una curva de "dosis-respuesta". Es como tomar medicina:

• Si el muro tenía 1 o 2 publicaciones "malas" de 5, no pasaba nada.
• Pero una vez que el muro tenía alrededor de 3 o 4 publicaciones "malas" de 5, la decisión de la IA empezaba a cambiar. No era magia; era una cuestión de cuánta "interferencia" (noise) estaba expuesta la IA.

El "Cambio de Generador" (Probando que no fue una casualidad)

Los investigadores se preocuparon: "¿Tal vez a la IA le gustaba el estilo de escritura de las publicaciones malas?".
Para probar esto, usaron una IA distinta para escribir todas las publicaciones. ¿El resultado? El ataque se volvió más fuerte. Esto demostró que no se trataba del estilo de escritura, sino de la selección de los temas.

El Mito del "Mecanismo Oculto"

Al principio, los investigadores pensaron que habían encontrado un "interruptor secreto" dentro del cerebro de la IA que el muro estaba activando. Usaron una herramienta para mirar dentro del código de la IA.

• El Giro: Se dieron cuenta de que estaban equivocados. La "señal" que vieron no era un interruptor interno secreto. Era simplemente la IA recordando el historial de la conversación. Si mirabas el registro del chat, podías ver exactamente lo que la IA había leído. El "secreto" era en realidad el historial visible. Esto es una advertencia para otros científicos: no confíen en herramientas que afirman encontrar "secretos ocultos" en la IA si no tienen en cuenta lo que la IA ya ha visto.

Las Defensas

¿Podemos detener esto? Los investigadores probaron dos trucos simples:

1. Exposición Equilibrada: Mostrar a la IA una mezcla igual de publicaciones de "Remoto" y de "Oficina". Esto ayudó a la IA a mantenerse en su trayectoria original.
2. Divulgación: Decirle a la IA: "Oye, este muro puede tener sesgos". Esto también ayudó, aunque no perfectamente.

La Gran Conclusión

El artículo concluye que el "Clasificador" (el sistema que decide qué ves) es una potente perilla de control.

En el pasado, nos preocupábamos por hackers enviando comandos directos a la IA. Ahora, sabemos que un hacker (o un sistema sesgado) no necesita enviar un comando. Solo necesita controlar el muro (feed). Al elegir cuidadosamente qué publicaciones benignas y de apariencia normal se le muestran a una IA, pueden dirigir sutilmente sus decisiones sobre temas importantes como la seguridad, las políticas o la estrategia empresarial.

La advertencia final: No podemos limitarnos a probar una IA haciéndole una sola pregunta en el vacío. Tenemos que probar qué sucede después de que haya estado "desplazándose" por un muro curado. La persona que controla el muro controla el siguiente movimiento de la IA.

Resumen técnico

Resumen Técnico: Los Feeds Adversarios Dirigen las Decisiones de los Agentes LLM Contra sus Valores Predeterminados

Planteamiento del Problema

Las evaluaciones de seguridad actuales para los agentes de Modelos de Lenguaje Extensos (LLM) aíslan predominantemente al modelo y al prompt del usuario, ignorando las corrientes de información ascendentes (feeds sociales, resultados de búsqueda, contextos de recuperación) que los agentes consumen antes de actuar. Mientras que la investigación existente se centra en la inyección de prompts directa, la inyección indirecta mediante documentos maliciosos o el envenenamiento de la recuperación, estas amenazas dependen de cargas útiles (payloads) maliciosas identificables.

Este artículo aborda una brecha donde cada elemento individual en un flujo de información es benigno, pero la selección y el orden (curaduría) de estos elementos por parte de un clasificador (ranker) ascendente manipula la decisión descendente del agente. La pregunta central es si una parte que controla el feed puede dirigir la decisión de un agente de múltiples pasos sin inyectar instrucciones explícitas, convirtiendo efectivamente al sistema de recomendación en una superficie de ataque.

Metodología

Los autores proponen un protocolo controlado para aislar el efecto causal de la curaduría del feed en las decisiones del agente.

• Protocolo del Agente: El experimento consta de dos fases.
  1. Exposición (Scrolling): El agente participa en una fase de "scrolling" de diez turnos, reaccionando a cinco publicaciones por turno con un LIKE, SHARE o SKIP y una justificación. El historial de la conversación acumula estas interacciones.
  2. Decisión: Se le presenta al agente una pregunta de elección forzada única (A/B/C) sobre un tema específico (por ejemplo, política de trabajo remoto).
• Variables de Control: El modelo, el personaje (persona), el tema y el prompt de decisión final se mantienen constantes en todas las condiciones. La única variable es la composición y el orden de las publicaciones durante la fase de exposición.
• Condiciones del Feed: Se probaron seis condiciones principales:
  • Baselines (Líneas base): Publicaciones orgánicas aleatorias y publicaciones orgánicas ordenadas por recencia.
  • Adversarial (Adversario): Inyección ligera (1 publicación adversaria/lote), Inyección pesada (5 publicaciones adversarias/lote) y Equilibrado (2 adversarias + 3 orgánicas).
  • Defense (Defensa): Inyección pesada divulgada (publicaciones adversarias con una etiqueta de advertencia).
• Modelos: Se probaron cuatro LLM de instrucción abiertos de tres laboratorios (Meta, Google, Alibaba): Llama 3.2-3B, Gemma 4-e4b, Qwen 3.5-2B y Qwen 3.5-9B.
• Pools de Publicaciones: El contenido fue generado sintéticamente por Claude y Gemma 4 a través de cinco temas. Los pools adversarios fueron diseñados para abogar persuasivamente por un lado de un debate (por ejemplo, a favor del regreso a la oficina) sin ataques de identidad explícitos.
• Verificaciones de Robustez: El estudio incluyó un "intercambio de generador" (reescribir publicaciones con un LLM diferente), barridos de dosis-respuesta (variando la densidad adversaria) y ataques de dirección opuesta (probando si los ataques alineados con el valor predeterminado de un modelo tienen efectos diferentes).

Contribuciones Clave

1. Protocolo Controlado: Un marco replicable para probar la exposición al feed en agentes LLM, aislando al clasificador como una variable.
2. Taxonomía de Tres Regímenes: Una clasificación de la susceptibilidad del modelo:
   • Capitulación Adversaria: El modelo desplaza su decisión hacia la dirección del feed.
   • Saturación del Valor Predeterminado: El modelo regresa a un valor fijo predeterminado independientemente del feed.
   • Asimetría de Dirección del Valor Predeterminado: Un feed unidireccional inclina las decisiones sobre las que el modelo tiene incertidumbre, pero no puede desalojar los valores predeterminados firmemente establecidos.
3. Evidencia Empírica: Resultados a través de cuatro modelos que muestran cambios significativos en la decisión en Llama 3.2 y Gemma 4, mientras que los modelos Qwen exhibieron saturación de valores predeterminados.
4. Generalización: Demostración de que el efecto se extiende más allá del trabajo remoto hacia decisiones de seguridad (por ejemplo, políticas de MFA) y otros dominios.
5. Advertencia Metodológica: Una crítica a la validación cruzada aleatoria estándar en el sondeo de agentes de múltiples turnos, mostrando que infla la precisión en 30 puntos porcentuales en comparación con las divisiones conscientes del grupo y las líneas base de historial visible.

Resultados Clave

1. Susceptibilidad y Regímenes

• Llama 3.2-3B: Mostró alta susceptibilidad. Bajo una inyección adversaria pesada (a favor del regreso a la oficina), la recomendación de "remoto primero" cayó del 100% al 50% (p=0.0004).
• Gemma 4-e4b: También susceptible, con "remoto primero" cayendo del 40% al 0% bajo ataque pesado.
• Modelos Qwen 3.5: Exhibieron "saturación del valor predeterminado", manteniendo recomendaciones híbridas casi constantes independientemente de la intensidad del feed.

2. Intercambio de Generador y Dosis-Respuesta

• Intercambio de Generador: Cuando las publicaciones adversarias y orgánicas fueron regeneradas por Gemma 4 (en lugar de Claude), el ataque sobre Llama 3.2 se volvió aún más fuerte (remoto primero cayó del 100% al 5%, p=3×10⁻¹⁰), descartando artefactos de estilo de contenido.
• Dosis-Respuesta: El ataque sigue una curva clara. Existe un umbral de aproximadamente 2 publicaciones adversarias por lote de 5 publicaciones; por debajo de esto, el efecto es insignificante, y por encima de esto, la decisión cambia de forma monótona.

3. Asimetría de Dirección del Valor Predeterminado

El ataque no es simplemente "más contenido causa inestabilidad". Es asimétrico:

• Los ataques que se oponen al valor predeterminado del modelo (por ejemplo, empujar a Llama lejos de su valor predeterminado pro-remoto) logran desplazar las decisiones.
• Los ataques alineados con el valor predeterminado del modelo (por ejemplo, empujar a Llama más hacia pro-remoto) no producen cambios (un "no-op").
• Esto implica que un adversario puede erosionar un valor predeterminado seguro hacia una opción más riesgosa usando solo contenido benigno, pero no puede desestabilizar fácilmente un valor predeterminado seguro y firme.

4. Generalización

El efecto se generalizó a tareas relevantes para la seguridad (por ejemplo, relajar MFA, eliminar puertas de despliegue). En estos dominios, la inyección pesada desplazó significativamente las decisiones de Llama hacia el objetivo del atacante. Sin embargo, las tareas de "sondeo de frontera" donde el modelo mantenía un valor predeterminado robusto (por ejemplo, adoptar dependencias de terceros riesgosas) permanecieron sin cambios, confirmando el principio de asimetría.

5. Defensas

Se probaron dos defensas simples a nivel de feed en el modelo susceptible Llama:

• Exposición Equilibrada: Mezclar publicaciones adversarias con publicaciones orgánicas aleatorias restauró la tasa de "remoto primero" al 95% (frente al 50% en ataque pesado).
• Divulgación de Clasificación: Preceder con una advertencia de que el feed podría ser adversario restauró la tasa al 85%.
• Nota: Estas defensas fueron menos efectivas o ineficaces en Gemma 4, que permaneció en su valor predeterminado híbrido.

Significado y Reivindicaciones

El artículo argumenta que los sistemas de recomendación actúan como una superficie de control práctica y limitada por valores predeterminados para los agentes de LLM. La importancia radica en el cambio del paradigma de evaluación de seguridad:

1. Auditar la Capa del Feed: Las evaluaciones deben ir más allá de probar el prompt final de forma aislada. Un agente puede comportarse de manera segura en un contexto limpio, pero puede ser dirigido por un feed curado.
2. Susceptibilidad Específica del Modelo: La susceptibilidad no es universal; depende de la estabilidad del valor predeterminado del modelo y de la tarea específica.
3. Expansión del Modelo de Amenaza: La amenaza no es solo las cargas útiles maliciosas, sino la curaduría de contenido benigno. Esto permite la manipulación a través de canales que los filtros de contenido (diseñados para detectar instrucciones maliciosas) no pueden ver.
4. Corrección Metodológica: El estudio advierte que sondear agentes de múltiples turnos utilizando la validación cruzada aleatoria estándar sobreestima los mecanismos ocultos. Gran parte de la "señal" es recuperable del historial de la conversación visible, lo que requiere divisiones conscientes del grupo y líneas base de historial.

Los autores concluyen que en la era de la IA agéntica, "cada recomendador escribe silenciosamente cada respuesta", y la pregunta crítica de seguridad ya no es solo si los modelos se comportan bien, sino quién controla lo que leen justo antes de responder.