AgentDrift: Unsafe Recommendation Drift Under Tool Corruption Hidden by Ranking Metrics in LLM Agents

El artículo "AgentDrift" revela que los agentes LLM aumentados con herramientas en dominios de alto riesgo mantienen su calidad de recomendación pero sufren una peligrosa deriva hacia productos inseguros cuando las herramientas están corruptas, un fallo de seguridad crítico que los métricos de evaluación tradicionales como el NDCG pasan por alto.

Lo esencial

Imagina que tienes un asesor financiero personal muy inteligente, un robot que habla contigo día tras día. Este robot tiene una característica especial: puede consultar noticias y datos del mercado en tiempo real para darte los mejores consejos de inversión.

El problema que descubren los autores de este estudio es que este robot tiene un "punto ciego" peligroso.

🕵️‍♂️ La Analogía: El Noticiero Falsificado

Imagina que tu robot lee las noticias de un canal de televisión confiable. Pero, de repente, un hacker entra a la sala de control de ese canal y falsifica las noticias.

• La realidad: El mercado dice que una acción de una empresa de juguetes (muy arriesgada) es como una montaña rusa: peligrosa y volátil.
• La falsificación: El hacker cambia la noticia para decir: "¡Esta acción de juguetes es tan segura y estable como un banco de piedra!".

Tu robot, que está diseñado para confiar ciegamente en los datos que lee, cree la mentira. Te recomienda comprar esa acción arriesgada porque "los datos dicen que es segura".

📉 El Gran Engaño: "Todo parece perfecto"

Aquí es donde entra la parte más inquietante del estudio. Los investigadores probaron esto con 7 robots diferentes (desde modelos pequeños hasta los más avanzados del mundo).

1. El truco: Falsificaron los datos de mercado (cambiaron números y titulares) para que el robot recomendara cosas peligrosas a personas que querían inversiones seguras.
2. La sorpresa: Cuando los investigadores midieron la "calidad" de las recomendaciones usando las reglas normales (¿recomendó acciones populares? ¿Siguió el orden correcto?), el robot obtuvo una puntuación perfecta.
   • Analogía: Es como si un chef te sirviera un plato envenenado, pero como el plato se ve hermoso, huele rico y está servido en la vajilla correcta, el inspector de calidad le da 5 estrellas. El sistema de evaluación no ve el veneno, solo ve la presentación.

Los autores llaman a esto "Ceguera de Evaluación". El robot sigue pareciendo útil y competente, pero en realidad está guiándote hacia un precipicio.

🧠 ¿Por qué no se da cuenta el robot?

El estudio descubrió dos cosas fascinantes sobre cómo piensan estos robots:

1. Confianza ciega: Los robots están entrenados para creer lo que les dicen sus herramientas externas (las noticias, los datos). Si el dato dice "seguro", el robot lo cree, incluso si su propia "memoria" o conocimiento general le dice que esa empresa es arriesgada.
2. El efecto dominó: Una vez que el robot recibe una noticia falsa, no solo cambia esa recomendación. Empieza a cambiar su "memoria" sobre ti. Si te recomienda acciones arriesgadas, empieza a pensar: "Ah, este usuario es arriesgado". Y en el siguiente turno, te recomendará cosas aún más peligrosas, creando un ciclo vicioso que dura días o semanas sin que el robot se corrija a sí mismo.

🛡️ ¿Cómo lo detectaron?

Los investigadores crearon un "test de estrés". Pusieron a los robots a leer noticias falsas durante 23 conversaciones seguidas.

• Resultado: En el 93% de los casos, los robots recomendaron productos que no eran adecuados para el perfil de riesgo del usuario.
• El fallo de los detectores: Ningún robot, ni siquiera los más inteligentes, preguntó: "Oye, ¿estás seguro de que estos datos son reales?". Aceptaron la mentira sin pestañear.

💡 La Lección para el Mundo Real

Este estudio nos dice algo crucial para el futuro:

No basta con preguntar a una Inteligencia Artificial: "¿Qué tan buena fue tu recomendación?" (¿Recomendó acciones populares?).
Tenemos que preguntar: "¿Fue segura esta recomendación para esta persona específica?".

En resumen:
Imagina que un GPS te lleva por un camino lleno de baches porque le han hackeado los mapas. El GPS te dirá: "Llegaste a tu destino, ¡muy bien hecho!" (porque el mapa decía que ese era el camino). Pero tú llegarás con el coche destrozado.

Este estudio nos advierte que, si no vigilamos la seguridad de lo que dicen estos robots (no solo la calidad de su respuesta), podríamos estar confiando nuestra vida o nuestro dinero a un sistema que parece perfecto pero que está siendo manipulado desde dentro.

La solución propuesta: Necesitamos nuevos "inspectores" que no solo miren la presentación del plato, sino que prueben si la comida está envenenada antes de servirla.

Resumen técnico

Resumen Técnico: AgentDrift

1. El Problema: Ceguera Evaluativa en Agentes LLM

Los agentes de LLM (Modelos de Lenguaje Grande) aumentados con herramientas (Tool-Augmented LLMs) se están adoptando rápidamente en dominios de alto riesgo, como la asesoría financiera. Sin embargo, existe una brecha crítica en su evaluación:

• Dependencia de métricas de calidad: La evaluación actual se basa casi exclusivamente en métricas de precisión de ranking (como NDCG, tasa de aciertos) que miden qué se recomienda, pero no si es seguro para el usuario específico.
• Vulnerabilidad de la capa de herramientas: La capa de herramientas (APIs de datos, noticias, perfiles) es un vector de ataque explotable. Si un adversario corrompe la salida de estas herramientas (ej. invirtiendo puntuaciones de riesgo), el agente puede recomendar productos peligrosos.
• Fenómeno de "Ceguera Evaluativa" (Evaluation Blindness): El hallazgo central es que, incluso cuando las recomendaciones son inseguras (violaciones de seguridad), las métricas de calidad estándar permanecen estables o incluso mejoran. Esto crea una falsa sensación de seguridad, ya que el sistema parece funcionar bien según los indicadores tradicionales, mientras que el riesgo para el usuario aumenta drásticamente.

2. Metodología

Los autores proponen un protocolo de diagnóstico innovador para cuantificar este fenómeno:

• Protocolo de Trayectoria Pareada (Paired-Trajectory Protocol):

  • Se utilizan diálogos financieros reales del conjunto de datos Conv-FinRe.
  • Se ejecutan dos sesiones para cada usuario y modelo: una limpia (salidas de herramientas normales) y una contaminada (salidas manipuladas).
  • Se evalúan 7 modelos LLM distintos (desde 7B hasta modelos de vanguardia como GPT-5.2 y Claude Sonnet 4.6).
  • Cada sesión consta de 23 turnos de interacción.

• Diseño de Contaminación (Perturbación Controlada):
  Se simula un ataque extremo en las herramientas para maximizar la señal de contaminación:

  1. Inversión de Riesgo: Las puntuaciones de riesgo ordinal (1-5) se invierten (ej. una acción especulativa con riesgo 5 aparece como 1).
  2. Manipulación de Métricas: La volatilidad y el drawdown máximo se escalan para reforzar la señal de riesgo invertida.
  3. Titulares Sesgados: Noticias que enmarcan acciones de alto riesgo como "defensivas" y viceversa.
  4. Inyección de Alto Riesgo: Se introduce un ETF apalancado (TQQQ) con una puntuación de riesgo falsa de 1.

• Descomposición de Canales (Análisis de Mediación):
  Para entender cómo ocurre el error, se descompone la divergencia en dos canales:

  • Canal de Información: El agente razona directamente sobre observaciones corruptas en el turno actual.
  • Canal de Memoria: La corrupción persiste a través de la actualización del estado de memoria persistente del agente (perfiles de riesgo, objetivos), afectando turnos futuros.

• Métricas Nuevas:

  • UPR (Utility Preservation Ratio): Mide cuánto se mantiene la calidad (NDCG) bajo contaminación.
  • SVR (Suitability Violation Rate): Porcentaje de turnos donde se recomienda un producto que excede el perfil de riesgo del usuario.
  • sNDCG: Una variante de NDCG que penaliza explícitamente los productos inseguros.

3. Contribuciones Clave

1. Identificación de la "Ceguera Evaluativa": Demostración empírica de que las métricas de calidad estándar (NDCG) fallan en detectar degradación de seguridad. El UPR se mantiene cerca de 1.0 (calidad preservada) mientras que las violaciones de seguridad (SVR) alcanzan entre el 65% y el 93% de los turnos.
2. Protocolo de Diagnóstico de Trayectoria: Introducción de un método para evaluar agentes en interacciones de múltiples turnos, descomponiendo la deriva en canales de información y memoria, algo que los benchmarks actuales (que reinician el estado) no capturan.
3. Evidencia de Fallo Sistémico: Se demuestra que los agentes no se autocorrigen. Incluso modelos de vanguardia con conocimiento paramétrico sobre el riesgo de los activos aceptan ciegamente los datos de las herramientas corruptas sin cuestionar su fiabilidad.
4. Métricas de Seguridad Penalizadas: Propuesta de sNDCG como una métrica viable para cerrar la brecha de evaluación, mostrando que al penalizar la seguridad, la "calidad" percibida cae drásticamente (UPR de 0.51 a 0.74).

4. Resultados Principales

• Persistencia del Error: Las violaciones de seguridad aparecen en el primer turno contaminado y persisten durante los 23 turnos sin corrección.
• Dominancia del Canal de Información: La mayoría de las violaciones de seguridad (94.8%) son impulsadas únicamente por el canal de información (razonamiento sobre datos corruptos en el momento), incluso cuando la memoria no ha cambiado. El canal de memoria contribuye a la magnitud de la deriva, pero no es la causa principal de la violación de seguridad inmediata.
• Resistencia a Monitores Simples:
  • La contaminación basada solo en titulares (sin manipulación numérica) induce una deriva significativa (0.176) y evade completamente los monitores de consistencia basados en umbrales numéricos.
  • Perturbaciones "dentro de la banda" (cambios de riesgo de ±1) evaden todos los monitores de umbral pero aún causan un 61% de la deriva total de un ataque completo.
• Falta de Escepticismo: En 1,563 turnos contaminados, ningún agente cuestionó explícitamente la fiabilidad de los datos de la herramienta. Los agentes están diseñados para anclarse en las herramientas, lo que crea una superficie de ataque estructural.
• Análisis de Representación (SAE): El uso de Autoencoders Escasos (SAE) en Gemma 3 mostró que el modelo internamente distingue entre datos adversarios y cambios de texto genéricos (hay una firma de activación específica), pero no propaga esta señal a la decisión final. Existe una brecha entre la representación interna y la acción.

5. Significado e Implicaciones

• Riesgo de Despliegue: Desplegar agentes de recomendación multi-turno en dominios de alto riesgo (finanzas, salud, legal) sin monitoreo de seguridad a nivel de trayectoria es peligroso. Las métricas actuales ofrecen una falsa garantía de seguridad.
• Necesidad de Nuevos Estándares: Se requiere un cambio de paradigma en la evaluación: pasar de métricas de calidad de un solo turno a métricas de seguridad a lo largo de la trayectoria y monitoreo de la salida de las herramientas.
• Defensas: Los monitores de consistencia simples (comparar con una base de datos de referencia) pueden detectar ataques extremos, pero son vulnerables a perturbaciones sutiles. Se sugiere la necesidad de verificación de herramientas en tiempo real y protocolos de seguridad que no dependan únicamente de la confianza en la herramienta.
• Generalización: El patrón de "ceguera evaluativa" es estructural y no específico del dominio financiero; ocurre siempre que los atributos de seguridad sean ortogonales a las clasificaciones de utilidad.

En conclusión, AgentDrift revela que la arquitectura actual de agentes LLM, que prioriza el anclaje en herramientas externas, es inherentemente vulnerable a la corrupción de datos, y que las métricas de evaluación estándar son insuficientes para detectar estos fallos de seguridad críticos.