Tracking the Behavioral Trajectories of Adapting Agents

Resumen Técnico: Seguimiento de las Trayectorias de Comportamiento de Agentes en Adaptación

Planteamiento del Problema
Los agentes de IA modernos dependen en gran medida de archivos de configuración basados en texto —como archivos de habilidades, archivos de memoria y archivos de configuración de comportamiento (por ejemplo, SOUL.md)— para definir sus capacidades, contexto y restricciones. Estos archivos son dinámicos; evolucionan mediante ediciones realizadas por humanos, agentes o procesos externos. Esta evolución crea una superficie de seguridad significativa, como lo demuestran ataques recientes donde instrucciones maliciosas inyectadas en archivos de memoria alteraron silenciosamente el comportamiento del agente a través de las sesiones. Aunque la mayoría de las actualizaciones de archivos son benignas, el desafío radica en detectar de manera fiable cambios no benignos y poco comunes (como un aumento en la propensión a buscar datos sensibles) en medio de un flujo continuo de actualizaciones rutinarias. Los paradigmas de evaluación actuales dependen de la observabilidad mediada por humanos o de metadatos auto-reportados, careciendo de un mecanismo para que un agente evalúe de forma autónoma y fiable las propiedades de comportamiento de otro basándose en los cambios en sus archivos fuente.

Metodología
Los autores proponen una metodología para medir "rasgos de agentes" definiéndolos como direcciones específicas dentro del espacio de incrustación (embedding space) de un modelo de incrustación de texto. El enfoque central trata las habilidades del agente como artefactos en adaptación y analiza la diferencia semántica (diff) entre las versiones "antes" y "después" de un archivo de habilidad.

1. Aprendizaje del Vector de Rasgo:

   • Incrustación (Embedding): Los archivos de texto se incrustan utilizando un modelo (específicamente Qwen3-Embedding-8B) y se normalizan a longitud unitaria.
   • Cálculo del Diff: Se calcula un vector diff restando la incrustación normalizada del "antes" de la incrustación del "después". Este vector también se normaliza para asegurar que la regresión aprenda de la dirección del cambio y no de la magnitud de la edición.
   • Regresión: Se ajusta un modelo de regresión de Ridge para mapear estos vectores diff a etiquetas continuas ($y \in [-1, 1]$), donde las etiquetas representan la magnitud y dirección de un cambio de rasgo (por ejemplo, -1 para fuertemente seguro de datos, +1 para fuertemente buscador de datos). El vector de coeficientes resultante sirve como el "vector de rasgo".
   • Calificación (Scoring): Las nuevas ediciones se califican proyectando su vector diff normalizado sobre el vector de rasgo aprendido.

2. Marco de Validación:
   La metodología emplea una validación cruzada de dejar uno fuera (leave-one-out cross-validation o LOOCV) de forma cerrada utilizando el estadístico PRESS para garantizar predicciones imparciales en conjuntos de datos pequeños. El rendimiento se mide mediante:

   • Precisión de Signo (Sign Accuracy): La fracción de ediciones donde el modelo predice correctamente la dirección del cambio de rasgo (más o menos positivo respecto al rasgo).
   • Correlación de Rango de Spearman ($\rho$): La capacidad del modelo para clasificar las ediciones por severidad.

3. Protocolo Agente-a-Agente:
   Para permitir la evaluación sin confianza directa entre agentes, los autores diseñan un protocolo mediado por un servidor de tiempo de ejecución (runtime server) de confianza.

   • Actores: Un Solicitante (Agente A), un Ejecutor (Agente B) y un Servidor de Tiempo de Ejecución.
   • Proceso: El Agente A solicita una evaluación a través del servidor. El Agente B recibe un ejecutable contenedorizado (el modelo de incrustación) del servidor, lo ejecuta localmente sobre sus propios diffs de archivos y envía únicamente los vectores diff resultantes al servidor. El servidor aplica el vector de rasgo para calcular la puntuación y devuelve el resultado al Agente A.
   • Seguridad: Este diseño asegura que los agentes actúen como clientes HTTP puros (sin puntos de entrada entrantes) y separa la ejecución de la calificación, evitando que el Ejecutor manipule la puntuación final.

Contribuciones Clave

1. Metodología de Vector de Rasgo: Un enfoque novedoso para medir los rasgos de los agentes como direcciones lineales en el espacio de incrustación, aplicado específicamente a los diffs de los archivos de habilidades de los agentes a lo largo del tiempo.
2. Validación Empírica: Validación de la metodología en un rasgo de "búsqueda de datos" utilizando 68 pares de diffs de habilidades etiquetados.
3. Protocolo de Despliegue: Un protocolo agente-a-agente que permite a un agente evaluar las actualizaciones de archivos de otro a través de un intermediario de confianza, generalizando más allá de la simple evaluación de texto.

Resultados
Evaluado en 68 pares etiquetados para el rasgo de "propensión a buscar datos sensibles" bajo LOOCV:

• Precisión de Clasificación de Signo: 91.2%.
• Correlación de Rango de Spearman: $\rho = 0.82$.
• Análisis de Error: Los 6 pares mal clasificados tenían valores de predicción absolutos pequeños (media $|\hat{y}| = 0.085$) y magnitudes de etiqueta reales pequeñas, lo que indica que el modelo tenía incertidumbre ante cambios sutiles en lugar de estar erróneamente seguro.
• Comparación con Línea Base:
  • Firmas YARA: Lograron una precisión del 63.2% y no activaron reglas en 14 diffs. El método propuesto supera esto al utilizar el contexto para distinguir entre "credenciales" en salvaguardas frente a instrucciones de exfiltración.
  • LLM de Frontera (GPT-5.4): Logró una precisión de signo del 100%. Los autores posicionan su método como un compromiso: es menos preciso que un LLM de frontera, pero ofrece una calificación determinista, rápida, auditable y reproducible adecuada para el monitoreo en tiempo real.

Significancia y Reivindicaciones
El artículo afirma proporcionar un paso fundamental hacia el monitoreo y la evaluación del comportamiento de los agentes de IA a través de sus archivos de configuración. Al permitir la detección de cambios de rasgos peligrosos (como un aumento en el comportamiento de búsqueda de datos) sin intervención humana, este trabajo busca mejorar la seguridad y la confiabilidad de los agentes desplegados. Los autores señalan que, si bien la metodología mejora sobre las reglas basadas en firmas, opera bajo supuestos de confianza específicos (modelo de incrustación y servidor de tiempo de ejecución de confianza). Reconocen que la misma técnica podría teóricamente ser utilizada por actores maliciosos para diseñar ediciones evasivas, identificando la robustez adversarial como una dirección crítica para el trabajo futuro. El sistema se desplegó con éxito en un entorno real utilizando un agente Hermes, demostrando utilidad práctica al señalar cambios de rasgo significativos, como la adición de funcionalidades de aprovisionamiento de VM y SSH.