When Not to Write Memory: Governing False Promotion from Correlated Agent Traces

Resumen Técnico: Cuándo no escribir en la memoria: Gobernanza de la promoción falsa de trazas de agentes correlacionadas

Declaración del problema
A medida que los agentes de lenguaje de larga duración generan cada vez más memorias reutilizables a partir de sus propias trazas de ejecución, ha surgido un modo de fallo de seguridad crítico: la promoción falsa. El problema central es que las observaciones repetidas a través de múltiples agentes no son necesariamente evidencia independiente. Una afirmación repetida por cinco agentes puede representar cinco descubrimientos independientes, o puede representar una nota obsoleta, un artefacto de prompt compartido, una fuente copiada o un eco inducido por una herramienta. La promoción ingenua de tales repeticiones correlacionadas en la memoria a largo plazo crea una capa de persistencia para errores correlacionados. El artículo enmarca el desafío no en qué recordar, sino en cuándo rechazar la escritura de memoria, abordando específicamente la gobernanza de las rutas de escritura para trazas de multi-agentes correlacionadas.

Metodología: GovMem
Los autores introducen GovMem, una política de referencia diagnóstica conservadora y un agente auditor lateral diseñado para gobernar las rutas de escritura de memoria. En lugar de tratar la escritura de memoria como un problema de resumen, GovMem lo enmarca como una decisión de gobernanza de evidencia. El sistema opera como un auditor independiente de la tarea que intercepta memorias candidatas antes de que lleguen al almacenamiento a largo plazo.

El flujo de trabajo de GovMem ejecuta cuatro pasos:

1. Agregación de Candidatos: Agrega observaciones con textos de afirmaciones similares mientras retiene metadatos de procedencia (fuente, familia de prompts, evento padre, entorno, confianza).
2. Estimación de Soporte Dependiente de Dependencias: En lugar de contar frecuencias brutas o fuentes únicas, agrupa las observaciones por estructura de dependencia. Las observaciones que comparten prompts, herramientas, contexto intermedio o eventos padres son tratadas como no independientes y no cuentan como votos separados.
3. Recuperación de Contraejemplos y Asignación de Alcance: Recupera evidencia potencial en contra y verifica la compatibilidad del alcance objetivo, reconociendo que el acuerdo textual por sí solo es una señal de confianza no calibrada.
4. Enrutamiento de Decisión: Basándose en la verificación dependiente de dependencias, emite una de tres decisiones: PROMOTE (Promover), REJECT (Rechazar) o NEEDS-REVIEW (Requiere Revisión).

Contribuciones Clave

1. Identificación del Modo de Fallo: El artículo identifica la "promoción falsa" proveniente de observaciones copiadas, correlacionadas con el prompt, obsoletas, adversarias y fuera de alcance como un modo de fallo de memoria distinto y crítico.
2. Formulación de la Gobernanza: Replantea la escritura de memoria como un problema de gobernanza de evidencia, dirigiendo los candidatos a promover, rechazar o revisar basándose en la procedencia y la dependencia en lugar de la calidad del resumen.
3. Implementación de GovMem: Lo instancia como una política de agente lateral conservadora que audita las propuestas de escritura utilizando soporte dependiente de dependencias, contraevidencia y verificaciones de alcance.
4. Evaluación Exhaustiva: Los autores proporcionan experimentos de mecanismos controlados (GovMem-Bench), una evaluación de traza real interna con oro humano del proyecto y pruebas de estrés externas, incluyendo un paquete de alto impacto adjudicado por humanos.

Resultados Experimentales
La evaluación abarca benchmarks sintéticos, trazas reales internas y pruebas de estrés de agentes de codificación externos.

• Pruebas Sintéticas Controladas (GovMem-Bench): En la configuración por defecto, GovMem-Verified redujo la tasa de promoción falsa de 0.597 (línea base de frecuencia bruta) a 0.040, manteniendo un recall de 0.960. Esto supuso una carga de revisión explícita de 0.151.
• Evaluación de Trazas Reales Internas: En un subconjunto etiquetado por humanos de 120 candidatos de 79 trazas, la promoción dependiente de dependencias redujo la promoción falsa de 0.371 (línea base de fuente + alcance) a 0.032. Sin embargo, esta ganancia de seguridad requirió un aumento significativo en la carga de revisión (de 0.042 a 0.692) y una caída en el recall directo (de 0.985 a 0.448).
• Pruebas de Estrés Externas (Paquete de Alto Impacto V2): Una adjudicación humana final de 133 candidatos de agentes de codificación externos de alto impacto arrojó un resultado severo: cero candidatos fueron considerados seguros para la promoción automática. Notablemente, todos los 11 candidatos que pasaron una puerta de verificación local fueron rechazados por los adjudicadores humanos como boilerplate, artefactos de herramientas compartidas, volcados de archivos o trazas de depuración no reutilizables.
• Comparaciones de Línea Base: Una línea base de "revisar-todo-lo-correlacionado" (dirigir toda la evidencia no independiente a humanos) funcionó sorprendentemente bien, igualando casi la seguridad de GovMem con mejor recall y menor carga en el entorno interno, lo que sugiere que GovMem es un punto de diseño específico en un espacio de control de riesgos más que una solución universalmente dominante.

Significancia y Reivindicaciones
El artículo se posiciona explícitamente como un artículo de diagnóstico y de método en lugar de una validación de un escritor de memoria automático generalmente eficiente.

• Reivindicación de Seguridad Diagnóstica: La contribución principal es demostrar que las rutas de escritura gobernadas, que tratan la repetición como evidencia correlacionada que requiere comprobaciones de procedencia y alcance, pueden reducir significativamente la promoción falsa.
• Limitaciones de la Automatización: Los autores advierten que la promoción automática sigue siendo frágil cuando la evidencia de verificación se extrae de trazas de agentes ruidosas. Los resultados externos muestran que las señales de verificación superficiales (por ejemplo, salida de pytest, listados de archivos) suelen ser insuficientes para escrituras de memoria seguras.
• Espacio de Diseño: GovMem se presenta como un punto en un espacio de diseño de control de riesgos, enfatizando la procedencia explícita y las decisiones conservadoras. El artículo argumenta que las rutas de escritura de memoria de los agentes deben evaluarse como sistemas de gobernanza de evidencia controlados por riesgo.
• Requisitos Futuros: Los autores afirman que las afirmaciones más sólidas sobre la escritura de memoria automática requieren una cobertura externa independientemente etiquetada más amplia, evidencia de daño downstream ejecutada y una verificación de nivel de evento más fuerte, nada de lo cual está plenamente establecido en este trabajo.

En resumen, el artículo argumenta que "la repetición no es evidencia" para la memoria a largo plazo y propone un marco de gobernanza para filtrar errores correlacionados, reconociendo al mismo tiempo que los mecanismos actuales de promoción automática aún no son lo suficientemente robustos para su despliegue sin una revisión humana significativa o una validación adicional.