Resumen Técnico: TEPA - Revocación de Memorias Obsoletas para Agentes de Lenguaje Robustos al Conflicto

1. Formulación del Problema: Contaminación de la Memoria

El artículo identifica un modo de fallo crítico en agentes de lenguaje de largo plazo denominado contaminación de la memoria. Si bien la memoria persistente permite a los agentes reutilizar hechos, preferencias y experiencias de tareas, introduce un problema de falsabilidad: cuando el entorno o las preferencias del usuario cambian, las memorias obsoletas pueden permanecer recuperables y dominar el prompt, conduciendo a acciones incorrectas.

A diferencia de la deriva de concepto general, este problema es específico de los agentes de lenguaje donde los "objetos obsoletos" son evidencia textual insertada directamente en el prompt. Los autores definen la consolidación de conflictos obsoletos como el escenario donde las observaciones posteriores superan a los valores anteriores bajo la misma clave (por ejemplo, un usuario cambiando una preferencia o un régimen de herramientas cambiando). El desafío central es determinar si la memoria persistente sigue siendo útil cuando su propia evidencia debe ser falsificada.

El artículo cuantifica este fallo mediante un Índice de Contaminación de la Memoria (MPI). Si la tasa de éxito de un método ($S_{m,\phi}$) en una fase de reversión cae por debajo de la tasa de éxito de un agente sin memoria ($S_{NoMem,\phi}$), la memoria se considera contaminante ($MPI > 0$). Los autores hipotetizan que la memoria de solo anexión (append-only), que mantiene toda la evidencia activa, puede llegar a ser peor que no tener memoria en absoluto cuando la evidencia obsoleta se recupera junto con los hechos actuales.

2. Metodología: TEPA (Memoria de Evidencia Revocable)

Los autores proponen TEPA, un mecanismo que trata la validez de la memoria como un estado explícito en lugar de un repositorio estático.

Mecanismo Central

TEPA representa las observaciones como precedentes con clave ($p = (k, v, s, f, \sigma, \tau)$), donde:

• $k$: Clave de conflicto (ej. un espacio de preferencia o un régimen de herramientas).
• $v$: Valor afirmado.
• $s, f$: Conteos de soporte y de conflicto.
• $\sigma$: Estado del ciclo de vida (Hypothesis, Active, o Revoked).
• $\tau$: Tiempo de creación.

Transiciones del Ciclo de Vida

1. Detección de Conflicto: Cuando llega una nueva evidencia $(k_t, v_t)$, TEPA busca precedentes activos que compartan la misma clave $k_t$.
2. Actualizaciones de Estado:
   • Si el valor coincide, el conteo de soporte ($s$) aumenta.
   • Si el valor entra en conflicto, el conteo de conflicto ($f$) aumenta.
3. Revocación: Un precedente se mueve del conjunto Active al archivo Revoked si:
   • Su media posterior de validez (estimada mediante un modelo Beta-Bernoulli) cae por debajo de un umbral $\theta_{rev}$ tras un número mínimo de observaciones ($n_{min}$).
   • O BIEN, su tasa de éxito reciente cae por debajo de $\theta_{rec}$ dado un número suficiente de resultados recientes.
4. Promoción: Los nuevos candidatos entran en un estado de Hypothesis. Solo se promueven a Active si su validez posterior supera $\theta_{pro}$ o si pasan una validación de prueba.

Variantes de TEPA

• TEPA-Rev (Por Defecto): Utiliza las transiciones de estado del ciclo de vida descritas anteriormente.
• TEPA-Full: Añade un paso de ensayo por ejecución antes de la promoción. Un candidato a precedente es probado en tareas de soporte, contrafactuales y de contaminación. Se promueve solo si pasa la mayoría de los ensayos (ej. $\ge 60\%$ positivos) y tiene éxito en al menos un ensayo de soporte. Esta variante se utiliza específicamente para flujos de actualización de preferencias.

Recuperación

El recuperador solo accede al conjunto Active ($A_t$). Los precedentes revocados ($R_t$) se excluyen del prompt pero se preservan en un archivo para auditoría y posible repromoción.

3. Configuración Experimental

La evaluación abarca cuatro escenarios distintos para probar la robustez contra la deriva de régimen oculto y cambios de preferencia:

1. Deriva de Régimen Oculto Controlada: Simula reversiones de régimen de herramientas donde la acción correcta cambia.
2. Deriva de Ejecutable Real Basada en Archivos: Prueba el mecanismo con entrada/salida de archivos real y ejecución de herramientas.
3. Flujo de Actualización de Preferencias: Simula correcciones a perfiles de usuario a largo plazo basadas en retroalimentación de sesiones frescas.
4. MemoryAgentBench: Utiliza el benchmark SH-6k para la consolidación de hechos de un solo salto (single-hop), con variantes MH-6k y de contexto largo para pruebas de límites.

Los Baselines incluyen:

• No Memory: El agente no tiene acceso a evidencia pasada.
• Append-Only: Toda la evidencia permanece activa.
• Last-Write-Wins (LWW): Solo se conserva la experiencia más reciente de la misma clave.
• Olvido Temporal/Reactivo: Diversos mecanismos de limpieza basados en ventanas deslizantes o fallos.
• Oracle Reset: Un límite superior diagnóstico que conoce los límites de las fases.

4. Resultados Clave

Contaminación de la Memoria en Fases de Reversión

En los benchmarks de Deriva Controlada y Ejecutable, los sistemas de memoria append-only y Last-Write-Wins (LWW) colapsaron durante las fases de reversión completa:

• Éxito de Append-Only/LWW: $\approx 0.210$ (Controlado) y $\approx 0.203$ (Ejecutable).
• Éxito de No Memory: $\approx 0.309$ (Controlado) y $\approx 0.298$ (Ejecutable).
• Resultado: La memoria append-only funcionó peor que no tener memoria, confirmando la existencia de la contaminación de la memoria (MPI $\approx 0.31$).

Rendimiento de TEPA

TEPA evitó con éxito este colapso mediante la revocación de precedentes obsoletos:

• Éxito de TEPA: 0.950 en las fases de reversión tanto de Controlada como de Ejecutable.
• Comparación: TEPA superó significativamente a la memoria append-only (diferencia $\approx 0.74$, $p < 0.001$) y igualó el rendimiento de un Oracle Reset en términos de velocidad de adaptación tras el coste de transición inicial.

Actualizaciones de Preferencias

En los flujos de actualización de preferencias, donde la similitud semántica podría mantener perfiles obsoletos activos:

• Append-Only: Colapsó a un éxito de $0.138$.
• TEPA-Full: Logró un éxito global de 0.910, estadísticamente indistinguible del baseline de "No Memory" ($0.837$) en ausencia de contaminación, pero significativamente mejor que los baselines que fallaron al revocar.
• Perspectiva: La validación (TEPA-Full) y la revocación del ciclo de vida juegan roles complementarios; la validación filtra candidatos, mientras que la revocación limpia preferencias activas pero superadas.

MemoryAgentBench (Single-Hop)

En el benchmark SH-6k (consolidación de hechos de un solo salto limpia):

• TEPA-Rev: 0.890 (coincidencia exacta de subcadena).
• Last-Write-Wins: 0.890.
• TEPA-NoRev: 0.630.
• Conclusión: Para hechos de un solo salto donde el hecho más reciente se observa directamente, el reemplazo de la clave actual (LWW) es decisivo. La maquinaria de ciclo de vida de TEPA es más crítica en entornos de deriva y preferencias donde las actualizaciones deben inferirse de los resultados de la interacción.

Condiciones Límite

La efectividad de TEPA se degrada en escenarios de recuperación complejos:

• SH-32k: 0.680 de éxito.
• MH-6k (Multi-hop): 0.040 de éxito.
• SH-262k (Contexto Largo): 0.000 de éxito.
• Implicación: La revocación de hechos a nivel de un solo salto resuelve conflictos de un solo salto, pero la construcción de cadenas de recuperación y la selección de contexto largo siguen siendo desafíos arquitectónicos sin resolver.

5. Significado y Contribuciones

El artículo realiza tres contribuciones principales:

1. Definición del Problema: Caracteriza formalmente la contaminación de la memoria como un fallo de estado de validez donde la memoria persistente degrada el rendimiento del agente por debajo del baseline de "sin memoria".
2. Propuesta de Mecanismo: Introduce TEPA, un mecanismo de memoria de evidencia revocable que rastrea explícitamente el estado del ciclo de vida (Hipótesis, Activo, Revocado) de los precedentes, permitiendo la eliminación de evidencia contradictoria mientras se preserva para auditoría.
3. Validación Empírica: Demuestra que la revocación es una operación necesaria para los agentes que operan en entornos dinámicos. Los resultados muestran que sin una revocación explícita, los agentes pueden verse activamente perjudicados por sus propias memorias.

Reivindicaciones de los Autores sobre la Significancia

Los autores concluyen que la memoria persistente debe rastrear la validez junto con la relevancia. Un elemento de memoria puede ser relevante y reciente, pero aun así ser erróneo si su valor ha sido superado. TEPA establece la revocación del ciclo de vida como una operación central de la memoria, permitiendo a los agentes falsificar, auditar y repromover el conocimiento evolutivo. El trabajo sugiere que, si bien la consolidación de hechos de un solo salto se resuelve mediante el reemplazo de claves, el trabajo futuro debe abordar la construcción de cadenas de recuperación y la selección de contexto para escenarios de múltiples saltos y de contexto largo.