Resumen Técnico: Contagio de la Memoria

1. Definición del Problema

El artículo aborda una vulnerabilidad crítica en los sistemas de memoria de los agentes de Modelos de Lenguaje de Gran Escala (LLM): el Contagio de la Memoria. Si bien trabajos recientes (por ejemplo, Zhang et al. [2026]) han establecido que los mecanismos de consolidación de la memoria pueden degradar la información útil, estos estudios asumen que las experiencias de entrada son imparciales.

En la realidad, los agentes suelen ser entrenados o guiados por evaluadores sesgados (por ejemplo, modelos de recompensa, retroalimentación humana o incluso otros agentes con preferencias sistemáticas). Cuando un agente interactúa con un evaluador sesgado, sus trayectorias resultantes se vuelven sesgadas. Si estas trayectorias sesgadas se almacenan en un sistema de memoria y son recuperadas por futuros agentes, el sesgo se propaga a través del tiempo y de los episodios. Los autores definen el Contagio de la Memoria como esta propagación transtemporal del sesgo del evaluador a través de los sistemas de memoria de los agentes, distinguiéndolo del trabajo previo sobre el sesgo en el aprendizaje por refuerzo de un solo agente o el sesgo de recuperación dentro de un mismo episodio.

2. Metodología

2.1 Configuración Experimental

El estudio emplea un marco de dos agentes:

• Agente de Origen ($A_s$): Interactúa con tareas y es evaluado por un evaluador sesgado ($E_b$). Sus trayectorias se almacenan en un almacén de memoria ($M_b$).
• Agente Objetivo ($A_t$): Recupera información del almacén de memoria para resolver nuevas tareas. El estudio mide si $A_t$ exhibe el sesgo de $E_b$ incluso si su propio evaluador es imparcial.

Tipos de Sesgo Investigados:

1. Sesgo de Longitud: Una preferencia por respuestas más largas ($b(\tau) = \text{len}(a)$).
2. Sesgo de Autoridad: Una preferencia por respuestas que contienen marcadores de autoridad (por ejemplo, "los estudios demuestran", citas), detectada mediante un clasificador basado en LLM.

Estrategias de Consolidación:

• Consolidación Oráculo: Fusión perfecta sin pérdida de información (sirviendo como un límite superior para probar si la propagación del sesgo es inherente a la entrada).
• Consolidación por LLM: Fusión realista mediante la síntesis (summarization) por parte de un LLM.

2.2 Métricas y Descomposición

Los autores introducen $\Gamma_{\text{temporal}}$, una métrica que mide la distancia conductual (usando la distancia de Wasserstein $W_1$) entre un agente objetivo que recupera de una memoria sesgada frente a una memoria limpia.

Para comprender el mecanismo, el contagio total ($\Gamma_{\text{total}}$) se descompone en:

• $\Gamma_{\text{contenido}}$ (E1): Propagación del sesgo debido al contenido de las memorias almacenadas.
• $\Gamma_{\text{recuperación}}$ (E2): Propagación del sesgo debido al mecanismo de recuperación (por ejemplo, similitud de incrustaciones/embeddings con consultas sesgadas).
• $\Gamma_{\text{interacción}}$ (E3): Efectos sinérgicos entre el contenido y la recuperación.
• Eficacia de Mitigación de Sesgo ($E_4$): La reducción en el contagio cuando las memorias son reescritas para eliminar los marcadores de sesgo.

2.3 Fases Experimentales

1. Inyección de Sesgo: Generación de trayectorias sesgadas mediante muestreo de rechazo.
2. Construcción de Memoria: Almacenamiento y consolidación de trayectorias.
3. Ablación (Oráculo): Prueba del contagio con consolidación perfecta.
4. Descomposición de Mecanismos: Aislamiento de los efectos de contenido vs. recuperación.
5. Análisis de Dosis-Respuesta: Variación de la tasa de contaminación ($p$) de 0.2 a 1.0.

3. Resultados Clave

3.1 El Contagio Ocurre con la Consolidación Perfecta

Incluso bajo una consolidación Oráculo (donde no hay pérdida de información durante la fusión), se observa el Contagio de la Memoria.

• Sesgo de Longitud: $\Gamma_A = 13.18$ (IC 95% [9.05, 21.10]), significativamente mayor que 0 ($p < 0.01$).
• Sesgo de Autoridad: $\Gamma_A = 11.45$ (estimación exploratoria de una sola ejecución).
• Implicación: La entrada sesgada es una causa suficiente para el contagio; la consolidación perfecta no lo evita.

3.2 Efectos de la Consolidación según el Tipo de Sesgo

El impacto de la consolidación basada en LLM varía según el tipo de sesgo:

• Sesgo de Longitud: La consolidación atenúa el contagio. $\Gamma$ cae de 13.18 (Oráculo) a 2.03 (LLM), una reducción del 84%. Los autores hipotetizan que esto se debe a que la síntesis comprime características globales como el conteo total de palabras.
• Sesgo de Autoridad: La evidencia preliminar sugiere que la consolidación amplifica el contagio. $\Gamma$ aumenta de 11.45 (Oráculo) a 16.80 (LLM) en una sola ejecución. Los autores hipotetizan que la síntesis preserva las afirmaciones centrales y sus marcadores de autoridad asociados mientras elimina el contenido periférico, concentrando así las señales de sesgo por token.

3.3 Descomposición de Mecanismos

• Dominancia del Contenido: Tanto el contagio basado en el contenido ($E_1$) como el basado en la recuperación ($E_2$) están presentes, pero la contaminación por contenido es ligeramente mayor.
• Interacción: El término de interacción ($E_3$) es pequeño y no es estadísticamente distinguible de cero, lo que sugiere que los mecanismos de contenido y recuperación operan de forma mayormente independiente.
• Desafíos de Mitigación de Sesgo: Reescribir las memorias para eliminar los marcadores de sesgo es difícil. Para el sesgo de autoridad, la eficacia de mitigación ($E_4$) fue de solo 0.51, lo que indica que queda un sesgo residual sustancial, probablemente debido al entrelazamiento semántico entre los marcadores de autoridad y el contenido fáctico.

3.4 Análisis de Dosis-Respuesta

• Sin Umbral Seguro: El contagio es detectable incluso con tasas de contaminación bajas ($p = 0.2$, o 20% de memorias sesgadas).
• No Linealidad:
  • El sesgo de longitud muestra un aumento monotónico con la tasa de contaminación.
  • El sesgo de autoridad muestra un patrón de "pico y declive", alcanzando su máximo en $p=0.8$ ($\Gamma = 23.03$) y disminuyendo en $p=1.0$. Los autores especulan que esto se debe a la interferencia en la recuperación cuando la mayoría de las memorias contienen marcadores similares.

4. Significado y Reivindicaciones

El artículo afirma haber identificado una vulnerabilidad previamente desconocida en el diseño de la memoria de los agentes: la entrada sesgada es una causa suficiente para la propagación del sesgo transtemporal, independientemente de la calidad de la consolidación.

• Refutación de "La Consolidación es el Problema": Los autores argumentan que las afirmaciones que sugieren que arreglar la consolidación soluciona los problemas de memoria son incompletas. Incluso con una consolidación perfecta, las entradas sesgadas conducen a agentes sesgados.
• Asimetría Direccional: El hallazgo de que la consolidación puede atenuar un tipo de sesgo (longitud) mientras potencialmente amplifica otro (autoridad) desafía la suposición de que la consolidación es uniformemente neutral o perjudicial.
• Herramienta de Medición: El artículo proporciona herramientas formales ($\Gamma_{\text{temporal}}$) para medir la propagación del sesgo transtemporal, permitiendo la investigación futura para cuantificar y mitigar estos efectos.

Los autores concluyen que los diseñadores de sistemas de memoria deben abordar el sesgo de entrada además de la calidad de la consolidación. Señalan que sus hallazgos respecto al sesgo de autoridad son preliminares (basados en estimaciones de una sola ejecución para algunos indicadores) y que el fenómeno depende altamente del tipo de sesgo específico y el contexto de la tarea (por ejemplo, el sesgo de autoridad no se propagó en tareas sintéticas de preguntas y respuestas, pero sí en contextos centrados en hechos).