Layered Mutability: Continuity and Governance in Persistent Self-Modifying Agents

1. Planteamiento del Problema

El marco de seguridad actual para los Grandes Modelos de Lenguaje (LLM) se diseñó para sistemas que responden a un prompt y vuelven a un estado de inactividad (quiescence). Sin embargo, los agentes modernos están evolucionando hacia sistemas persistentes que combinan uso de herramientas, memoria en capas, prompting reflexivo y adaptación en tiempo de ejecución.

El problema central identificado es que la gobernanza de estos agentes no puede centrarse solo en la respuesta inmediata, sino en una política evolutiva en el tiempo. Cuando un agente puede modificar sus propias condiciones internas (memoria, narrativa, e incluso pesos), surge un riesgo de desalineación compuesta: cambios locales y razonables que se acumulan hasta crear una trayectoria de comportamiento no autorizada.

El desafío de gobernanza radica en una asimetría de observabilidad: las capas que más afectan al comportamiento (memoria profunda, adaptación de pesos) son las más difíciles de inspeccionar, mientras que las capas más visibles (descripciones de sí mismo) son las más fáciles de auditar pero menos determinantes a largo plazo.

2. Metodología y Marco Teórico: Mutabilidad en Capas

El autor propone un marco conceptual llamado "Mutabilidad en Capas" (Layered Mutability), que divide el estado interno de un agente persistente en cinco capas con diferentes tasas de cambio, reversibilidad y observabilidad:

1. Capa 1: Pre-entrenamiento: La base de capacidades y priores latentes (casi fija, baja observabilidad).
2. Capa 2: Alineación Post-entrenamiento: Ajustes como RLHF que establecen los defaults de comportamiento (baja reversibilidad, observabilidad indirecta).
3. Capa 3: Auto-narrativa: Archivos de personaje, prompts de rol y descripciones declarativas. Es altamente legible y reversible, pero en agentes auto-editables, adquiere fuerza constitucional.
4. Capa 4: Memoria: Recuperación episódica y almacenamiento persistente. Es inspeccionable en contenido, pero su influencia en la toma de decisiones futura no es totalmente transparente.
5. Capa 5: Modificación de Pesos: Ajuste fino auto-dirigido o actualizaciones de adaptadores. Altera el "intérprete" de las instrucciones, no solo las instrucciones.

Formalización Técnica:
El paper introduce métricas para cuantificar la carga de gobernanza ($g_\ell$) y el riesgo de deriva:

• Carga de Gobernanza ($g_\ell$): Depende de la tasa de mutación ($\mu$), el acoplamiento aguas abajo ($c$), la irreversibilidad ($1-r$) y la baja observabilidad ($o$).
  $$g_\ell = \frac{\mu_\ell c_\ell (1 - r_\ell)}{o_\ell + \epsilon}$$
• Deriva Latente vs. Observada: Se define la deriva total $D$ (cambio real en todas las capas) frente a la deriva observable $D_{obs}$ (cambio visible). El riesgo surge cuando $D \gg D_{obs}$.
• El Problema del Trinquete (Ratchet Problem): Si se revierte una capa superficial (ej. Capa 3), pero los efectos aguas abajo (Capa 4 o 5) ya han propagado el cambio, la reversión es ineficaz. El sistema no vuelve a su estado original.
• Ratio de Histéresis ($H_k$): Mide cuánto de la deriva original persiste tras una reversión en la capa $k$.
  $$H_k = \frac{\Delta_{res}^k}{D}$$

3. Contribuciones Clave

1. Marco de 5 Capas: Una taxonomía técnica para describir la mutabilidad, observabilidad y reversibilidad en agentes persistentes.
2. Identificación del Problema del Trinquete: Demostración teórica de que la intervención tardía es menos efectiva a medida que los cambios se propagan a capas más profundas.
3. Conexión con la Identidad Temporal: Vincula la gobernanza con la identidad del agente, argumentando que la persistencia debe evaluarse por capa y transversalmente, no solo por comportamiento superficial.
4. Experimento Preliminar: Una prueba empírica que demuestra la histéresis conductual tras revertir la identidad visible.

4. Resultados del Experimento (El Experimento del Trinquete)

Se realizó un experimento con un agente basado en gpt-4.1-mini para probar si revertir la descripción visible del agente restauraba su comportamiento base.

• Diseño:

  • Condición Control: Descripción base (cauto, incertidumbre).
  • Edición: Descripción editada (decidido, rápido, sin matices).
  • Acumulación de Memoria: El agente interactuó bajo la descripción editada, recibiendo refuerzos por velocidad y decisividad, acumulando memoria.
  • Reversión: Se restauró la descripción base, pero se mantuvo la memoria acumulada bajo el régimen editado.

• Hallazgos:

  • La condición revertida no volvió al comportamiento base.
  • Aunque la "auto-narrativa" (Capa 3) se restauró, la "identidad conductual" (influenciada por la memoria, Capa 4) permaneció sesgada hacia el régimen de acción rápida.
  • Ratio de Histéresis Estimado ($\hat{H}_3$): 0.68. Esto significa que aproximadamente el 68% del cambio de comportamiento (sesgo hacia la acción) sobrevivió a la reversión superficial.

• Interpretación: La identidad visible se restauró más rápido que la identidad operativa. Los componentes de identidad (ingredientes) estaban presentes, pero ya no operaban conjuntamente (co-instantiation) en el momento de la decisión.

5. Significado e Implicaciones

El artículo concluye que el modo de fallo más probable para los agentes auto-modificantes no es una desalineación abrupta, sino una deriva de identidad bajo observabilidad desigual.

• Cierre Autopoético: El riesgo aumenta cuando el agente genera sus propios datos de entrenamiento (feedback curado por sí mismo), creando un bucle de auto-confirmación que se desconecta de la corrección externa.
• Gobernanza Empresarial: Las atestaciones de cumplimiento en el momento del despliegue son insuficientes si el agente puede cambiar silenciosamente su sustrato de decisión. Se requiere evidencia de continuidad continua.
• Principios de Diseño:
  1. Alinear la profundidad de gobernanza con la profundidad de mutación: Si el agente muta su memoria, la auditoría debe ser a nivel de memoria, no solo de prompts.
  2. Monitoreo de Trayectoria: Pasar de revisiones de eventos aislados al seguimiento de desviaciones acumulativas.
  3. Ensayos Conductuales Externos: Cuando la inspección interna falla, se deben usar pruebas de comportamiento longitudinal y comparativas entre agentes como "checksums" de continuidad.

Conclusión Final: La auto-modificación sin una observabilidad proporcional es peligrosa. La seguridad futura no depende solo de alinear el modelo inicial, sino de gestionar la continuidad de la relación entre la auto-descripción visible, la memoria retenida, el sustrato aprendido y la acción en el mundo real.