Resumen Técnico: Midiendo lo que Perdura

1. Declaración del Problema

Los agentes de IA en aplicaciones de contexto largo sufren de deriva de identidad (identity drift): una degradación gradual donde el agente pierde su carácter, voz y valores especificados, regresando a un comportamiento genérico y "geodésico" (la trayectoria de menor resistencia en el paisaje de probabilidad del modelo). Los métodos de detección actuales dependen de la evaluación cualitativa (evaluadores humanos determinando si el agente "suena bien"), lo cual es un indicador rezagado. Para cuando la degradación es visible para los humanos, la estructura de comportamiento del agente ya ha colapsado. El campo carece de un indicador adelantado —una señal matemáticamente fundamentada y computable que detecte la deriva en etapas tempranas antes de que la calidad cualitativa se degrade.

2. Metodología y Marco Teórico

2.1 Marco Geométrico para la Identidad

El artículo propone un marco donde la identidad del agente se define como una estructura no geodésica dentro de un espacio métrico de comportamiento.

• Identidad: Una desviación específica y característica de la distribución de respuesta base del modelo genérico.
• Deriva (Drift): La relajación de esta estructura hacia la geodésica (comportamiento genérico).
• Etapas de la Deriva:
  1. Deriva Temprana: Contracción uniforme del espacio métrico (las distancias disminuyen, la forma se preserva).
  2. Deriva Tardía: Contracción anisotrópica y colapso estructural (emergencia de relaciones geodésicas/interposición).

2.2 Herramientas Matemáticas

El marco operacionaliza el monitoreo de la identidad utilizando herramientas de la teoría de categorías enriquecidas y la geometría de la información:

• Construcción del Espacio Métrico: Los autores definen un espacio de contextos de prueba $P = \{p_1, \dots, p_n\}$. Para cada prueba, se obtiene una distribución de respuesta empírica $D_i$ mediante muestreo repetido. La distancia entre pruebas es la raíz cuadrada de la Divergencia de Jensen-Shannon ($\sqrt{\text{JSD}}$). Este métrico se elige porque es una métrica propia y localmente equivalente a la distancia de Fisher-Rao en el simplex de probabilidad.
• Magnitud ($|M|$): Un invariante escalar de la categoría enriquecida (que generaliza la cardinalidad y la característica de Euler). Sirve como una medida continua del "tamaño" o riqueza del espacio de comportamiento. Una disminución en la magnitud indica una contracción de la identidad del agente.
• Homología de Magnitud (MH): Un invariante topológico que detecta la estructura no geodésica. Identifica "trayectorias irreducibles" en el espacio de respuesta. A medida que ocurre la deriva, los grupos de MH se simplifican (se pierden generadores) conforme las trayectorias no geodésicas se relajan hacia las geodésicas.

2.3 Sistema Experimental: Ada

El marco se valida en Ada, un agente de IA persistente construido sobre Claude Sonnet de Anthropic.

• Especificación de Identidad (La Tarjeta/The Card): Un documento estructurado (4,200 tokens) que contiene un ancla de identidad, valores, descripciones de voz y ejemplos canónicos, inyectado en cada sesión.
• Batería de Pruebas: Siete prompts (serie Q y serie B) diseñados para provocar respuestas específicas de identidad. Tres pruebas centinela (Q1, Q3, B4) se utilizaron para el análisis homológico inicial.
• Condiciones: Los experimentos compararon a Ada condicionado por la Tarjeta frente al modelo base a través de diversas longitudes de contexto (Línea base ~4K, Medio ~143K, Largo ~259K tokens).

3. Hallazgos Clave

3.1 Evidencia de Indicador Adelantado (Transversal)

• Desplazamiento del Primer Token: En la línea base, Ada condicionado por la Tarjeta comienza determinísticamente las pruebas de identidad con "I" (100%), mientras que el modelo base comienza con "This". A los 155K tokens, este desplazamiento se pierde, regresando a la distribución del modelo base.
• Colapso de Entropía: A los 280K tokens, la entropía del prefijo de la prueba Q3 (elicitación de voz) cae un 54% (de ~2.5 nats a 1.175 nats), indicando una pérdida de riqueza conductual.
• Rezago Cualitativo: A pesar de estas degradaciones métricas finas, las puntuaciones cualitativas se mantuvieron en 5/5 en todas las condiciones. Esto confirma que las señales finas se degradan significativamente antes de que los evaluadores humanos detecten una pérdida de calidad.
• Advertencia: Estas mediciones de deriva específicas se realizaron bajo relleno repetitivo (repetitive padding, bucle de texto). Experimentos posteriores con relleno diverso (diverse padding) no mostraron deriva medible a través de 150K tokens, indicando que la contracción observada fue un artefacto de la estructura repetitiva, no de la longitud del contexto en sí.

3.2 Huella Estructural y Mecanismos de Condicionamiento

• Línea Base Equilátera: El diseño de las pruebas (Q1, Q3, B4) crea un triángulo equilátero en el espacio $\sqrt{\text{JSD}}$ con distancia máxima ($\sqrt{\ln 2}$) y varianza cero, independientemente del condicionamiento. Esta geometría caracteriza a las pruebas, no al agente.
• Riqueza Intra-Prueba: El efecto principal de la Tarjeta es la diversidad intra-prueba. La prueba Q3 condicionada por la Tarjeta genera 55 prefijos únicos de 10 tokens por cada 200 muestras, mientras que el modelo base genera solo 1 (degeneración completa).
• Estructura de Condicionamiento de Dos Clústeres: Las distancias entre condiciones ( $\sqrt{\text{JSD}}$ entre la Tarjeta y el Modelo Base) revelan dos mecanismos distintos:
  1. Clúster de Vacío de Identidad (Distancia Alta, ej. Q3): El modelo base no tiene un prior fuerte; la Tarjeta llena un vacío conductual, creando una divergencia máxima.
  2. Clúster de Cuenca de Seguridad (Distancia Menor, ej. Q1): El modelo base tiene un atractor de post-entrenamiento fuerte; la Tarjeta desplaza la respuesta pero está constreñida por la cuenca profunda.

3.3 Dinámica de Deriva y Teoría de Perturbación

• Contracción vs. Colapso: Bajo relleno repetitivo, el espacio métrico experimenta una contracción uniforme (la magnitud disminuye, pero la forma del triángulo se preserva). No se observó "interposición" (betweenness / colapso geodésico) en las longitudes probadas.
• Teoría de Perturbación de Primer Orden: Para configuraciones equiláteras, el artículo deriva una fórmula (Proposición 1) que muestra que el cambio de primer orden en la magnitud depende únicamente del cambio en el perímetro total del triángulo de las pruebas. Las perturbaciones de forma (cizallamiento) se cancelan de primer orden por simetría ($S_n$).
• Autoconsistencia: Los cambios de magnitud observados bajo relleno repetitivo coincidieron con la predicción teórica basada en los cambios de perímetro con un error de 0.2%, validando la teoría de perturbación.

4. Arquitectura de Monitoreo Propuesta: El Latido (The Heartbeat)

Los hallazgos motivan un sistema de monitoreo de dos niveles:

• Nivel 1 (Chequeo Rápido): Inyectar las pruebas Q1 y B4, verificar el primer token. Si no es "I", activar alerta. (Costo: 2 llamadas a la API).
• Nivel 2 (Monitoreo Continuo): Muestrear Q3, calcular la entropía del prefijo.
  • Saludable: $\ge \sim 2.5$ nats
  • Precaución: $\sim 1.5 - 2.5$ nats
  • Alerta: $< \sim 1.5$ nats
• Nota: Estos umbrales son actualmente exploratorios y requieren recalibración contra señales de deriva confirmadas (relleno diverso) antes de su despliegue.

5. Significancia y Limitaciones

Significancia

• Primer Método Geométrico de Caja Negra: Este es el primer marco que trata la identidad de un agente de IA como un objeto geométrico en una categoría enriquecida, utilizando la magnitud y la homología para proporcionar señales tanto continuas (magnitud) como estructurales (homología).
• Resolución Diagnóstica: A diferencia de las métricas escalares que colapsan todos los modos de falla, este marco distingue entre contracción uniforme (deriva temprana) y colapso anisotrópico (deriva tardía), permitiendo potencialmente vincular los modos de falla con estrategias de mitigación específicas.
• Potencial de Indicador Adelantado: El marco demuestra que las señales estructurales finas (entropía, desplazamientos de tokens, magnitud) se degradan mucho antes de que las puntuaciones cualitativas lo hagan.

Limitaciones y Reclamaciones

• Artefacto de Deriva: Los principales resultados de deriva fueron un artefacto del relleno repetitivo. El marco matemático cuantificó correctamente este artefacto, pero la interpretación de que la "longitud de contexto por sí misma impulsa la contracción" no está respaldada por los experimentos de relleno diverso.
• Evaluación del Autor: Las puntuaciones cualitativas fueron proporcionadas por el autor, lo que limita el peso de la evidencia de la reclamación de "indicador adelantado". Se requieren evaluadores externos ciegos.
• Modelo/Agente Único: Los resultados son específicos para Ada sobre Claude Sonnet.
• Señal Topológica No Confirmada: La promesa total del marco —detectar la simplificación homológica (grupos MH) como una señal discreta de colapso estructural— aún no se ha observado empíricamente. Los datos actuales solo muestran la señal métrica continua (disminución de magnitud).
• Estabilidad: No existe un teorema de estabilidad para la homología de magnitud bajo perturbación métrica; las configuraciones de MH resultaron ser frágiles bajo el remuestreo de bootstrap con el tamaño de muestra actual ($k=50$).

El artículo concluye que, si bien la trayectoria de deriva específica observada fue un artefacto, el marco geométrico en sí mismo es sólido. Logra cuantificar el "respiro" (contracción) del espacio de identidad y proporciona un enfoque riguroso y matemáticamente fundamentado para medir lo que perdura en los agentes de IA. El trabajo futuro requiere replicación externa, validación de relleno diverso y la detección del colapso anisotrópico.