Resumen Técnico: Grafos de Experiencia: El Fundamento de Datos para Agentes de Automejora

Planteamiento del Problema

El artículo identifica una brecha arquitectónica fundamental en los sistemas actuales de agentes de automejora. Mientras que las tareas agénticas de largo horizonte (por ejemplo, generación de código, descubrimiento científico, diseño de hardware) dependen de procesos de búsqueda iterativos que generan datos ricos y estructurados —denominados grafos de experiencia—, los marcos de trabajo existentes tratan estos datos como un estado desechable.

Los sistemas actuales serializan los árboles de búsqueda en puntos de control (checkpoints) JSON efímeros o registros basados en archivos. Este enfoque conduce a varios fallos críticos:

1. Fragilidad: El progreso se pierde tras el fallo de un proceso; la recuperación requiere un raspado (scraping) de registros frágil y posterior al hecho.
2. Aislamiento: Las estadísticas de búsqueda y el linaje causal no pueden consultarse entre usuarios o sesiones, lo que impide la reutilización sistemática de descubrimientos previos.
3. Ineficiencia de Entrenamiento: La extracción de datos de entrenamiento (por ejemplo, para SFT, DPO, GRPO) requiere un raspado post-hoc frágil en lugar de consultas directas, perdiendo la procedencia y la integridad estructural.
4. Modelos de Memoria Incompletos: Los agentes de producción han convergido en tres niveles de memoria (hechos declarativos, habilidades procedimentales, registros episódicos), pero estos capturan lo que un agente sabe, no el grafo de experiencia portador de recompensa de lo que la búsqueda intentó.

Los autores argumentan que la comunidad de bases de datos ha avanzado históricamente reconociendo nuevas cargas de trabajo (por ejemplo, transacciones, streaming) que demandan nuevas arquitecturas. Postulan que la "búsqueda sobre grafos de experiencia" en tareas agénticas constituye tal nueva carga de trabajo, requiriendo un cambio de registros efímeros a un fundamento de base de datos gobernado.

Metodología: La Arquitectura Trellis

Los autores proponen Trellis, un fundamento de datos que trata el grafo de experiencia como un estado de base de datos gobernado y de primera clase. La arquitectura desacopla el cómputo del agente de su estado, permitiendo agentes sin estado (stateless) y sin servidor (serverless).

Componentes Principales

1. Arquitectura de Dos Bucles (Two-Loop System):

   • Bucle Interno (Inner Loop): Una sesión de agente autónomo (por ejemplo, Claude Code, Codex) impulsada por "habilidades" específicas. Consume una tarea, genera artefactos, ejecuta herramientas en un sandbox, evalúa resultados y persiste la salida estructurada (registros, métricas, puntuaciones de aptitud) como un nodo en el grafo. El proceso del agente en sí mismo no posee estado.
   • Bucle Externo (Outer Loop): Un plano de control que orquesta estrategias de búsqueda (One-Shot, Lineal, Greedy, MCTS, Evolutiva). Selecciona nodos de la frontera del grafo, ensambla el contexto (ancestros, hermanos, fallos previos) y despacha el bucle interno. La estrategia es una política sobre el sustrato de datos, no un algoritmo codificado de forma rígida.

2. Fundamento de Datos (Trellis):

   • Modelo Lógico: Un esquema unificado y agnóstico al algoritmo compuesto por cuatro tablas: Tasks (especificaciones), Sessions (contexto de búsqueda), Nodes (intentos individuales con enlaces de parentesco, artefactos, recompensas y metadatos específicos del algoritmo como puntuaciones UCB) y Prompt_History. Los artefactos grandes se almacenan en almacenamiento de objetos, vinculados por referencia.
   • Arquitectura Física: Desagrega motores de consulta/ejecución sin estado (usando Axiom sobre Velox) del almacenamiento duradero. Soporta una capa de consulta unificada que compone SQL (relacional), Cypher (recorrido de grafos) y recuperación vectorial en un único plan físico.
   • Características Clave:
     • Recuperación de Grafos Sembrada por Vectores: Combina la búsqueda de similitud vectorial (para descripciones de tareas) con el recorrido de grafos para recuperar subárboles de alta aptitud de sesiones previas, permitiendo la reutilización del conocimiento entre sesiones.
     • Estado de Múltiples Versiones y Viaje en el Tiempo: Utiliza un registro de cambios clave por números de paso lógico (orden de evaluación) en lugar de tiempo de reloj de pared. Esto permite la reconstrucción "AS-OF" del estado del agente en cualquier paso pasado, crucial para la fidelidad de los datos de entrenamiento (evitando la fuga de datos de estadísticas de búsqueda futuras).
     • Gobernanza: Aplica políticas de acceso a través de trazas puras, habilidades destiladas y vistas de entrenamiento derivadas.

Contribuciones Clave

1. Definición de Sistemas Agénticos de Automejora: El artículo formaliza estos sistemas como una arquitectura de dos bucles (ejecución de habilidad interna, orquestación de búsqueda externa) sobre un sustrato de datos persistente. Extiende esto de la búsqueda de un solo agente a "sociedades científicas" multi-agente donde los agentes comparten hipótesis y críticas.
2. Unificación de Memoria y Grafo de Experiencia: Demuestra que los niveles de memoria existentes (declarativa, procedimental, episódica) están incompletos sin el grafo de experiencia portador de recompensa. Trellis los unifica mediante una capa de consulta que soporta el recorrido de grafos, similitud vectorial y filtros estructurados.
3. Identificación de Nuevas Oportunidades de Investigación en Bases de Datos: El artículo describe patrones de acceso y desafíos específicos que requieren innovación en bases de datos:
   • Planificación de Consultas Multimodales: Optimizar planes que fusionen búsqueda vectorial, uniones relacionales y recorrido de grafos de longitud variable.
   • Consistencia para Búsqueda de Árbol Concurrente: Definir niveles de aislamiento para la retropropagación de MCTS (requiriendo durabilidad para la inserción de nodos pero tolerando consistencia eventual para estadísticas).
   • Diseño Físico: Crear diseños de almacenamiento optimizados para cargas de trabajo mixtas (append, actualizaciones de ruta, recorrido de múltiples saltos, similitud vectorial).
   • Mantenimiento de Vistas Gobernadas: Gestionar la invalidación de vistas de entrenamiento cuando los nodos de origen son retractados.
   • Memoria Bi-temporal: Separar el tiempo válido (cuándo fue cierta una información) del tiempo de transacción.

Resultados: Caso de Estudio KernelEvolve

Los autores fundamentan su diseño en KernelEvolve, un optimizador de kernels de aceleradores en producción en Meta. Reportan mediciones preliminares comparando un estado nativo de base de datos (Trellis) frente a una arquitectura previa en memoria:

• Recuperación y Sin Estado (Statelessness): En la nueva arquitectura, las sesiones con fallos se reanudan automáticamente desde el último nodo confirmado sin necesidad de calentamiento o deserialización de checkpoints. No se pierde el progreso debido a fallos de infraestructura.
• Reutilización entre Sesiones: Al inyectar tareas y nodos semánticamente similares previos (vía recuperación sembrada por vectores) en el contexto de búsqueda:
  • Velocidad de Convergencia: El sistema alcanzó un umbral de aceleración de 1.2× en ~5 pasos con memoria, comparado con 51 pasos para un inicio en frío (una aceleración de 10×).
  • Eficiencia de Tokens: La tasa de nodos "con errores" (que disparan bucles costosos de depuración y reintento) cayó del 55% (sin memoria) al 21% (con inyección de memoria con tasa $p=0.5$). Esto resultó en una reducción del 52% en el coste de tokens por solución válida.
  • Compromiso Exploración-Anclaje: Los autores observaron que tasas de inyección de memoria más altas ($p=0.5$) estabilizaron la búsqueda y redujeron los errores, pero suprimieron la diversidad, llevando a menos soluciones de "clase mundial" en comparación con un inicio en frío. Un ajuste equilibrado ($p=0.1$) ofreció el mejor compromiso.
• Extracción de Datos de Entrenamiento: Los datos de entrenamiento (trayectorias SFT, pares DPO, grupos GRPO) se extraen como vistas materializadas directamente del almacén operativo, eliminando la necesidad de canales de raspado separados y frágiles.

Significado y Reivindicaciones

El artículo afirma que Trellis transforma la búsqueda en tiempo de inferencia de "computación desechable" en un "activo institucional duradero".

• Cambio Arquitectónico: Al externalizar el grafo de experiencia a una base de datos, los agentes se convierten en unidades de cómputo sin estado. Esto permite el escalado horizontal, la recuperación ante fallos y un volante de entrenamiento de bucle cerrado como subproductos arquitectónicos en lugar de características diseñadas artificialmente.
• Inteligencia Colectiva: La arquitectura permite la transición de agentes individuales buscando en árboles privados a "sociedades científicas" donde los agentes comparten conocimiento estructurado, critican resultados y acumulan descubrimientos a través de sesiones y usuarios.
• Impacto en la Comunidad de Bases de Datos: Los autores aseveran que "los grafos de experiencia pueden hacer que los agentes sean acumulativos", tal como los logs hicieron que las bases de datos fueran fiables. Posicionan la memoria agéntica como la próxima gran carga de trabajo que impulsará el diseño de bases de datos, necesitando nuevas interfaces para transacciones, almacenamiento y gestión de grafos adaptadas a la automejora recursiva.

El artículo concluye que, si bien los modelos más grandes y las ventanas de contexto son insuficientes, un fundamento de datos gobernado donde el grafo de experiencia viva como un estado consultable, compartido y listo para el entrenamiento es esencial para la próxima generación de agentes de automejora.