Resumo Técnico: Grafos de Experiência: A Fundação de Dados para Agentes de Autoaperfeiçoamento

Declaração do Problema

O artigo identifica uma lacuna arquitetônica fundamental nos atuais sistemas de agentes de autoaperfeiçoamento. Enquanto tarefas agênticas de longo horizonte (ex: geração de código, descoberta científica, design de hardware) dependem de processos de busca iterativos que geram dados estruturados e ricos — denominados grafos de experiência — os frameworks existentes tratam esses dados como estado descartável.

Os sistemas atuais serializam árvores de busca em checkpoints JSON efêmeros ou logs baseados em arquivos. Essa abordagem leva a várias falhas críticas:

1. Fragilidade: O progresso é perdido após falhas de processo; a recuperação exige a raspagem de logs frágil e posterior ao evento.
2. Isolamento: Estatísticas de busca e linhagem causal não podem ser consultadas entre usuários ou sessões, impedindo o reuso sistemático de descobertas anteriores.
3. Ineficiência de Treinamento: A extração de dados de treinamento (ex: para SFT, DPO, GRPO) exige raspagem pós-hoc frágil em vez de consulta direta, perdendo a proveniência e a integridade estrutural.
4. Modelos de Memória Incompletos: Agentes de produção convergiram para três níveis de memória (fatos declarativos, habilidades procedimentais, logs episódicos), mas estes capturam o que um agente sabe, não o grafo de experiência portador de recompensa do que a busca tentou.

Os autores argumentam que a comunidade de bancos de dados historicamente avançou ao reconhecer novas cargas de trabalho (ex: transações, streaming) que demandam novas arquiteturas. Eles postulam que a "busca sobre grafos de experiência" em tarefas agênticas constitui tal nova carga de trabalho, exigindo uma mudança de logs efêmeros para uma fundação de banco de dados governada.

Metodologia: A Arquitetura Trellis

Os autores propõem o Trellis, uma fundação de dados que trata o grafo de experiência como um estado de banco de dados governado e de primeira classe. A arquitetura desacopla o computo do agente de seu estado, permitindo agentes stateless (sem estado) e serverless.

Componentes Principais

1. Arquitetura de Sistema de Dois Ciclos (Two-Loop):

   • Ciclo Interno (Inner Loop): Uma sessão de agente autônomo (ex: Claude Code, Codex) impulsionada por "habilidades" específicas. Ela consome uma tarefa, gera artefatos, executa ferramentas em um sandbox, avalia resultados e persiste a saída estruturada (logs, métricas, pontuações de aptidão) como um nó no grafo. O processo do agente em si não detém estado.
   • Ciclo Externo (Outer Loop): Um plano de controle que orquestra estratégias de busca (One-Shot, Linear, Greedy, MCTS, Evolucionária). Ele seleciona nós da fronteira do grafo, monta o contexto (ancestrais, irmãos, falhas anteriores) e despacha o ciclo interno. A estratégia é uma política sobre o substrato de dados, não um algoritmo codificado rigidamente.

2. Fundação de Dados (Trellis):

   • Modelo Lógico: Um esquema unificado e agnóstico a algoritmos composto por quatro tabelas: Tasks (especificações), Sessions (contexto de busca), Nodes (tentativas individuais com links de parentesco, artefatos, recompensas e metadados específicos do algoritmo como pontuações UCB) e Prompt_History. Grandes artefatos são armazenados em armazenamento de objetos, vinculados por referência.
   • Arquitetura Física: Desagrega motores de consulta/execução stateless (usando Axiom sobre Velox) de armazenamento durável. Suporta uma camada de consulta unificada que compõe SQL (relacional), Cypher (travessia de grafos) e recuperação vetorial em um único plano físico.
   • Principais Características:
     • Recuperação de Grafo Semeadas por Vetor: Combina busca de similaridade vetorial (para descrições de tarefas) com travessia de grafos para recuperar subárvores de alta aptidão de sessões anteriores, permitindo o reuso de conhecimento entre sessões.
     • Estado de Múltiplas Versões e Viagem no Tempo: Utiliza um log de mudanças chaveado por números de etapas lógicas (ordem de avaliação) em vez de tempo de relógio. Isso permite a reconstrução "AS-OF" do estado do agente em qualquer etapa passada, crucial para a fidelidade dos dados de treinamento (evitando vazamento de dados de estatísticas de busca futuras).
     • Governança: Impõe políticas de acesso em traces brutos, habilidades destiladas e visões de treinamento derivadas.

Contribuições Principais

1. Definição de Sistemas Agênticos de Autoaperfeiçoamento: O artigo formaliza esses sistemas como uma arquitetura de dois ciclos (execução de habilidade interna, orquestração de busca externa) sobre um substrato de dados persistente. Estende isso de busca de agente único para "sociedades científicas" multi-agente onde agentes compartilham hipóteses e críticas.
2. Unificação de Memória e Grafo de Experiência: Demonstra que os níveis de memória existentes (declarativa, procedural, episódica) são incompletos sem o grafo de experiência portador de recompensa. O Trellis os unifica via uma camada de consulta que suporta travessia de grafos, similaridade vetorial e filtros estruturados.
3. Identificação de Novas Oportunidades de Pesquisa em Banco de Dados: O artigo delineia padrões de acesso e desafios específicos que exigem inovação em banco de dados:
   • Planejamento de Consulta Multimodal: Otimizar planos que fundem busca vetorial, joins relacionais e travessia de grafos de comprimento variável.
   • Consistência para Busca em Árvore Concorrente: Definir níveis de isolamento para retropropagação de MCTS (exigindo durabilidade para inserção de nós, mas tolerando consistência eventual para estatísticas).
   • Design Físico: Criar layouts de armazenamento otimizados para cargas de trabalho mistas (appends, atualizações de caminho, travessia multi-salto, similaridade vetorial).
   • Manutenção de Visão Governada: Gerenciar a invalidação de visões de treinamento quando nós de origem são retraídos.
   • Memória Bi-temporal: Separar o tempo válido (quando um fato era verdadeiro) do tempo de transação.

Resultados: Estudo de Caso KernelEvolve

Os autores fundamentam seu design no KernelEvolve, um otimizador de kernel de acelerador de produção na Meta. Eles relatam medições preliminares comparando um estado nativo de banco de dados (Trellis) contra uma arquitetura anterior em memória:

• Recuperação e Statelessness: Na nova arquitetura, sessões que falham retomam automaticamente da última etapa commitada sem warm-up ou desserialização de checkpoint. Nenhum progresso é perdido devido a falhas de infraestrutura.
• Reuso Entre Sessões: Ao injetar tarefas e nós semanticamente similares anteriores (via recuperação semeada por vetor) no contexto de busca:
  • Velocidade de Convergência: O sistema atingiu um limiar de aceleração de 1.2× em ~5 etapas com memória, comparado a 51 etapas para um início a frio (uma aceleração de 10×).
  • Eficiência de Tokens: A taxa de nós "com erro" (que disparam loops caros de debug-retry) caiu de 55% (sem memória) para 21% (com taxa de injeção de memória $p=0.5$). Isso resultou em uma redução de 52% no custo de tokens por solução válida.
  • Tradeoff Exploração-Ancoragem: Os autores observaram que taxas mais altas de injeção de memória ($p=0.5$) estabilizaram a busca e reduziram erros, mas suprimiram a diversidade, levando a menos soluções "melhores da classe" em comparação com um início a frio. Uma configuração equilibrada ($p=0.1$) ofereceu o melhor compromisso.
• Extração de Dados de Treinamento: Dados de treinamento (trajetórias SFT, pares DPO, grupos GRPO) são extraídos como visões materializadas diretamente do armazenamento operacional, eliminando a necessidade de pipelines de raspagem separados e frágeis.

Significância e Alegações

O artigo afirma que o Trellis transforma a busca em tempo de inferência de "computação descartável" em um "ativo institucional durável".

• Mudança Arquitetônica: Ao externalizar o grafo de experiência para um banco de dados, os agentes tornam-se unidades de computo stateless. Isso permite escalonamento horizontal, recuperação de falhas e um flywheel de treinamento de ciclo fechado como subprodutos arquitetônicos, em vez de recursos projetados.
• Inteligência Coletiva: A arquitetura permite a transição de agentes individuais buscando árvores privadas para "sociedades científicas" onde agentes compartilham conhecimento estruturado, criticam resultados e compõem descobertas através de sessões e usuários.
• Impacto na Comunidade de Banco de Dados: Os autores afirmam que "grafos de experiência podem tornar os agentes cumulativos", assim como os logs tornaram os bancos de dados confiáveis. Eles posicionam a memória agêntica como a próxima grande carga de trabalho que impulsionará o design de bancos de dados, necessitando de novas interfaces para transações, warehousing e gerenciamento de grafos adaptados para o autoaperfeiçoamento recursivo.

O artigo conclui que, embora modelos maiores e janelas de contexto sejam insuficientes, uma fundação de dados governada onde o grafo de experiência vive como um estado consultável, compartilhado e pronto para treinamento é essencial para a próxima geração de agentes de autoaperfeiçoamento.