Knowledge-Based Zero-Replay Debugging of Multi-Agent LLM Traces

Resumo Técnico: Depuração de Rastro de Multi-Agentes Baseada em Conhecimento com Zero-Replay

Declaração do Problema
A operação confiável de sistemas de modelos de linguagem de grande escala (LLM) multi-agentes requer a depuração de rastros de execução longos que contêm mensagens, rotas, escritas de memória e chamadas de ferramentas. A abordagem padrão, o replay contrafactual (rebobinar, editar e reexecutar trajetórias para medir efeitos de eventos), é confiável, mas computacionalmente proibitiva em escala. Seu custo cresce linearmente com o número de eventos candidatos e famílias de intervenção ($O(T \cdot |F| \cdot N)$), tornando o replay exaustivo inviável para sistemas de produção. Os autores formulam isso não como um problema de design de um oráculo, mas como um problema de suporte à decisão baseado em conhecimento: dado um oráculo de replay contrafactual fixo como referência de verdade fundamental (ground-truth), como se pode prever quais eventos são causalmente decisivos sem incorrer no custo de replay?

Metodologia
O método proposto, BranchPoint-Latent, opera em duas camadas distintas: um oráculo determinístico usado apenas para treinamento offline e um preditor de zero-replay usado na implantação.

1. Representação de Conhecimento do Rastro:
   Os rastros brutos de multi-agentes são compilados em um Grafo de Conhecimento de Eventos estruturado ($G = (V, E, A)$).

   • Nós ($V$): Eventos do rastro (mensagens, rotas, escritas de memória, chamadas de ferramentas, decisões).
   • Arestas ($E$): Roteamento e adjacência causal.
   • Atributos ($A$): Campos tipados incluindo posição no grafo de roteamento, persistência de memória/recuperação, metadados de chamada de ferramenta, proxies de incerteza e payloads latentes/ocultos opcionais.
     Esta representação garante que toda a evidência usada para a tomada de decisão seja explícita e auditável.

2. Predição de Zero-Replay:
   A contribuição central é um preditor que estima o veredito de "alto efeito" do oráculo sem chamar o oráculo.

   • Extração de Características: 13 características são extraídas do grafo de conhecimento em milissegundos em uma CPU. Estas incluem centralidade de grafo, gargalos de roteamento, discordância de agentes, persistência de memória/RAG, novidade, incerteza e transições latentes.
   • Arquitetura do Preditor: Os autores comparam um pontuador linear (baseline interpretável) contra um Modelo de Gradiente de Boosting (GBM) de Aprendizado de Ranking (Learning-to-Rank). O GBM utiliza um objetivo de aprendizado de ranking para prever o ranking dentro do rastro do efeito do oráculo, empregando pesos balanceados por família para lidar com mudanças de regime.
   • Suporte à Decisão: O preditor gera uma agenda de replay ranqueada e com limite de orçamento (Top-K eventos). Ele é calibrado usando métricas como Spearman $\rho$, AUPRC e Branch Recall@K para apoiar a triagem e alocação de orçamento.

Principais Contribuições

1. Predição de Efeito Contrafactual de Zero-Replay: Uma tarefa distinta posicionada na fronteira custo-precisão, prevendo resultados do oráculo sem reexecução ou julgamento por LLM.
2. Representação de Grafo de Conhecimento de Eventos: Um pipeline estruturado que converte logs brutos em um grafo que codifica roteamento, memória, uso de ferramentas e evidência latente, permitindo o suporte à decisão sem processamento de texto bruto.
3. Ganhos de Desempenho: Um único GBM de aprendizado de ranking sobre 13 características eleva o Branch Recall@5 de 0,73 para 0,93–0,95 em famílias não vistas e o NDCG@5 de 0,83 para 0,92, tudo com custo zero de replay do oráculo. Isso supera os pontuadores lineares anteriores e heurísticas baseadas em centralidade.
4. Análise de Regime: O artigo caracteriza quando a centralidade de grafo barata é suficiente (rastros dominados por grafos como GSM8K) versus quando evidências aprendidas são necessárias (rastros pesados em ferramentas/latentes como MBPP e ARC). Demonstra que um único preditor não linear pode absorver esses regimes melhor do que tentar rotear entre seletores baseados em estatísticas estruturais.
5. Validação Externa: A validação inclui um estudo de caso de agente vivo (rastros autorados por modelos) e uma comparação direta no benchmark Who&When, onde o modelo livre de LLM iguala ou supera LLMs ajustados por RL e juízes de LLM de fronteira em precisão de localização ao nível de passo, com custos de inferência significativamente menores.

Resultados

• Fronteira Custo-Precisão: Com custo zero de replay, o preditor aprendido atinge um Branch Recall@5 de 0,73 (linear) e 0,93 (GBM), recuperando 80% do recall do oráculo de replay ativo (0,91), que requer cerca de 11,8 chamadas por rastro.
• Generalização: O modelo generaliza através de 37 famílias de rastros (163.815 eventos). Em famílias não vistas, melhora o Recall@5 de 0,00 para 1,00 em rastros de ferramentas MBPP e de 0,23 para 0,98 em GSM8K.
• Benchmark Who&When: No dataset Who&When, o GBM baseado em CPU e livre de LLM atinge Acc@1 = 0,37 em divisões geradas por algoritmos (igualando um LLM 8B ajustado por RL) e 0,24 em divisões manuais (superando o LLM 8B e juízes de LLM de fronteira), com custos de inferência reduzidos de horas de GPU para segundos.
• Limitações de Regime: O artigo observa que, embora a centralidade seja competitiva em regimes dominados por grafos, nenhum seletor único domina todas as famílias. Crucialmente, tentativas de rotear automaticamente os rastros para o "melhor" seletor (centralidade vs. aprendido) baseadas em estatísticas estruturais falharam em superar o padrão de sempre-aprendido, pois falsos positivos apagaram os ganhos.

Significância e Alegações
O artigo posiciona explicitamente sua contribuição como um sistema de suporte à decisão calibrado e auditável, em vez de um novo oráculo ou uma reivindicação de dominância universal.

• Escopo: Não afirma controlar estados ocultos (relata sensibilidade, não controle) nem afirma ser uma solução universal (a centralidade permanece competitiva em regimes específicos).
• Proposta de Valor: O valor principal é permitir a depuração de baixo custo, onde o replay exaustivo é inviável. Ao prever o veredito do oráculo, o sistema permite que engenheiros foquem os recursos de replay nos eventos mais prováveis de serem decisivos.
• Reprodutibilidade: Os autores fornecem um conjunto de regeneração de comando único, scripts de verificação de alegações e limites de alegação conservadores, garantindo que os resultados sejam auditáveis e reproduzíveis.

O trabalho conclui que, embora o replay ativo domine estritamente em orçamentos altos, o preditor de zero-replay proposto é o padrão robusto para o regime de baixo orçamento, ofereando uma redução significativa no custo computacional enquanto mantém alta precisão de localização.