Resumo Técnico: Causal Agent Replay (CAR)

Declaração do Problema

Quando um agente de LLM falha — seja emitindo um reembolso incorreto, chamando a ferramenta errada ou vazando dados — as ferramentas existentes de observabilidade e avaliação podem apenas descrever o que aconteceu ou determinar se o resultado foi uma aprovação ou falha. Elas falham em identificar qual etapa específica causou a falha.

As heurísticas atuais para atribuição são fundamentalmente falhas:

1. Confusão Mecânica vs. Decisional: A etapa que executa uma ação prejudicial (ex: chamar issue_refund) é frequentemente apenas a consequência mecânica de uma decisão tomada em uma etapa anterior. Culpar a etapa de execução é um erro de categoria.
2. Juízes de LLM Não Confiáveis: Usar um LLM para julgar a transcrição é correlacional em vez de causal. No benchmark "Who&When", a precisão de atribuição ao nível de etapa do estado da arte para juízes de LLM é de aproximadamente 14%.

O desafio central é que agentes de LLM operam via políticas estocásticas. Um simples replay não revela causalidade porque o resultado é o fruto de uma trajetória complexa de decisões e observações.

Metodologia: Causal Agent Replay (CAR)

O CAR aborda isso modelando uma execução de agente como um Modelo Causal Estrutural (SCM) e determinando a causalidade através de intervenção em vez de correlação.

1. Formalização

Uma trajetória de agente $\tau$ é modelada como uma sequência de estados, ações, observações e um resultado:
$$\tau = [s_0, (a_1, o_1), (a_2, o_2), \dots, (a_n, o_n), y]$$
Onde $s_k$ é o estado, $a_k \sim \pi(\cdot | s_k)$ é a ação extraída da política estocástica, $o_k$ é o resultado da ferramenta e $y$ é o escore do resultado.

2. Álgebra de Intervenção

O CAR implementa uma operação do(·) em etapas específicas, forçando o agente a redecidir ações subsequentes sob a mesma política estocástica. Cinco operações são definidas:

• do_resample: Redesenha a ação $a_k$ a partir da política inalterada (a intervenção nula). Isso mede a sensibilidade causal intrínseca do resultado para aquela etapa.
• do_action: Força uma ação específica $a_k$.
• do_observation: Substitui a observação $o_k$.
• do_context: Edita o histórico na etapa $k$.
• do_policy: Substitui o modelo da etapa $k$ em diante.

3. Replay Fiel e Não Determinismo

Para intervir na etapa $k$, o sistema deve reconstruir o estado exato $s_k$. O CAR adota uma disciplina de registro-replay, registrando todas as entradas não determinísticas. Ele reconhece que provedores hospedados não são perfeitamente determinísticos (dev devido à não-associatividade de ponto flutuante e kernels de lote). Consequentemente, o CAR reporta uma taxa de correspondência de ação para fidelidade de replay em vez de afirmar reprodutibilidade perfeita. Modelos locais com sementes fixas foram observados como replay exato, validando o enquadramento distribucional.

4. Estimadores de Atribuição

Como as intervenções geram uma distribuição de resultados em vez de um único caminho, o CAR utiliza estimadores estatísticos com intervalos de confiança.

• Estimador Contrastivo de Etapa Única:
  Para cada etapa $k$, o sistema mantém as etapas $[0, k)$ em suas ações fatuais, aplica do_resample(k) e executa o avanço $K$ vezes para estimar o deslocamento na probabilidade de um "resultado ruim".

  • O Conflito de Re-execução (Run-Forward Confound): O redesenho da etapa $k$ inadvertidamente re-rola todas as etapas estocásticas subsequentes. Isso faz com que etapas iniciais irrelevantes pareçam causais porque elas disparam um re-rolamento de uma etapa subsequente genuinamente crucial.
  • Regra do Ponto de Compromisso: Para resolver isso, o CAR identifica o locus causal como a última etapa cujo intervalo de confiança do efeito ainda exclui zero. Este é o último ponto onde redecidir ainda pode "salvar" a execução; além deste ponto, o resultado está comprometido.

• Estimador de Shapley de Monte Carlo com Orçamento Limitado:
  Métodos de etapa única falham em capturar interações (ex: uma falha do tipo "AND" onde duas etapas devem falhar simultaneamente). O CAR usa valores de Shapley para dividir o crédito entre etapas que interagem.

  • Ele estima contribuições marginais sobre todos os contextos de coalizão usando amostragem de permutação de Monte-Carlo com emparelhamento de permutação reversa antitética.
  • Sem Cache: Os valores $v(S)$ não são armazenados em cache entre as permutações para evitar que a variância marginal por etapa colapse para zero, o que produziria uma confiança falsa.
  • O estimador é limitado por orçamento com um disjuntor e é executado sob demanda.

Principais Contribuições

1. Formalização SCM: Formalizar execuções de agentes como SCMs e definir uma álgebra de cinco operações de intervenção.
2. Enquadramento Distribucional: Construir o sistema em torno de distribuições de resultados com intervalos de confiança para lidar com políticas estocásticas.
3. Regra do Ponto de Compromisso: Identificar e resolver o conflito específico onde o redesenho de uma etapa re-rola a estocasticidade subsequente, usando uma regra para localizar o verdadeiro locus causal.
4. Tratamento de Interação: Fornecer um estimador de Shapley para atribuir corretamente o crédito em etapas que interagem, onde métodos de etapa única falham estruturalmente.
5. Validação de Verdade Fundamental (Ground Truth): Validar o método contra SCMs sintéticos com verdade fundamental plantada, argumentando que isso é não-opcional para qualquer método de atribuição.

Resultados e Validação

O CAR foi validado contra SCMs sintéticos com verdade fundamental conhecida:

• Recuperação de Etapa Pivotal: Em um SCM de três etapas onde a etapa intermediária era a decisão crucial, o estimador contrastivo recuperou corretamente o locus naquela etapa. O redesenho subsequente não mostrou efeito significativo, correspondendo à semântica do ponto de compromisso.
• Recuperação de Interação: Em um SCM onde o resultado era ruim apenas se duas etapas específicas falhassem, o estimador de Shapley dividiu o crédito corretamente ($\phi_0 \approx 0.44, \phi_1 \approx 0.45, \phi_2 \approx 0$). A soma da eficiência foi 0.909, aproximando-se do valor analítico de 0.91.
• Limitação Contrastiva: Na mesma execução de interação, o estimador contrastivo superestimou (os efeitos excederam a contribuição total real), demonstrando a necessidade do estimador de Shapley para interações.

Significância e Alegações

O artigo afirma que o CAR responde à pergunta "qual etapa causou a falha" através de intervenção em vez de correlação. Sua significância reside na combinação específica de:

1. Intervenções de do_resample executadas na mesma política (evitando substituição de oráculo ou julgamento de texto por LLM).
2. Resultados distribucionais com intervalos de confiança.
3. A regra do ponto de compromisso para lidar com conflitos de re-execução.
4. Divisão de crédito de Shapley para interações.
5. Validação contra verdade fundamental sintética.

O sistema é código aberto e projetado para rodar tanto em modelos hospedados quanto em modelos locais gratuitos.

Limitações

Os autores apontam diversas limitações:

• Efeito Direto vs. Efeito Total: O efeito contrastivo mede o efeito total através de uma continuação estocástica. Isolar o efeito direto de uma etapa exigiria números aleatórios comuns entre os ramos, o que é difícil em contextos de LLM divergentes.
• Ruído de Resultado: Funções de resultado baseadas em juízes injetam ruído; resultados baseados em regras são preferíveis para confiança.
• Efeitos Colaterais: Ferramentas reais com efeitos colaterais estão fora do escopo; as demonstrações usam ferramentas simuladas (mocked) e reproduzíveis.
• Custo Computacional: A estimação de Shapley é exponencial no pior caso; a abordagem de Monte-Carlo é limitada por orçamento, envolvendo um trade-off real entre variância e orçamento.