Resumo Técnico: LogDx-CI

Declaração do Problema

Os logs de falha de Integração Contínua (CI) são inerentemente grandes (mediana de 5 mil linhas, chegando a mais de 200 mil no corpus) e ruidosos. Embora agentes de codificação (por exemplo, Claude Code, Codex, Cursor) dependam de ferramentas a montante para reduzir esses logs a um contexto gerenciável para Modelos de Linguagem Grandes (LLMs), o campo carece de evidências empíricas públicas sobre quais estratégias de redução preservam evidências suficientes para diagnóstico de causa raiz a jusante. Benchmarks existentes, como SWE-bench ou Terminal-Bench, focam no sucesso da tarefa ponta a ponta ou na edição de repositórios, tratando a etapa de redução de contexto como infraestrutura opaca. O LogDx-CI aborda essa lacuna isolando e avaliando a etapa de "redução de contexto" especificamente por sua capacidade de preservar sinais de falha para diagnosticadores LLM.

Metodologia

Corpus e Verdade Terrena

O benchmark utiliza um corpus de 35 casos reais de falha do GitHub Actions abrangendo 8 categorias de falha (por exemplo, asserções de teste, erros de compilação, timeouts) e mais de 7 ecossistemas (pytest, cargo, Maven, Docker, etc.). Os tamanhos dos logs variam de 27 linhas a mais de 200 mil linhas.

• Verdade Terrena: As causas raiz e os sinais necessários foram elaborados por IA (Claude Opus 4.7) e verificados por um único autor. Cada caso inclui metadados, uma lista de verificação de "deve mencionar" e alegações proibidas.
• Privacidade: Todos os logs passaram por uma auditoria de privacidade (removendo URLs, chaves de API e tokens) com zero ocorrências nos 35 casos.

Framework de Avaliação

O pipeline consiste em: Log Bruto → Ferramenta de Redução de Contexto → Diagnosticador LLM → Pontuação de Diagnóstico.

• Diagnosticadores: Quatro variantes foram testadas:
  1. real-debugger-v1: Claude Haiku 4.5 (disparo único).
  2. real-debugger-v2: Claude Sonnet 4.6 (disparo único).
  3. real-debugger-v3: OpenAI gpt-5-mini (disparo único).
  4. real-agent-v1: Claude Sonnet 4.6 com um loop de agente de 5 turnos usando ferramentas determinísticas (grep, read_file, tail, view_log_lines) operando no log bruto.
• Métrica: A métrica principal é diagnosis_score_v1_1, uma combinação linear calibrada de precisão de categoria, recall de sinal, recall de arquivo/teste relevante e taxas de citação de evidência. Ela penaliza "erros confiantes" (confiança ≥0,70 mas demonstravelmente errados). Uma métrica secundária, confident_error_rate, monitora a segurança.

Baselines (11 Provedores de Contexto)

O estudo compara 11 estratégias de redução:

1. Raw (Bruto): Log completo.
2. Tail: Últimas 200 linhas.
3. Grep: Padrões de falha filtrados por regex + contexto.
4. Modos RTK: rtk-read, rtk-log, rtk-err-cat (vários modos da ferramenta RTK).
5. Resumidores LLM: Resumidores do tipo map-reduce usando Claude Haiku 4.5 e OpenAI gpt-5-mini.
6. Híbridos: Roteadores baseados em lógica (por exemplo, hybrid-grep-120k-tail: usar grep se ≤120 mil tokens, senão tail-200).

Principais Resultados

1. Roteadores Híbridos Dominam a Fronteira de Pareto

No diagnóstico de disparo único, roteadores híbridos grep+tail alcançam o melhor compromisso custo-qualidade.

• Melhores Desempenhos: hybrid-grep-120k-rtk-tail (Pontuação: 0,670) e hybrid-grep-120k-tail (Pontuação: 0,666).
• Eficiência: Esses métodos alcançam qualidade comparável ao grep autônomo (0,639), mas com 4,5× menos tokens (20 mil vs. ~88 mil tokens por caso) e custo significativamente menor ($0,03 vs. ~$0,13 por caso).
• Segurança: Os híbridos superiores produziram zero erros confiantes, enquanto o rtk-log teve uma taxa de erro confiante de 13,3%, enganando ativamente o LLM em aproximadamente 1 em cada 8 casos.

2. O Regime de Loop de Agente Colapsa a Variância de Qualidade

Quando um agente é permitido fazer chamadas de ferramentas de acompanhamento (limite de 5 turnos) para se recuperar de contexto insuficiente:

• Convergência de Qualidade: A dispersão de desempenho entre as ferramentas de redução colapsou 7× (de uma dispersão de disparo único de 0,42 para uma dispersão de loop de agente de 0,059). Contextos fracos (por exemplo, rtk-log, raw) foram salvos pelo agente, ganhando +0,3 a +0,4 na pontuação.
• Diferenças de Custo Persistentes: Embora a qualidade tenha convergido, os custos não. Contextos fracos forçaram o agente a emitir 2–4× mais chamadas de ferramentas para recuperar o diagnóstico em comparação com contextos fortes.
• Melhor Método de Agente: Surpreendentemente, llm-summary-v1-gpt-5-mini tornou-se o método #1 do loop de agente (Pontuação: 0,749) com a menor contagem de chamadas de ferramentas (0,37/caso), pois o resumo antecipou efetivamente o sinal de falha.

3. Resumo Cross-Family Supera a Autochamada

O estudo testou a hipótese de "viés de autochamada" (que um resumidor e um depurador da mesma família de fornecedor poderiam inflacionar as pontuações devido a priores compartilhados).

• Descoberta: Um par cross-family (gpt-5-mini resumidor alimentando um depurador Claude Haiku) superou o par da mesma família em +0,071 em média entre quatro variantes de diagnosticador.
• Custo: O resumidor gpt-5-mini também foi 10× mais barato ($0,18 vs. $1,75 por caso) que o resumidor Haiku, principalmente devido à evitação da sobrecarga de invocação aninhada do Claude-Code-CLI.

Significado e Alegações

O LogDx-CI afirma ser o primeiro benchmark público otimizando especificamente ferramentas de redução de logs para precisão diagnóstica de LLM a jusante entre famílias de modelos. Seu significado reside em três achados "estruturantes":

1. Domínio híbrido: Roteadores híbridos simples (grep + tail) fornecem o equilíbrio ótimo entre custo e preservação de evidências, superando resumidores LLM complexos e logs brutos em cenários de disparo único.
2. Resiliência do agente: Embora loops de agente possam se recuperar de contexto pobre, eles o fazem a um custo operacional mais alto (mais chamadas de ferramentas), reforçando o valor da redução de alta qualidade a montante.
3. Falsificação de viés: O benchmark fornece evidências empíricas contra a hipótese de viés de autochamada nesta tarefa específica, mostrando que a sumarização cross-family é tanto mais eficaz quanto mais eficiente em termos de custos.

Os autores concluem que, para pilhas de agentes de codificação em produção, o custo de implementar a estratégia correta de redução de contexto (aprox. $0,03/caso para disparo único, $0,18/caso para loop de agente com resumo cross-family) é pelo menos 10× menor que o custo de errá-lo (por exemplo, usar rtk-log ou logs brutos que levam a diagnósticos equivocados ou uso excessivo de ferramentas).

Limitações

O artigo observa várias limitações:

• Tamanho do Corpus: 35 casos é um protótipo; magnitudes absolutas de pontuação podem mudar com a expansão, embora as classificações dos 3 primeiros pareçam robustas.
• Verdade Terrena: Verificada por um único autor e elaborada por IA, não anotada independentemente por humanos.
• Escopo de Modelo: Testado apenas nas famílias Anthropic (Haiku/Sonnet) e OpenAI (gpt-5-mini).
• Reprodutibilidade: gpt-5-mini exibe variabilidade de execução para execução mesmo com temperatura=0, o que significa que números de células específicos podem variar em ±0,02, embora as classificações agregadas permaneçam estáveis.
• Escopo: Não avalia capacidade geral de codificação, planejamento multi-etapa ou formas de log não-CI (por exemplo, fluxos de sistemas de construção).