Resumo Técnico: SAGE – Pesquisa Autônoma Autocorretiva via Atribuição de Falha de Múltiplas Hipóteses

1. Definição do Problema

Agentes de pesquisa autônomos avançaram ao ponto de serem capazes de elaborar hipóteses, escrever código, executar experimentos e gerar artigos. No entanto, esses sistemas permanecem frágeis quando os experimentos falham. Sob o paradigma prevalecente, a recuperação de falhas depende da reflexão monolítica (herdada de frameworks como Reflexion e Self-Refine), onde uma trajetória rica de métricas, logs e escolhas de design é comprimida em uma única crítica verbal.

Essa abordagem cria dois modos primários de falha:

1. Tentativa e Erro Localizada: Agentes ajustam repetidamente hiperparâmetros ou fazem pequenas correções em designs fundamentalmente falhos porque atribuem incorretamente a causa raiz.
2. Pivôs Drásticos (Hard Pivots): Agentes descartam evidências acumuladas e reiniciam o pipeline inteiramente, muitas vezes mudando para uma nova hipótese quando o problema era apenas um erro de implementação ou um desalinhamento de design.

A dificuldade central é a atribuição de crédito estrutural: uma curva de aprendizado plana ou um erro de tempo de execução pode originar-se de uma hipótese fraca, de um design de avaliação desalinhado ou de um defeito no código. A reflexão monolítica colapsa essa ambiguidade causal multinível em um único palpite, levando frequentemente os agentes a corrigir o sintoma mais saliente enquanto ignoram o problema metodológico mais profundo.

2. Metodologia: SAGE e MHFA

Os autores propõem o SAGE (Self-correcting, Autonomous, Grounded Experimenter), um sistema que substitui a reflexão monolítica por um pipeline de recuperação estruturado e de múltiplos estágios. A inovação central é a Atribuição de Falha de Múltiplas Hipóteses (MHFA), que operacionaliza o método científico de "múltiplas hipóteses de trabalho" e "inferência forte".

2.1 Contexto de Falha Estruturado

Antes do diagnóstico, o SAGE constrói um contexto de falha estruturado ($C_{fail}$) compreendendo:

• Conhecimento ($K$): A pilha semântica incluindo a hipótese atual, configuração de design e um resumo do código executado.
• Trajetória ($T$): Gerada pelo TrajPivot, um detector de estagnação consultivo. Ele normaliza métricas e calcula características como o decaimento marginal ($D$) e a inclinação de regressão ($S$) para fornecer assinaturas formais de modos de falha (ex: estagnação de melhoria vs. instabilidade).

2.2 O Processo Diagnóstico MHFA

O MHFA executa um processo de três estágios para diagnosticar falhas:

1. Geração Causal Divergente: Um agente com uma persona de "pesquisador sênior" gera $K \in [3, 5]$ explicações distintas e fundamentadas em evidências para a falha. Essas explicações são categorizadas como Método (método central não sólido) ou Design (protocolo experimental desalinhado). Falhas de implementação de baixo nível (ex: execuções com métricas zeradas) são tratadas por um caminho de reparo explícito separado antes de o MHFA ser invocado.
2. Classificação de Severidade de Falha: Um crítico independente com uma persona "cética" audita a solidez lógica de cada hipótese contra a evidência citada. Ele atribui uma pontuação de criticidade ($s^* \in [0, 1]$) e retifica a categoria, se necessário.
3. Roteamento Determinístico: Uma regra simbólica fixa $\pi(c^*, s^*)$ mapeia a causa raiz verificada para uma intervenção consciente da hierarquia.
   • Portões de Profundidade de Severidade: Pontuações baixas disparam o refinamento local; pontuações altas disparam o refinamento estrutural ou pivôs.
   • Categoria Seleciona o Nível: Causas de Design roteiam para o redesenho do protocolo; causas de Método roteiam para o refinamento do método ou pivô de hipótese.
   • Fundamentação de Suficiência de Dados (Verdict Clamp): Para evitar o descarte de resultados válidos, porém fracos, aplica-se um piso de confiança ($\kappa_0 = 0.6$). Se um resultado for "Válido", mas fraco, o roteador rebaixa uma ação de "Pivô" para uma ação de "Refinamento", preservando achados negativos honestos.

2.3 Relatórios Fundamentados

Para garantir a honestidade científica, o SAGE emprega um mecanismo de relatório de dois estágios que restringe tabelas numéricas a valores medidos:

1. Manifesto Proativo: Uma lista branca de dados permitidos é derivada do melhor resumo do experimento e injetada no prompt de redação.
2. Sanitizador Reativo: Uma verificação pós-redação compara cada célula de tabela numérica contra um registro de valores empiricamente medidos. Valores não verificados são substituídos por um sentinela de redação (---).
   Nota: Este mecanismo visa especificamente tabelas numéricas e não verifica automaticamente afirmações em nível de prosa sobre bibliotecas, conjuntos de dados ou arquiteturas de modelos, uma lacuna que os autores identificam como um desafio remanescente.

3. Principais Contribuições

1. Reenquadramento da Reflexão: O artigo desloca a reflexão do agente de uma crítica verbal de cadeia única para um framework de atribuição de múltiplas hipóteses. Ao estruturar a atribuição causal, o MHFA preserva explicações concorrentes antes de se comprometer com um reparo.
2. Roteamento Consciente da Hierarquia: O sistema desacopla o diagnóstico da ação. Uma regra determinística mapeia causas estruturais verificadas para intervenções no nível apropriado de abstração (Hipótese, Design ou Implementação), evitando o desvio semântico.
3. Validação Empírica: Os autores demonstram que o SAGE melhora significativamente a taxa de recuperação de experimentos com métricas e produz artefatos de maior qualidade em comparação com baselines de reflexão e o AI-Scientist-v2.

4. Resultados Experimentais

O sistema foi avaliado em um benchmark de 12 tópicos abrangendo cinco domínios (Aprendizado de Máquina, Estatística, Computação Quântica, Biologia e Física de Altas Energias).

• Taxa de Recuperação: O SAGE aumentou a produção de saídas com métricas de 42% (5/12 tópicos) no baseline de reflexão para 92% (11/12 tópicos).
• Qualidade do Artefato: Sob uma avaliação cega e uniforme de artefatos completos:
  • SAGE: 52.0/100
  • AI-Scientist-v2: 48.2/100
  • Baseline de Reflexão: 24.8/100
  • Os ganhos concentraram-se em Desenvolvimento de Código (67.5 vs. 58.3) e Execução de Código (62.5 vs. 51.7).
• Avaliação Humana: Três revisores de PhD em ML classificaram o SAGE como o mais alto (5.67/10) comparado ao AI-Scientist-v2 (4.72) e ao baseline (3.00), creditando o SAGE por designs controlados e isolamento explícito de variáveis de confusão.
• Ablação: Remover componentes do MHFA (geração divergente ou crítico independente) degradou significativamente o desempenho, confirmando que a estrutura de múltiplas hipóteses, e não apenas o caminho de reparo, impulsiona a recuperação confiável.

5. Significância e Alegações

O artigo afirma que o SAGE estabelece uma fundação altamente confiável para a pesquisa autônoma futura, ao acoplar a recuperação estruturada com restrições de fundamentação explícitas.

• Mudança de Gargalo: Os autores argumentam que, uma vez que a recuperação estruturada (via MHFA) torna os experimentos autônomos executáveis e empiricamente mensuráveis de forma confiável, os limites fundamentais da autonomia mudam para processos subsequentes. Especificamente, a implementação fiel e a fundamentação de proveniência de método (verificar se as afirmações em prosa correspondem ao código executado) emergiram como as fronteiras críticas abertas.
• Honestidade Científica: Ao redigir explicitamente números alucinados e recusar-se a fabricar resultados quando as métricas estão ausentes, o SAGE prioriza a integridade sobre a aparência de sucesso.
• Escopo Modesto: Os autores declaram explicitamente que, embora o SAGE produza artefatos significativamente mais confiáveis, a escrita científica totalmente autônoma e a geração de artigos prontos para conferências continuam sendo problemas abertos notoriamente difíceis. O sistema melhora a confiabilidade do processo de pesquisa, mas ainda não resolve o problema de produzir prosa de qualidade de publicação que se alinhe perfeitamente a complexas afirmações metodológicas.

Em resumo, o SAGE demonstra que a transição da reflexão monolítica para o diagnóstico causal estruturado de múltiplas hipóteses permite que agentes autônomos escapem de ótimos locais, recuperem-se de falhas experimentais profundas e relatem resultados com um nível de honestidade e fundamentação anteriormente não visto na área.