A Scientific Human-Agent Reproduction Pipeline

O artigo apresenta o SHARP, um pipeline estruturado que utiliza colaboração humano-agente para reproduzir análises científicas, onde um agente de IA executa a geração e validação de código sob a supervisão crítica do pesquisador, transformando a reprodução em uma tarefa de tradução de conhecimento humano para máquina.

O essencial

Imagine que você acabou de ler um livro de receitas culinária incrível escrito por um chef famoso. O livro diz exatamente como fazer um prato complexo, mas não tem fotos passo a passo, nem lista de ingredientes com medidas exatas em xícaras, apenas descrições como "uma pitada de sal" ou "cozinhe até dourar".

Agora, imagine que você quer ensinar um robô cozinheiro a fazer esse prato exatamente como o chef fez, para garantir que o sabor seja idêntico e que você possa adaptar a receita para outros pratos no futuro.

Esse é o problema que o artigo "SHARP" (Pipeline de Reprodução Científica Humano-Agente) tenta resolver, mas no mundo da ciência em vez da cozinha.

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema: O "Tradutor" Perdido

Na ciência, quando um pesquisador publica um resultado (como descobrir uma nova partícula), ele escreve um artigo. Outros cientistas precisam "reproduzir" esse trabalho para confiar nele.

• O problema: Reproduzir é chato e difícil. É como tentar montar um móvel complexo apenas lendo as instruções em um idioma que você não fala perfeitamente. Muitas vezes, o esforço é tão grande que ninguém faz, e o conhecimento fica "preso" no papel.
• A ideia do SHARP: Eles dizem que reproduzir ciência não é "inventar" nada novo, é traduzir. É pegar o conhecimento humano (o artigo, que é texto) e transformá-lo em código de computador (instruções que a máquina entende).

2. A Solução: O SHARP (O Chefe de Cozinha e o Robô)

O SHARP é uma equipe formada por um Humano (o pesquisador) e um Agente de IA (o robô). Eles funcionam como um Chefe de Cozinha e um Sous-chef robótico:

• O Plano (O Menu): Primeiro, o humano e o robô sentam juntos para ler o artigo. O robô sugere um plano: "Vamos dividir essa receita em 10 etapas". O humano aprova ou ajusta.
• A Execução (Cozinhando): O robô começa a trabalhar sozinho. Ele tem "sub-robôs" especializados:
  • Um que lê o artigo para pegar detalhes.
  • Um que escreve o código.
  • Um que faz testes (como provar o molho para ver se está salgado).
  • Um que critica o trabalho para garantir que está organizado.
• Os Pontos de Checagem (O Degustação): O robô não trabalha o dia todo sem parar. Ele para em momentos específicos (checkpoints) para perguntar ao humano: "Chefe, fiz a etapa 1. O molho está certo? Posso continuar?".
  • Aqui, o humano não escreve o código. O humano avalia, dá feedback e guia a direção. O robô faz o trabalho braçal de programar.

3. O Experimento: O "Jato" de Partículas

Para testar se isso funcionava, eles pegaram um artigo famoso da física de partículas (sobre como classificar "jatos" de partículas, que são como "chuvas" de detritos de colisões no LHC).

• A Missão: O robô precisou baixar dados, criar um modelo de inteligência artificial, treiná-lo e gerar gráficos, tudo seguindo o artigo original.
• O Resultado: O robô conseguiu! O resultado final foi idêntico ao do artigo original (com precisão de 99,9%). O código gerado era limpo, organizado e tinha testes automáticos.

4. A Conversa Humano-Robô

Eles analisaram o que o humano disse para o robô durante o processo:

• No início: O humano deu instruções difíceis e essenciais ("Faça isso, use aquele dado, o objetivo é X").
• No meio: O humano fez correções menores ("O gráfico está invertido", "Mude esse número").
• O tempo: O trabalho levou cerca de um dia de trabalho humano, mas o humano não ficou preso na frente do computador o tempo todo. Ele fazia outras coisas e voltava para dar uma "checada" no robô.

5. O Que Aprendemos? (A Lição)

O SHARP não substitui o cientista. Pelo contrário, ele eleva o papel do cientista.

• Antes: O cientista passava semanas escrevendo linhas de código, copiando e colando, lutando com erros de sintaxe.
• Agora: O cientista passa o tempo entendendo a ciência, avaliando se o robô fez o trabalho certo e guiando a direção. O robô é o "braço", o humano é o "cérebro".

Resumo da Ópera:
O SHARP é como ter um assistente superinteligente que lê o livro de receitas, vai para a cozinha, corta os legumes, mistura os ingredientes e cozinha o prato. O seu trabalho é apenas provar, dizer "está bom" ou "está muito salgado", e garantir que o prato final seja exatamente o que o chef original fez. Isso torna a ciência mais rápida, mais confiável e permite que os pesquisadores foquem no que realmente importa: entender o universo, e não apenas escrever código.

Resumo técnico

Título: A Scientific Human-Agent Reproduction Pipeline (SHARP)

Autores: Joschka Birk, Gregor Kasieczka, Siddharth Mishra-Sharma, Benjamin Nachman, Dennis Noll, Tanvi Wamorkar.
Instituições: Universidade de Hamburgo, Boston University, Stanford University, SLAC National Accelerator Laboratory.

---

1. O Problema

A reprodução de análises científicas publicadas é fundamental para preservar o conhecimento, criar bases de código extensíveis e aprofundar a compreensão dos pesquisadores sobre os métodos e premissas utilizados. No entanto, esse esforço é frequentemente subvalorizado academicamente, levando a uma baixa taxa de reprodução independente. O processo tradicional é demorado e propenso a erros humanos na tradução de especificações descritas em artigos (texto legível por humanos) para código executável (legível por máquinas). O artigo argumenta que a reprodução não é uma tarefa de "extrapolação" criativa, mas sim de tradução, o que a torna um caso de uso ideal para agentes de Inteligência Artificial.

2. Metodologia: O Framework SHARP

O SHARP (Scientific Human-Agent Reproduction Pipeline) é um framework estruturado que promove a colaboração entre humanos e agentes de IA para reproduzir análises científicas. O fluxo de trabalho segue um padrão iterativo, inspirado no padrão "Ralph" de Geoffrey Huntley, e opera em duas fases principais:

• Fase de Inicialização e Planejamento:

  • O agente (baseado no Claude Code e no modelo claude-opus-4.6) analisa o artigo científico e as expectativas do usuário.
  • Utilizando a habilidade /plan, o agente propõe uma decomposição da reprodução em tarefas discretas (padrão: 10 tarefas), definindo pontos de verificação (checkpoints).
  • O pesquisador humano revisa e aprova o plano (plan.md), que é então convertido em uma especificação de projeto legível por máquina (project.json).

• Fase de Implementação Iterativa:

  • O agente executa uma tarefa por vez, delegando para subagentes especializados em paralelo:
    • Paper Analyst: Extrai informações do artigo.
    • Code & Test Subagents: Implementam o código com desenvolvimento orientado a testes (TDD).
    • Statistician: Gerencia análises estatísticas.
    • Critic: Garante os princípios FlexCAST (modularidade, testabilidade e robustez).
  • O código é executado em um ambiente Conda isolado e gerenciado por um motor de fluxo de trabalho (law).
  • Checkpoint de Controle Humano: Ao completar uma tarefa marcada como checkpoint, o agente pausa, resume o trabalho e solicita revisão humana. O pesquisador pode aprovar, solicitar revisões ou fornecer feedback via interface /chat. O agente só prossegue após a aprovação.

• Ambiente de Execução:

  • O sistema opera dentro do claude-hpc, um ambiente sandboxizado em sistemas HPC (como o Perlmutter do NERSC).
  • O acesso ao sistema de arquivos e à rede é restrito a diretórios e serviços aprovados (GitHub, arXiv, Conda), garantindo segurança e reprodutibilidade.

3. Contribuições Principais

1. Framework SHARP: Uma nova arquitetura que posiciona o agente como um "tradutor meticuloso" e o humano como o "juiz científico", mantendo o controle humano sobre o julgamento científico enquanto a IA gerencia a implementação.
2. Abordagem Híbrida: Equilibra a rigidez de pipelines fixos (como Agents of Discovery) com a flexibilidade de fluxos de trabalho livres, permitindo lidar com análises científicas não triviais do mundo real.
3. Novo Framework de Avaliação de Interação: Introdução de uma ferramenta (claude-parser) para classificar as mensagens humanas em termos de Complexidade (Fácil, Médio, Difícil) e Tipo (Essencial, Opcional, Meta), permitindo analisar a natureza da colaboração humano-agente.
4. Validação em Física de Partículas: Demonstração prática da reprodução de um trabalho complexo de física de partículas (ParticleNet-Lite) com alta fidelidade.

4. Resultados Experimentais

O SHARP foi testado reproduzindo o artigo ParticleNet (arXiv:1902.08570), focando na classificação de jatos de partículas (top quark vs. jatos QCD).

• Desempenho do Modelo: O agente reproduziu com sucesso as métricas do modelo ParticleNet-Lite. Em três execuções independentes, os resultados foram consistentes com o artigo original:
  • Acurácia: ~0.938 (Original: 0.937).
  • AUC: ~0.9844 (Original: 0.9844).
  • Rejeição de Fundo (R50/R30): Valores dentro das margens de erro esperadas.
• Qualidade do Código: O código gerado foi estruturado, modular (usando o motor law), coberto por testes unitários e validado independentemente por um especialista humano.
• Interação Humano-Agente:
  • A interação variou de altamente eficiente (9 mensagens humanas em uma execução) a mais intensiva (31 mensagens em outra).
  • A maioria das intervenções humanas necessárias foi de complexidade "Média" (correções concretas, parâmetros) ou "Meta" (controle de fluxo), indicando que o agente lidou bem com a maior parte da implementação técnica.
  • O tempo total para cada reprodução foi de aproximadamente um dia de trabalho, com o pesquisador gerenciando múltiplas execuções em paralelo.

5. Limitações e Riscos

• Diferenças Sutis de Implementação: O agente pode introduzir pequenas variações (ex: agendamento da taxa de aprendizado, funções de ativação) que, embora geralmente tenham impacto mínimo nas métricas finais, exigem verificação cruzada.
• Falhas Específicas de Domínio: O maior risco reside em armadilhas que exigem conhecimento profundo de domínio para serem detectadas, mas que testes automatizados não capturam. O artigo cita o exemplo de um "vazamento de rótulo de verdade" (truth-label leakage) em conjuntos de dados públicos, que invalidaria a tarefa de classificação se não fosse detectado por um humano.

6. Significado e Conclusão

O trabalho demonstra que a reprodução científica é um alvo de alto valor para a IA agênica. O SHARP oferece um modelo prático onde o papel do pesquisador evolui de "escrevedor de código" para "compreensão, avaliação e direção". Isso não substitui o entendimento humano, mas o eleva, permitindo que os pesquisadores se concentrem no julgamento científico enquanto a IA automatiza a tradução técnica. O sucesso na reprodução de um problema complexo de física de partículas sugere que essa abordagem pode ser escalada para outras áreas científicas, acelerando a validação de resultados e a inovação futura.

Recursos Disponíveis: O código-fonte do template SHARP, a ferramenta de análise de conversação (claude-parser) e o ambiente de contenção (claude-hpc) foram disponibilizados publicamente no GitHub.