An Agentic Approach Towards Replication Package Quality Evaluation

Resumo Técnico: Uma Abordagem Agêntica para a Avaliação da Qualidade de Pacotes de Replicação

Declaração do Problema
A reprodutibilidade na engenharia de software empírica depende da disponibilidade e da qualidade dos artefatos de pesquisa (código-fonte, conjuntos de dados, scripts, etc.). No entanto, a avaliação desses pacotes de replicação permanece um processo majoritariamente manual, demorado e não escalável. Diretrizes e checklists existentes (por exemplo, de conferências como ICSE ou OSDI) definem o que deve ser relatado, mas oferecem suporte limitado para avaliar automaticamente tipos heterogêneos de artefatos contra esses critérios. Consequentemente, os revisores enfrentam uma sobrecarga substancial, e as avaliações de reprodutibilidade em larga escala são prejudicadas por profundidades de avaliação inconsistentes e pela falta de procedimentos padronizados e verificáveis por máquina.

Metodologia
Os autores propõem uma abordagem agêntica para operacionalizar diretrizes de ciência aberta em critérios verificáveis por máquina para avaliação automatizada de artefatos. A metodologia é estruturada em torno de três questões de pesquisa (RQs) relativas à avaliação do potencial de reprodutibilidade, à identificação de pontos fortes/limitações e à utilidade percebida pelos stakeholders.

1. Operacionalização de Critérios: A equipe analisou 34 fontes (incluindo diretrizes de conferências de alto nível, políticas de periódicos e melhores práticas da comunidade) para extrair 380 requisitos brutos. Estes foram consolidados em 51 critérios de reprodutibilidade hierárquicos. Para permitir o raciocínio automatizado, 31 desses critérios foram enriquecidos com campos auxiliares estruturados: additional_information, input_needed, detection_strategy e success_failure_conditions. Estes foram armazenados em uma base de conhecimento SQLite para suportar rastreabilidade e recuperação.
2. Arquitetura do Sistema Agêntico: O sistema é implementado como um fluxo de trabalho baseado em grafos e com estado, utilizando LangGraph, consistindo em cinco fases:
   • Ingestão e Embedding: Conversão de artigos de entrada (PDF para Markdown) e artefatos em bancos de dados vetoriais para Geração Aumentada por Recuperação (RAG).
   • Recuperação e Análise de Artefatos: Um subagente extrai referências de artefatos (ex: GitHub, Zenodo). Se a recuperação automática falhar, uma interrupção de Humano no Loop (HITL - Human-in-the-Loop) solicita orientação do usuário. Os READMEs recuperados são sumarizados, e arquivos irrelevantes (binários, logs) são podados via classificadores baseados em regras e LLM.
   • Geração de Plano: Subagentes trabalhadores geram etapas de inspeção para subtópicos selecionados pelo usuário, sintetizadas em uma estratégia hierárquica. Este plano passa por um loop de HITL para refinamento e aprovação do usuário.
   • Avaliação de Subtópicos: Um orquestrador despacha subagentes para avaliar critérios em contextos isolados, coletando evidências via recuperação híbrida (léxica e semântica). As avaliações exigem citações explícitas (caminhos de arquivos, trechos de código) e assumem por padrão o status de "Falha" se a evidência estiver ausente.
   • Compilação de Relatório: Os achados são agregados em um relatório Markdown hierárquico com metadados de execução e IDs de rastreamento.
3. Configuração dos Agentes: O sistema emprega cinco agentes especializados (recuperação, plano, orquestrador, executor, relatório) utilizando várias variantes do GPT-5 (ex: gpt-5-nano, gpt-5-mini, gpt-5.1) com uma temperatura de 0 para maximizar o determinismo.

Principais Contribuições
O artigo apresenta três contribuições primárias:

1. Critérios Operacionalizados: Um conjunto unificado de 51 critérios de reprodutibilidade verificáveis por máquina derivados de 34 fontes, com 31 especificamente operacionalizados para avaliação automatizada baseada em artefatos.
2. Framework de Avaliação Agêntico: Um novo protótipo multiagente que recupera, estrutura e avalia autonomamente artefatos de pesquisa frente a esses critérios, produzindo relatórios de melhoria fundamentados em evidências.
3. Evidência Empírica Piloto: Resultados preliminares de uma avaliação técnica e de um levantamento com sete pesquisadores de software demonstrando o potencial e as limitações atuais da abordagem.

Resultos
A avaliação foi conduzida em cinco pacotes de replicação e um levantamento piloto com sete pesquisadores.

• Confiabilidade e Consistência: O sistema demonstrou alta consistência entre execuções de 91,4% ao longo de 10 execuções independentes por pacote. A estabilidade foi maior em domínios estruturados (Disponibilidade de Dados/Artefatos: 94,8%; Ética/Governança: 94,0%).
• Concordância com a Linha de Base Manual: Comparado a uma avaliação manual de verdade fundamental (ground-truth), o agente alcançou 75,4% de micro-acurácia e 68,2% de macro-acurácia.
  • O agente mostrou alta precisão (86,4%) e recall (81,5%) para identificar critérios "Passaram".
  • Para critérios que "Falharam", o recall foi alto (85,8%), mas a precisão foi menor (56,7%), indicando um viés de rigor (assumindo falha quando a evidência é incerta).
  • O desempenho variou significamente por tópico: 84,6% para Código/Ambiente e 77,2% para Dados/Disponibilidade, mas apenas 38,0% para Rigor Experimental.
• Análise Qualitativa: O agente teve bom desempenho em critérios estruturais (código, ambiente, disponibilidade), mas teve dificuldades com estudos qualitativos ou de métodos mistos e critérios condicionais (ex: distinguir entre treinar novos modelos vs. reexecutar código existente).
• Percepção do Usuário: Os participantes da pesquisa avaliaram positivamente a clareza e integração da ferramenta (Média ~3,83/5) e expressaram confiança no uso dela para melhorar artefatos (Média ~3,67/5). No entanto, os usuários notaram uma carga cognitiva durante a etapa de planejamento de HITL, achando o nível de detalhe exigido esmagador para novos usuários.

Significância e Alegações
O artigo afirma que a avaliação agêntica de artefatos de pesquisa tem o potencial de apoiar autores e revisores ao automatizar certas verificações rotineiras, mudando o processo de um fardo manual e retrospectivo para um fluxo de trabalho proativo e escalável.

• Automação de Verificações Rotineiras: A abordagem operacionaliza com sucesso regras amplas de ciência aberta em verificações automatizadas, particularmente para pesquisas computacionais e centradas em código.
• Transparência Baseada em Evidências: Diferente de modelos de ponta a ponta opacos, o agente fundamenta as avaliações em evidências extraídas com citações explícitas de caminhos de arquivos, permitindo auditoria independente do raciocínio.
• Escalabilidade: A arquitetura lida razoavelmente bem com a heterogeneidade dos pacotes de replicação (diversos formatos e estruturas), oferecendo um caminho para avaliações de reprodutibilidade em larga escala.
• Limitações: Os autores reconhecem modestamente que a abordagem atual é enviesada para pesquisas quantitativas e centradas em código, e tem dificuldades com estudos qualitativos e layouts de artefatos não convencionais. Eles também observam que a dependência de LLMs comerciais e a carga cognitiva da etapa de planejamento de HITL são áreas para melhorias futuras.

Os autores posicionam este trabalho como um artigo de "resultados emergentes", fornecendo evidências preliminares de que tais sistemas são viáveis e valiosos, enquanto destacam a necessidade de maior refinamento no tratamento de formatos complexos, melhoria da adaptabilidade a diferentes tipos de estudo e simplificação da interface do usuário.