Resumo Técnico: CODEDISTILLER

Declaração do Problema

Sistemas de Descoberta Científica Automatizada (ASD) visam gerar e executar experimentos baseados em código para produzir insights científicos. No entanto, os sistemas atuais enfrentam uma limitação crítica: dependem fortemente de conhecimento paramétrico (informações adquiridas durante o treinamento do modelo) para gerar código. Isso restringe sua capacidade de realizar experimentos que exigem métodos, medições ou protocolos altamente específicos não presentes explicitamente nos dados de treinamento do modelo. Consequentemente, as abordagens existentes são forçadas a mutar um pequeno número de exemplos de experimentos criados manualmente ou a operar com qualidade e alcance limitados. Há uma falta de métodos escaláveis para converter o vasto código não estruturado disponível em repositórios científicos em exemplos validados e funcionais que agentes possam usar de forma confiável.

Metodologia: CODEDISTILLER

Os autores apresentam o CODEDISTILLER, um sistema projetado para destilar automaticamente grandes coleções de repositórios científicos do GitHub em uma biblioteca de exemplos de código funcionais e específicos de domínio. O fluxo de trabalho consiste em duas fases principais:

1. Classificação de Arquivos Relevantes

Dado que os repositórios frequentemente contêm centenas de arquivos aninhados, o sistema realiza primeiro a coleta estática de informações para identificar arquivos relevantes para a funcionalidade central do repositório.

• Processo: Um LLM escaneia arquivos individuais, classificando-os em tipos de granularidade grosseira (código, documentação, scripts, dados, outros) e categorias de granularidade mais fina (por exemplo, pontos de entrada, instruções, exemplos existentes).
• Pontuação: Cada arquivo recebe uma pontuação de relevância (1–5) e metadados sobre requisitos computacionais (por exemplo, necessidades de GPU) ou instruções de configuração críticas.
• Objetivo: Filtrar a janela de contexto, fornecendo ao modelo de geração de código apenas os arquivos mais relevantes para a tarefa, aumentando a probabilidade de sucesso.

2. Geração de Código e Depuração Iterativa

Utilizando os arquivos mais bem classificados e o propósito central do repositório, o sistema gera e depura um exemplo funcional.

• Geração: Um LLM base gera quatro componentes: (1) código Python executável, (2) requisitos de bibliotecas, (3) um script de execução Bash com configuração de ambiente Conda e (4) metadados (descrição, requisitos de recursos, critérios de inclusão/exclusão).
• Execução e Instrumentação: O código é executado em um contêiner na nuvem Ubuntu. O sistema captura saídas, incluindo logs com carimbo de data e hora, resultados JSON e STDOUT/STDERR brutos.
• Loop LLM-como-Juiz: Um LLM avalia os logs de execução para determinar se o código funcionou corretamente. Se problemas forem detectados, o sistema reflete sobre os logs e modifica o código. Este loop se repete até o sucesso ou até que um limite (tipicamente 8 iterações) seja atingido.
• Saída: Exemplos bem-sucedidos são scripts autossuficientes e prontos para uso, adequados para agentes ASD a jusante.

Contribuições Principais

1. Sistema CODEDISTILLER: Um pipeline inovador para converter automaticamente repositórios científicos especializados do GitHub em exemplos depurados e funcionais para sistemas de descoberta automatizada.
2. Avaliação em Ciência dos Materiais: Uma avaliação empírica em 250 repositórios de ciência dos materiais, demonstrando que modelos base podem destilar com sucesso entre 26% e 74% dos repositórios, dependendo da capacidade e do custo do modelo.
3. Impacto a Jusante: Evidências de que augmentar um agente ASD (especificamente o CodeScientist) com uma biblioteca gerada pelo CODEDISTILLER resulta em experimentos mais precisos, completos e cientificamente sólidos em comparação com agentes que dependem exclusivamente de exemplos de código de domínio geral.
4. Análise de Métricas de Avaliação: Uma caracterização detalhada do acordo entre as classificações de "LLM-como-Juiz" e especialistas de domínio, encontrando acordo moderado em testes A/B a jusante, mas acordo variável na própria tarefa de destilação.

Resultados

Desempenho de Destilação

O sistema foi avaliado usando três modelos base: GPT-OSS-120B, GPT-5 e Claude Sonnet 4.5.

• Taxas de Sucesso: Métricas automáticas (LLM-como-Juiz) mostraram taxas de sucesso variando de 61,6% (GPT-OSS) a 75,6% (Claude). No entanto, a avaliação manual por um especialista de domínio revelou uma superestimação significativa por parte das métricas automáticas.
  • GPT-OSS-120B: 61,6% de sucesso reportado; funcionalidade correta validada por especialista foi apenas 25,9%.
  • GPT-5: 70,4% de sucesso reportado; validado por especialista foi 69,0%.
  • Claude Sonnet 4.5: 75,6% de sucesso reportado; validado por especialista foi 74,1%.
• Custo vs. Desempenho: Modelos de maior desempenho incorreram em custos significativamente mais altos. O custo médio para um exemplo bem-sucedido usando o Claude foi 19 vezes maior do que o do GPT-OSS.
• Tempo de Execução: Exemplos bem-sucedidos levaram em média 13–21 minutos, exigindo 1,9–2,4 iterações de depuração. Tentativas mal-sucedidas foram custosas, frequentemente atingindo o limite de 8 iterações.

Avaliação a Jusante (Testes A/B)

Os autores testaram se os exemplos do CODEDISTILLER melhoraram o desempenho do agente CodeScientist em 50 tarefas de descoberta em ciência dos materiais.

• Preferência: Em testes A/B comparando um agente de base (exemplos gerais) versus um agente aumentado (biblioteca CODEDISTILLER), o sistema aumentado foi preferido em >50% dos casos em precisão, completude e solidez científica.
• Melhorias Qualitativas: O agente aumentado produziu soluções com melhor fundamentação em dados (usando conjuntos de dados reais versus sintéticos), modelagem mais fisicamente precisa (usando potenciais específicos de domínio versus genéricos) e soluções mais canônicas (usando bibliotecas estabelecidas versus implementações manuais).
• Acordo de Métricas: O Kappa de Cohen entre especialistas de domínio e classificações de LLM-como-Juiz para as tarefas a jusante variou de 0,62 a 0,77 (acordo moderado). A precisão mostrou o acordo mais forte (0,77), enquanto a completude mostrou o mais fraco (0,62).

Significado e Alegações

O artigo alega que o CODEDISTILLER aborda efetivamente o gargalo da curadoria manual de código na descoberta científica automatizada. Ao converter automaticamente código de repositórios não estruturado em exemplos validados, o sistema permite que agentes ASD expandam suas capacidades além de seu conhecimento paramétrico sem esforço manual.

Os autores enfatizam que, embora as métricas de LLM-como-Juiz sejam úteis para escalar a avaliação, elas podem superestimar significativamente o desempenho em comparação com especialistas humanos, particularmente para modelos de menor custo. No entanto, os resultados a jusante sugerem que, mesmo com essas limitações, a integração de bibliotecas destiladas automaticamente melhora significativamente a qualidade científica dos experimentos gerados por agentes. O trabalho posiciona o CODEDISTILLER não como um substituto para agentes de propósito geral, mas como uma ferramenta especializada ou etapa de pré-processamento que pode ser integrada em fluxos de trabalho de descoberta mais amplos para aumentar a confiabilidade e a especificidade de domínio.