AgentExpt: Automating AI Experiment Design with LLM-based Resource Retrieval Agent

Resumo Técnico: AgentExpt

1. O Problema

A seleção de baselines (métodos de comparação) e conjuntos de dados (datasets) é um gargalo crítico no design de experimentos de IA moderna. Esta decisão não é apenas burocrática; ela define o protocolo de avaliação, a distribuição de dados e a comparabilidade dos resultados.
As principais dificuldades identificadas são:

• Proliferação e Fragmentação: O ecossistema de baselines e datasets cresceu exponencialmente, tornando a escolha manual difícil.
• Dependência de Contexto: A adequação de um recurso é altamente dependente do contexto experimental. Um baseline ou dataset adequado em um cenário pode ser enganoso em outro, mas essa nuance raramente está explícita nos metadados ou descrições oficiais.
• Limitações das Abordagens Atuais:
  • Cobertura Limitada: Sistemas existentes frequentemente dependem de portais curados (ex: Papers With Code), que não refletem o uso real na literatura acadêmica.
  • Modelagem Insuficiente de Adequação: Métodos atuais baseiam-se principalmente em similaridade temática (descrições de primeira pessoa) e ignoram como os artefatos são posicionados e usados na prática (evidência de terceira pessoa).
  • Desacoplamento: A seleção de baselines e datasets é tratada separadamente, ignorando a compatibilidade conjunta e as cadeias de interação entre eles.

2. Metodologia

O AgentExpt é um framework abrangente que automatiza a recomendação de baselines e datasets através de três pilares principais:

A. Construção de uma Base de Conhecimento em Grande Escala

• Dados: Os autores criaram um pipeline automatizado para extrair informações de 108.825 artigos aceitos em 10 principais conferências de IA (NeurIPS, ICML, ICLR, ACL, etc.) entre 2015 e 2025.
• Extração: O sistema identifica e normaliza entidades de baselines e datasets diretamente nas seções de experimentos dos PDFs, resolvendo variações de nomenclatura e vinculação de repositórios.
• Estatísticas: O banco de dados resultante contém 116.970 baselines, 68.316 datasets e mais de 326.000 ligações entre artigos e componentes.
• Insight: A análise mostrou uma alta taxa de reutilização de recursos estabelecidos (>70% nos últimos anos), validando a importância de capturar o uso real na literatura.

B. Recuperação Aprimorada por Percepção Coletiva (Collective Perception-Augmented Retrieval)
Para superar a similaridade superficial, o modelo de recuperação integra duas perspectivas:

1. Auto-descrição (Primeira Pessoa): O resumo ou descrição oficial do artefato.
2. Percepção Coletiva (Terceira Pessoa): Um resumo gerado por LLM (GPT-4o) dos contextos de citação de artigos posteriores que utilizaram o artefato. Isso captura como e por que a comunidade usa o recurso (tarefas típicas, configurações, métricas).

• Treinamento: Um modelo de embedding (baseado em Qwen) é fine-tuned com uma função de perda contrastiva para alinhar a representação da ideia de pesquisa (query) com essas representações híbridas, maximizando o Recall.

C. Reranking Aumentado por Raciocínio (Reasoning-Augmented Reranking)
Para refinar a lista de candidatos e garantir a compatibilidade conjunta:

• Cadeias de Interação: O sistema extrai cadeias estruturadas da literatura do tipo: Artigo A → usa Dataset X → Artigo B → usa Baseline Y. Essas cadeias (P-B-P-D ou P-D-P-B) servem como evidência de co-uso e compatibilidade metodológica.
• LLM de Reranking: Um modelo de linguagem (DeepSeek-R1-Distill-Qwen-7B) é fine-tuned com Supervised Fine-Tuning (SFT) para analisar essas cadeias de interação.
• Saída: O modelo não apenas reclassifica os itens, mas gera justificativas interpretáveis explicando por que uma combinação específica é adequada com base nas evidências das cadeias de citação.

3. Principais Contribuições

1. Framework Unificado (AgentExpt): Um sistema completo que automatiza a recomendação de componentes experimentais considerando a adequação contextual.
2. Base de Conhecimento de Alta Qualidade: A criação de um dataset massivo e ground-truth de 108k artigos vinculados a seus componentes reais, superando a cobertura de portais existentes.
3. Mecanismo de Percepção Coletiva: A introdução de sinais de "terceira pessoa" (contexto de citação) para enriquecer a representação de recursos, capturando padrões de uso comunitário.
4. Raciocínio Baseado em Cadeias: O uso de cadeias de interação paper-baseline-dataset como prior de raciocínio para um LLM, permitindo recomendações precisas e justificáveis.

4. Resultados Experimentais

O AgentExpt foi avaliado contra sete baselines de quatro paradigmas diferentes (correspondência léxica, classificação supervisionada, recuperação densa e métodos baseados em grafos).

• Desempenho Superior: O modelo superou o baseline mais forte (SymTax) em todas as métricas principais.
  • Recall@20: Aumento médio de +5,85%.
  • HitRate@10: Aumento médio de +7,90%.
  • HitRate@5: Aumento de +8,30%.
• Estudos de Ablação:
  • A remoção da "Percepção Coletiva" causou a maior queda de desempenho (cerca de 17-18% de queda no Recall), provando que o contexto de citação é crucial.
  • A remoção do "Reranking Aumentado por Raciocínio" reduziu significativamente o HitRate, confirmando que a recuperação inicial não é suficiente para priorizar a adequação experimental.
• Eficiência: O sistema mantém uma latência baixa (~0,367s por consulta), tornando-o viável para fluxos de trabalho interativos.

5. Significado e Impacto

• Reprodutibilidade e Rigor: Ao basear recomendações em dados de uso real e em larga escala, o AgentExpt promove experimentos mais rigorosos e reprodutíveis, evitando escolhas arbitrárias.
• Democratização da Pesquisa: Reduz a barreira de entrada para pesquisadores iniciantes ou equipes pequenas, fornecendo acesso a escolhas de avaliação validadas pela comunidade.
• Automação Confiável: Oferece uma camada de fundamentação para agentes de IA autônomos que realizam pesquisa científica, garantindo que as decisões experimentais sejam baseadas em evidências auditáveis e não apenas em heurísticas frágeis ou prompts ad-hoc.
• Limitações e Futuro: O sistema atualmente foca em conferências principais de IA. Trabalhos futuros visam expandir para outras comunidades científicas e implementar atualizações incrementais para capturar novos artefatos rapidamente.

Em suma, o AgentExpt representa um avanço significativo na automação do design experimental de IA, transformando a seleção de recursos de um processo manual e subjetivo em uma tarefa orientada por dados, contextualmente consciente e explicável.