🤖 AI

SciToolAgent-Evo: An Ontology-Aware Self-Evolving Agent for Open-World Scientific Tool Acquisition

O artigo apresenta o SciToolAgent-Evo, um agente de autoevolução consciente de ontologia que adquire e integra dinamicamente novas ferramentas científicas em ambientes de mundo aberto por meio de aprendizado contrastivo e uma estratégia de exploração-explotação baseada em LinUCB, validada pelo novo benchmark OpenSciToolBench.

Autores originais: Yuqi Tang, Chenyi Zhou, Libin Wang, Keyan Ding, Qiang Zhang, Huajun Chen

Publicado 2026-08-03

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yuqi Tang, Chenyi Zhou, Libin Wang, Keyan Ding, Qiang Zhang, Huajun Chen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive brilhante, mas em vez de resolver crimes, você resolve mistérios científicos. Você tem uma caixa de ferramentas mágica e gigante repleta de dispositivos como um "Pesador de Moléculas" ou um "Scanner de Proteínas". Nos velhos tempos, se você precisasse resolver um caso, só poderia usar as ferramentas que já estavam na sua caixa. Se o dispositivo perfeito não estivesse lá, você ficava travado, mesmo sabendo exatamente o que aquela ferramenta deveria fazer. É assim que a maioria dos programas de computador que ajudam cientistas a trabalhar hoje funciona: eles estão presos em um "mundo fechado", limitados a uma lista fixa de ferramentas que lhes foram ensinadas no início.

Mas a ciência real é bagunçada e aberta. Às vezes, para resolver um problema, você precisa de uma ferramenta que nunca viu antes. É aqui que entra o conceito de um "agente". Pense em um agente como um assistente robô superinteligente movido por um Grande Modelo de Linguagem (LLM) — um tipo de IA que é muito boa em entender a linguagem humana e raciocinar. Esses agentes são ótimos em escolher a ferramenta certa de uma lista conhecida. No entanto, eles têm dificuldade quando a lista está incompleta. Eles não sabem como dizer: "Eu não tenho a ferramenta certa, então preciso ir buscar uma nova" e, depois, aprender como usá-la para a próxima vez. A grande questão é: podemos construir um robô cientista que não apenas escolha ferramentas, mas que realmente aprenda novas ferramentas sobre a marcha, exatamente como um pesquisador humano faz?

É exatamente isso que o artigo SciToolAgent-Evo aborda. Os autores, uma equipe da Universidade de Zhejiang, construíram um novo tipo de agente de IA que atua como um explorador científico autoevoluinte. Em vez de estar preso a uma caixa de ferramentas estática, este agente possui um "cérebro em crescimento" que lembra sucessos e falhas passados. Quando encontra uma tarefa científica que não consegue resolver com suas ferramentas atuais, ele não desiste. Em vez disso, ele vai ativamente em busca de uma nova ferramenta, descobre como ela funciona e a adiciona à sua coleção permanente.

Veja como essa magia "autoevoluinte" funciona, dividida em etapas simples:

1. A "Memória Evolutiva" (O Cérebro do Agente)
Imagine que o agente tem um caderno especial. Dentro dele, ele guarda três coisas:

Uma Biblioteca de Habilidades: Atalhos para tarefas comuns (como "Como calcular o peso de uma molécula").
Um Reservatório de Experiência: Notas sobre o que deu errado e como corrigir na próxima vez (como "Não tente pesar um gás sem um recipiente").
Um Mapa de Ferramentas: Um mapa de todas as ferramentas que ele conhece, organizadas pelo que elas fazem.
Sempre que o agente resolve um problema, ele atualiza este caderno. Se ele falha, ele aprende o porquulo. Se ele tem sucesso com uma nova ferramenta, ele anota exatamente como essa ferramenta funciona para nunca mais precisar adivinhar.

2. A "Requisição Ativa" (Fazendo as Perguntas Certas)
A maioria dos agentes de IA espera que você diga o que fazer. O SciToolAgent-Evo é diferente. Quando vê um problema difícil, ele não apenas procura uma ferramenta; ele decompõe o problema e pergunta a si mesmo: "Qual capacidade específica eu preciso agora?" Ele cria uma "lista de compras" de habilidades de ferramentas. Isso o ajuda a encontrar a ferramenta certa mesmo se a ferramenta tiver um nome estranho ou não estiver em sua lista original.

3. O "Portão Bandit" (O Tomador de Riscos)
Esta é a parte mais inteligente. O agente tem que decidir: "Devo usar uma ferramenta que já conheço (seguro) ou devo tentar encontrar uma nova ferramenta desconhecida (arriscado)?" Para fazer essa escolha, ele usa uma estratégia matemática chamada "Portão Bandit" (nomeado após um jogo de caça-níqueis onde você tem que equilibrar puxar uma alavanca conhecida para uma recompensa pequena versus tentar uma nova alavanca para uma recompensa grande).

Se as ferramentas conhecidas parecem que vão funcionar, ele as utiliza.
Se as ferramentas conhecidas parecem fracas, o portão diz: "Explore!" e o agente começa a caçar uma nova ferramenta.
Assim que encontra uma nova ferramenta, ele a testa. Se funcionar, a ferramenta recebe um "cartão de identidade" completo (uma ontologia) descrevendo exatamente o que ela faz, e é adicionada ao mapa.

Os Resultados: Um Novo Benchmark
Para provar que sua ideia funciona, a equipe não testou apenas em perguntas fáceis. Eles construíram um novo teste chamado OpenSciToolBench. Pense nisso como um videogame com quatro níveis de dificuldade:

Nível 1: Tarefas fáceis usando 1–2 ferramentas (como pedir um fato simples).
Nível 2: Tarefas médias usando 2–4 ferramentas (como comparar dois produtos químicos).
Nível 3: Tarefas difíceis usando 3–6 ferramentas (como encontrar uma molécula que se ajuste a um conjunto complexo de regras).
Nível 4: Tarefas de especialista usando 5–10 ferramentas (como projetar toda uma estratégia de pesquisa).

O benchmark contém 900 tarefas científicas realistas abrangendo biologia, química e ciência dos materiais. Quando testaram o SciToolAgent-Evo contra outros agentes de IA de ponta, os resultados foram impressionantes. Nos níveis mais difíceis, o novo agente foi significativamente melhor. Por exemplo, nas tarefas de Nível 3, ele obteve a resposta correta cerca de 56% das vezes, enquanto o próximo melhor agente conseguiu apenas cerca de 35%.

Por que Isso Importa
O artigo sugere que esta abordagem é um grande passo à frente porque resolve o "hiato de capacidade". No passado, se um cientista pedisse a uma IA para fazer algo que exigisse uma ferramenta que a IA não possuía, a IA falharia ou alucinaria (inventaria coisas). O SciToolAgent-Evo, no entanto, admite que não conhece a ferramenta, vai buscá-la, aprende e depois a utiliza. Ele cria um ciclo fechado de aprendizado: Tentar -> Falhar/Encontrar -> Aprender -> Atualizar Memória -> Tentar Novamente.

Os autores descobriram que essa natureza "autoevoluinte" torna o agente muito mais robusto. Mesmo quando 70% das ferramentas de que precisava eram inicialmente desconhecidas para ele, o agente ainda conseguia resolver cerca de 59% das tarefas. Isso prova que o agente não está apenas memorizando respostas; ele está realmente aprendendo a adquirir e usar novas ferramentas científicas de forma dinâmica.

Em resumo, o SciToolAgent-Evo é como um robô cientista que nunca para de crescer. Ele começa com uma caixa de ferramentas pequena, mas conforme trabalha, constrói uma biblioteca massiva e organizada de ferramentas e habilidades, tornando-se pronto para os desafios imprevisíveis e de mundo aberto da descoberta científica real.

Resumo Técnico: SciToolAgent-Evo

Definição do Problema

Agentes de Grandes Modelos de Linguagem (LLMs) têm mostrado promessa na pesquisa científica para organizar e invocar ferramentas computacionais especializadas. No entanto, as abordagens existentes operam amplamente sob suposições de mundo fechado, dependendo de espaços de ferramentas predefinidos com semânticas estáticas. Essa limitação restringe sua aplicabilidade a fluxos de trabalho científicos de mundo aberto, onde os requisitos, capacidades e limites das ferramentas evoluem dinamicamente. Em cenários do mundo real, os agentes frequentemente encontram lacunas de capacidade onde as ferramentas necessárias estão ausentes de sua biblioteca conhecida. Os frameworks atuais falham em reconhecer essas lacunas de forma eficaz, levando à exploração passiva excessiva de ferramentas conhecidas ou à falha quando novas capacidades são necessárias. Além disso, os benchmarks existentes tipicamente envolvem cadeias de ferramentas curtas com pistas explícitas de nomes de ferramentas, falhando em avaliar as capacidades centrais exigidas para a aquisição de ferramentas em mundo aberto: o reconhecimento de lacunas de capacidade, o equilíbrio entre exploração e explotação e a consolidação contínua de novo conhecimento.

Metodologia

Os autores propõem o SciToolAgent-Evo, um agente de autoevolução consciente de ontologia projetado para a aquisição de ferramentas científicas em mundo aberto. O framework opera através de duas fases distintas: Acumulação de Conhecimento e Inferência Consciente de Ontologia, suportadas por um benchmark hierárquico.

1. Acumulação de Conhecimento

Durante a fase de treinamento, o agente destila conhecimento generalizável de trajetórias contrastivas sem atualizar os parâmetros do backbone do LLM.

Rollouts Contrastivos: Para uma determinada tarefa, o agente gera uma trajetória de linha de base determinística. Se esta falhar, ele realiza rollouts exploratórios em várias temperaturas. Trajetórias exploratórias bem-sucedidas são pareadas com linhas de base falhas para formar pares contrastivos.
Destilação de Conhecimento: O agente critica esses pares para identificar divergências críticas e razões de falha. Ele então destila dois tipos de conhecimento:
- Habilidades ( $K$ ): Unidades de orientação de cadeia de ferramentas abstratas e reutilizáveis para classes de tarefas específicas.
- Experiências ( $E$ ): Prompts não paramétricos que fornecem orientação de seleção de ferramentas detalhada e específica de domínio ou geral.
Memória Evolutiva: O agente mantém uma memória consistindo em uma biblioteca de habilidades, um pool de experiências e um grafo de ferramentas ontologizado ( $G_K$ ).

2. Inferência Consciente de Ontologia

Durante a inferência, o agente equilibra dinamicamente o uso de ferramentas conhecidas e a exploração de ferramentas desconhecidas.

Roteamento: O agente primeiro verifica se há uma habilidade correspondente em sua memória. Se encontrada, ele executa a cadeia de ferramentas associada. Para tarefas complexas sem uma correspondência direta de habilidade, ele estima a dificuldade e roteia para a aquisição ativa de ferramentas.
Solicitações Ativas de Ferramentas: Em vez de apenas parear consultas brutas, o agente formula solicitações de ferramentas ativas ( $R_q$ ) baseadas em raciocínio guiado por ontologia. Essas solicitações descrevem necessidades de capacidade específicas (ex: "calcular peso molecular") em vez de apenas o objetivo da tarefa.
Portão Bandit (LinUCB): Para cada solicitação, o agente recupera ferramentas candidatas do grafo conhecido ( $G_K$ $G_{K}$ ) e potencialmente do conjunto desconhecido ( $T_U$ $T_{U}$ ). Um portão bandit baseado em LinUCB constrói um vetor de contexto quadridimensional (viabilidade, margem de confiança, alinhamento de ontologia e prior de sucesso histórico) para decidir entre:
- Explotação: Selecionar a ferramenta conhecida com melhor classificação.
- Exploração: Inferir utilidade a partir de atributos esparsos para recuperar uma ferramenta desconhecida compatível.
Conclusão de Ontologia Online: Uma vez que uma nova ferramenta é adquirida e utilizada com sucesso, sua ontologia científica é completada online a partir do histórico de interação e migrada para o grafo de ferramentas conhecido ( $G_K$ ), permitindo a integração contínua para tarefas futuras.

3. OpenSciToolBench

Para abordar a falta de padrões de avaliação adequados, os autores introduzem o OpenSciToolBench, um benchmark hierárquico contendo 900 tarefas realistas através de quatro níveis de dificuldade:

Nível-1: Invocação explícita de ferramenta (1–2 ferramentas).
Nível-2: Análise de propriedades via recuperação ou computação (2–4 ferramentas).
Nível-3: Raciocínio consciente de restrições com propriedades multidimensionais (3–6 ferramentas).
Nível-4: Formulação de estratégia de pesquisa aberta (5–10 ferramentas).
O conjunto de dados abrange biologia, química e ciência dos materiais, com tarefas geradas via um pipeline envolvendo LLM-as-a-Judge e validação humana.

Principais Contribuições

SciToolAgent-Evo: Uma nova arquitetura de agente que integra memória evolutiva (habilidades, experiências, grafo de ferramentas), solicitações de ferramentas ativas e um portão bandit de exploração–explotação para permitir a adaptação autônoma em ambientes científicos dinâmicos.
OpenSciToolBench: Um benchmark abrangente com 900 tarefas em quatro níveis de dificuldade e múltiplos domínios científicos, projetado especificamente para avaliar capacidades de aquisição de ferramentas em mundo aberto.
Validação Empírica: Avaliações extensas demonstrando que o SciToolAgent-Evo alcança desempenho de estado da arte, superando significativamente baselines competitivos (incluindo ReAct, Reflexion e SciToolAgent) tanto em precisão de uso de ferramenta quanto em correção de resposta final.

Resultados

Experimentos foram conduzidos no OpenSciToolBench e SciToolEval usando backbones GPT-5.4-mini e Gemini-3-flash.

Ganhos de Desempenho: O SciToolAgent-Evo melhorou a precisão geral de resposta no OpenSciToolBench em 12.11 e 9.55 pontos sobre os segundos melhores baselines para GPT-5.4-mini e Gemini-3-flash, respectivamente. No SciToolEval, os ganhos foram de 6.11 e 2.89 pontos.
Lidando com Complexidade: O agente mostrou uma vantagem significativa em tarefas complexas de múltiplas ferramentas (Nível-3 e Nível-4), superando métodos de aprendizado em contexto (CoT, ReAct, Reflexion) por margens que excedem 20–30 pontos em alguns casos. Isso destaca a limitação do raciocínio local passo a passo em espaços de ferramentas abertos.
Estudos de Ablação: Remover a acumulação de conhecimento causou uma queda de 14.87 pontos no desempenho, enquanto desabilitar a migração de ferramentas desconhecidas levou à maior degradação (15.69 pontos), confirmando a necessidade de aprendizado contínuo e migração.
Robustez: O agente manteve um desempenho competitivo (59.01% de precisão) mesmo quando 70% do conjunto de ferramentas era inicialmente desconhecido, demonstrando robustez em configurações desafiadoras de mundo aberto.

Significância

O artigo afirma que o SciToolAgent-Evo representa uma mudança da seleção de ferramentas de mundo fechado para a aquisição de ferramentas científicas de mundo aberto. Ao alavancar um mecanismo de autoevolução consciente de ontologia, o agente pode expandir continuamente suas capacidades, reconhecendo lacunas de capacidade e consolidando novo conhecimento de ferramentas sem exigir o retreinamento do backbone do LLM. A introdução do OpenSciToolBench fornece um framework rigoroso para avaliar essas capacidades, indo além da simples invocação de ferramentas para avaliar a formulação de estratégia de pesquisa e o raciocínio de restrições. O trabalho valida que o equilíbrio entre exploração e explotação via portão bandit, combinado com uma memória evolutiva, é crítico para uma adaptação robusta em ambientes científicos dinâmicos.