Mimosa Framework: Toward Evolving Multi-Agent Systems for Scientific Research

O artigo apresenta o Mimosa, um framework de código aberto para sistemas multiagentes evolutivos que sintetiza e refina automaticamente fluxos de trabalho científicos com base em feedback experimental, superando abordagens estáticas no benchmark ScienceAgentBench e promovendo a reprodutibilidade e a adaptabilidade na pesquisa científica automatizada.

O essencial

Imagine que a ciência é como tentar cozinhar um prato complexo e perfeito, mas você está em uma cozinha onde os ingredientes mudam, as receitas são confusas e, às vezes, o forno decide que a temperatura está errada no meio do processo.

Até agora, os "robôs cientistas" (sistemas de Inteligência Artificial) eram como cozinheiros que seguiam um livro de receitas rígido. Se o livro dizia "adicione sal", eles adicionavam sal. Se faltasse sal na despensa, o robô travava. Se o prato não ficasse bom, eles não sabiam mudar a receita; apenas repetiam o erro ou desistiam.

O Mimosa é uma nova abordagem que muda completamente essa história. Pense nele não como um cozinheiro solitário, mas como um chef executivo dinâmico que lidera uma equipe de especialistas.

Aqui está como o Mimosa funciona, usando analogias do dia a dia:

1. O Problema: A Rigidez dos Robôs Antigos

Os sistemas atuais de pesquisa científica automática são como músicos que tocam apenas uma música. Eles são ótimos tocando "Clássico nº 1", mas se você pedir "Jazz", eles não sabem o que fazer. Eles têm um roteiro fixo. Se algo dá errado no meio da música, eles não conseguem improvisar. Isso limita a descoberta científica, porque a ciência real é cheia de surpresas e caminhos não lineares.

2. A Solução: O Mimosa (O Maestro que Aprende)

O Mimosa é um sistema de agentes múltiplos que evolui. Em vez de um único robô tentando fazer tudo, o Mimosa cria uma equipe temporária de "agentes" (pequenos robôs especialistas) para cada tarefa específica.

• A Equipe (Agentes): Imagine que você precisa consertar um carro. Você não chama um único mecânico para fazer tudo. Você chama um para o motor, outro para a elétrica e outro para a pintura. O Mimosa faz isso: ele cria uma equipe de especialistas virtuais para cada problema científico.
• A Ferramenta Mágica (MCP): O Mimosa usa um sistema chamado "Model Context Protocol" (MCP). Pense nisso como uma caixa de ferramentas universal. Se o robô precisa de um software novo que acabou de ser lançado na internet, o Mimosa o "encontra" e o adiciona à caixa de ferramentas instantaneamente, sem precisar reprogramar o robô inteiro.

3. O Segredo: O Ciclo de "Tentar, Avaliar e Melhorar"

Aqui está a parte mais genial do Mimosa. Ele não apenas executa a tarefa uma vez e pronto. Ele funciona como um jogo de "Quente ou Frio" ou um treinador de esportes:

1. Tenta: O Mimosa cria uma equipe e tenta resolver o problema científico.
2. Avalia (O Juiz): Um "juiz" (uma IA inteligente) olha para o resultado e diz: "Ei, a equipe trabalhou bem, mas o agente de química errou a fórmula" ou "A comunicação entre os robôs foi lenta".
3. Melhora (A Evolução): Com base nessa crítica, o Mimosa reescreve a equipe. Ele pode demitir um agente, contratar um novo, mudar quem fala com quem ou pedir para um agente usar uma ferramenta diferente.
4. Repete: Ele tenta novamente com a nova equipe.

Esse ciclo acontece várias vezes (até 10 vezes, se necessário) até que o resultado seja perfeito. É como se você estivesse refinando uma receita de bolo: "Tentei, ficou seco. Vou adicionar mais leite. Tentei de novo, ficou bom demais. Vou tirar um pouco de farinha."

4. Os Resultados: Otimismo com Realismo

Os pesquisadores testaram o Mimosa em um "campo de treinamento" chamado ScienceAgentBench, que tem 102 tarefas científicas reais (como analisar dados de biologia ou química).

• O Resultado: O Mimosa conseguiu resolver 43,1% das tarefas com sucesso, superando os robôs antigos que seguiam roteiros fixos.
• A Lição Importante: Eles descobriram que nem todos os "cérebros" (modelos de IA) funcionam bem com essa equipe. Alguns robôs são tão inteligentes que preferem trabalhar sozinhos; outros precisam desesperadamente da ajuda da equipe e da correção contínua para brilhar. O Mimosa aprendeu que não existe uma solução única para todos; o sistema precisa se adaptar ao "cérebro" que está sendo usado.

5. Por que isso é importante para nós?

• Reprodutibilidade: Como o Mimosa grava cada passo, cada erro e cada mudança na equipe, é possível revisar exatamente como a descoberta foi feita. Nada é "mágico" ou esquecido.
• Adaptabilidade: Se um novo instrumento de laboratório for inventado amanhã, o Mimosa pode aprender a usá-lo imediatamente, sem precisar de uma atualização de software gigante.
• Custo: Usar essa abordagem permite usar modelos de IA menores e mais baratos, dividindo o trabalho entre eles, em vez de depender de um "super-robô" caríssimo para tudo.

Resumo em uma frase

O Mimosa é como um maestro de orquestra que não apenas toca a música, mas reescreve a partitura e troca os músicos em tempo real até que a sinfonia científica fique perfeita, garantindo que a ciência seja mais rápida, adaptável e confiável.

E o melhor de tudo? Eles liberaram o código de graça para que qualquer pessoa possa usar e melhorar essa tecnologia.

Resumo técnico

1. O Problema

Os sistemas atuais de Pesquisa Científica Autônoma (ASR), embora utilizem Grandes Modelos de Linguagem (LLMs) e arquiteturas de agentes, enfrentam limitações críticas:

• Rigidez Arquitetural: Eles dependem de fluxos de trabalho (workflows) e conjuntos de ferramentas fixos, o que impede a adaptação a tarefas em evolução, falhas de ferramentas ou trajetórias de descoberta não lineares.
• Desvio Semântico (Semantic Drift): Em execuções de longo prazo com um único agente, o contexto acumulado leva à perda de foco, alucinações e desvio do objetivo original.
• Falta de Auditabilidade e Reprodutibilidade: A fragmentação de métodos e a ausência de registros estruturados de execução dificultam a verificação de resultados científicos.
• Incapacidade de Reconfiguração: Sistemas existentes não conseguem reorganizar a coordenação entre agentes ou a utilização de ferramentas quando novos requisitos surgem durante o experimento.

2. Metodologia: O Framework Mimosa

O Mimosa é um framework de código aberto projetado para criar sistemas multi-agente que evoluem iterativamente. Sua arquitetura é composta por cinco camadas principais:

• Camada 0 (Planejamento - Opcional): Decompõe objetivos científicos de alto nível em tarefas granulares. No estudo, o foco foi em tarefas individuais (modo "task"), ignorando a decomposição de objetivos complexos.
• Camada 1 (Descoberta de Ferramentas): Utiliza o Model Context Protocol (MCP) e uma plataforma companheira chamada Toolomics para descobrir dinamicamente ferramentas computacionais e instrumentos de laboratório disponíveis na rede. Isso permite que o sistema se adapte a novos recursos sem reconfiguração manual.
• Camada 2 (Meta-Orquestração): O núcleo da adaptabilidade.
  • Inicialização: Busca no histórico (archive) workflows semelhantes a partir de um banco de dados. Se não houver similaridade, sintetiza um novo workflow de novo.
  • Refinamento Iterativo: Utiliza uma busca local de "único incumbente" (single-incumbent search). O orquestrador propõe mutações estruturais no workflow atual (adicionar/remover agentes, reescrever prompts, reconfigurar conexões) com base no feedback de execução.
• Camada 3 (Execução de Agentes): As tarefas são executadas por instâncias do SmolAgent (agentes geradores de código da Hugging Face). Eles escrevem e executam código Python diretamente para invocar ferramentas MCP, permitindo manipulação de dados, chamadas de bibliotecas científicas (ex: RDKit, BioPython) e orquestração complexa.
• Camada 4 (Avaliação - "Judge"): Um LLM atua como juiz para avaliar a execução do workflow com base em quatro critérios:
  1. Alinhamento com o objetivo.
  2. Eficiência da colaboração entre agentes.
  3. Qualidade da saída.
  4. Plausibilidade da resposta (ou veracidade contra ground truth se disponível).
     O feedback estruturado do juiz guia a próxima mutação do workflow.

3. Contribuições Chave

• Evolução de Workflow Dinâmica: Diferente de pipelines estáticos, o Mimosa ajusta a topologia do sistema multi-agente (quem faz o quê e como se comunicam) iterativamente com base no feedback experimental.
• Integração Tool-Agnostic via MCP: O uso do MCP permite que o sistema descubra e utilize ferramentas heterogêneas (desde análise estatística até controle de instrumentos) de forma padronizada e isolada em contêineres.
• Auditabilidade Total: Cada passo da execução é registrado em logs estruturados, permitindo a reprodutibilidade completa e a inspeção de cada decisão analítica.
• Arquitetura Modular: O sistema separa a geração de prompts, a orquestração, a execução e a avaliação, permitindo o uso de diferentes modelos de LLM para diferentes funções.

4. Resultados Experimentais

O framework foi avaliado no ScienceAgentBench, um conjunto de dados com 102 tarefas de descoberta orientada a dados em quatro disciplinas científicas.

• Desempenho Geral: Utilizando o modelo DeepSeek-V3.2, o Mimosa alcançou uma Taxa de Sucesso (Success Rate - SR) de 43,1% com o modo de aprendizado iterativo.
• Comparação com Baselines:
  • Superou significativamente os sistemas de agente único (que tiveram SR de 38,2% com o mesmo modelo).
  • Superou configurações multi-agente estáticas (one-shot), que tiveram SR de 32,4%.
  • O ganho de 43,1% supera as melhores taxas reportadas anteriormente no benchmark (ex: 42,2% com o modelo o1-preview da OpenAI, mas a um custo muito maior).
• Heterogeneidade dos Modelos: O estudo revelou que a eficácia da evolução do workflow depende do modelo subjacente.
  • Modelos com baseline forte em agente único (DeepSeek-V3.2) beneficiaram-se enormemente da iteração.
  • Modelos com baseline fraca (GPT-4o, Claude Haiku) melhoraram drasticamente ao passar para multi-agente, mas a evolução iterativa teve retornos variáveis (alguns melhoraram, outros degradaram ligeiramente), indicando que a arquitetura ideal depende das capacidades do modelo.
• Custo-Eficiência: O Mimosa alcançou resultados competitivos usando modelos mais baratos (DeepSeek-V3.2) em comparação com modelos de raciocínio caros (como o o1-preview), embora o custo por tarefa seja maior devido ao ciclo de iteração.

5. Significado e Impacto

• Mudança de Paradigma: O trabalho propõe uma transição de pipelines científicos rígidos e pré-definidos para sistemas multi-agente adaptativos que aprendem e se reconfiguram com a experiência.
• Reprodutibilidade Científica: Ao fornecer logs de execução completos e workflows versionados, o Mimosa aborda a crise de reprodutibilidade na ciência, permitindo que qualquer passo analítico seja auditado e replicado.
• Escalabilidade e Acessibilidade: A arquitetura modular e o uso de ferramentas via MCP facilitam a integração de novos domínios científicos sem reescrever o núcleo do sistema.
• Futuro da Pesquisa Autônoma: O framework demonstra que a evolução de workflows pode superar as limitações de modelos de linguagem individuais em tarefas complexas, abrindo caminho para laboratórios autônomos verdadeiramente adaptativos.

O código-fonte do Mimosa e da plataforma Toolomics está disponível publicamente sob licença Apache 2.0, promovendo uma base aberta para o desenvolvimento comunitário de ASR.