User-driven development and evaluation of an agentic framework for analysis of large pathway diagrams

Este artigo descreve o desenvolvimento e avaliação orientados pelo usuário do Llemy, um sistema baseado em modelos de linguagem para explorar mapas de interação molecular complexos, destacando a importância da colaboração contínua com especialistas para aprimorar a utilidade da ferramenta e promover a transição para modelos de linguagem de pesos abertos no ambiente de pesquisa.

O essencial

Imagine que o conhecimento sobre como o nosso corpo funciona (biologia) é como uma biblioteca gigante e bagunçada. Nessa biblioteca, existem mapas complexos que mostram como as células conversam entre si, como se fossem diagramas de encanamento ou de trânsito de uma cidade enorme. Para um especialista, esses mapas são úteis. Mas para um iniciante, ou até para um cientista cansado, tentar encontrar uma informação específica nesses mapas é como procurar uma agulha num palheiro, ou tentar ler um livro escrito em uma língua que você não domina totalmente.

É aqui que entra a história deste artigo: como usar a Inteligência Artificial (IA) para ser o nosso "guia turístico" pessoal nessa biblioteca de mapas biológicos.

Aqui está a explicação simplificada, passo a passo:

1. O Problema: Mapas Gigantes e Confusos

Os cientistas criam "Mapas de Interação Molecular" (imagens que mostram como proteínas e genes interagem). Eles são feitos à mão, com muito cuidado, e seguem regras rígidas. O problema é que existem muitos desses mapas, eles são grandes e difíceis de navegar. Se você quiser saber "o que acontece com o fígado quando tomamos um remédio?", você teria que vasculhar horas nesses diagramas.

2. A Solução: O "Llemy" (O Guia de IA)

Os autores criaram um sistema chamado Llemy. Pense nele como um assistente de viagem superinteligente que você pode conversar.

• Como funciona: Você entra no site, escolhe um mapa (por exemplo, um mapa sobre o metabolismo do fígado) e faz uma pergunta em linguagem natural, como se estivesse conversando com um amigo: "Me explique como a bile é produzida" ou "Onde está a enzima X?".
• O Truque: O Llemy não apenas "chuta" a resposta. Ele vai até o mapa oficial, lê os dados reais, e depois usa uma Inteligência Artificial (um modelo de linguagem grande) para resumir essa informação e te explicar de forma clara, citando exatamente de onde tirou a informação.

3. A Abordagem: "Feito pelos Usuários" (Hackathon)

Em vez de os cientistas ficarem trancados num laboratório criando algo que acham que é legal, eles fizeram o contrário.

• A Analogia: Imagine que você quer construir um novo tipo de cadeira. Em vez de desenhar sozinho, você convida 20 pessoas que vão sentar nela, dá a elas madeira e ferramentas, e diz: "Vamos construir isso juntos em dois dias!".
• O que aconteceu: Eles organizaram um evento chamado "Hackathon" (uma maratona de programação) com biólogos, curadores de mapas e especialistas em IA. Juntos, eles criaram o primeiro protótipo do Llemy, testaram perguntas difíceis e viram o que funcionava e o que falhava.

4. O Teste: A Prova de Fogo

Depois de melhorar o protótipo, eles convidaram 25 pessoas (especialistas e usuários comuns) para testar o sistema de verdade.

• O Desafio: Os usuários fizeram perguntas como "Resuma este mapa" ou "Encontre todas as enzimas".
• O Feedback: Eles deram notas de 1 a 5 para três coisas:
  1. Precisão: A resposta estava certa?
  2. Concisão: A resposta foi direta ou enrolou?
  3. Confiabilidade: Os links para a fonte original funcionavam?

5. O Que Eles Descobriram (Resultados)

• O que funcionou bem: O Llemy foi ótimo para resumir mapas complexos. Funcionou como um tradutor que transforma um livro técnico chato em um resumo fácil de ler.
• O que foi difícil: Quando os usuários pediam para o sistema encontrar detalhes muito específicos ou fazer análises complexas, o sistema às vezes se confundia.
• O problema da "Alucinação": Às vezes, a IA inventava fatos ou não encontrava algo que estava lá. Isso é comum em IAs atuais.
• A velocidade importa: Quanto mais tempo o sistema levava para responder, menos os usuários gostavam da resposta, mesmo que a resposta estivesse correta.

6. O Futuro: Para onde vamos?

Os autores concluem que o Llemy é um começo promissor, mas precisa de ajustes.

• Melhorias necessárias: Tornar a resposta mais rápida, garantir que a IA não invente fatos e melhorar a forma como ela entende nomes de genes (às vezes a IA não entende que "Insulina" e "INS" são a mesma coisa).
• A Visão de Longo Prazo: Eles querem que o sistema seja gratuito e aberto (usando modelos de IA de código aberto), para que qualquer cientista no mundo possa usá-lo sem pagar caro por assinaturas de empresas privadas.

Resumo Final

Este artigo conta a história de como um grupo de cientistas usou a Inteligência Artificial para transformar mapas biológicos complexos e assustadores em ferramentas fáceis de usar. Eles não fizeram isso sozinhos; eles construíram o sistema junto com os usuários, testaram, ouviram as críticas e estão planejando melhorias.

É como se eles tivessem dado um GPS para quem está tentando navegar na floresta densa da biologia moderna. O GPS ainda tem alguns bugs e às vezes demora a carregar o mapa, mas já ajuda muito a não se perder.

Resumo técnico

Título: Desenvolvimento e Avaliação Orientada pelo Utilizador de um Framework Agente para Análise de Grandes Diagramas de Vias Biológicas

1. O Problema

O ecossistema de conhecimento biomédico está a crescer exponencialmente em tamanho e complexidade, especialmente em repositórios de mapas de interação molecular (diagramas de vias celulares e moleculares). Embora estes recursos, muitas vezes baseados em padrões como SBGN e SBML e alojados na plataforma MINERVA, sejam valiosos para a geração de hipóteses e interpretação de dados, eles apresentam desafios significativos:

• Complexidade de Navegação: São difíceis de navegar, especialmente para utilizadores não experientes, devido aos diferentes formatos, interfaces e granularidades.
• Volume de Dados: A quantidade massiva de componentes e relações torna a exploração manual demorada e propensa a erros.
• Falta de Ferramentas Dedicas: Embora existam modelos de linguagem grandes (LLMs) para tarefas gerais, faltava uma solução dedicada que integrasse diretamente a exploração interativa destes mapas moleculares específicos, permitindo a síntese de conhecimento estruturado com referências verificáveis.

2. Metodologia

O artigo descreve o desenvolvimento e avaliação de Llemy, um sistema baseado em LLMs, através de um processo estritamente orientado pelo utilizador:

• Abordagem de Desenvolvimento:

  • Hackathon Inicial: Um protótipo foi desenvolvido num hackathon de dois dias com especialistas (hepatotoxicologistas, curadores de mapas, biólogos computacionais e especialistas em LLM).
  • Arquitetura do Sistema: Llemy é construído em Python, utilizando Streamlit para a interface e LangChain como backend agêntico. O sistema opera com dois agentes em paralelo:
    1. Um agente de recuperação que extrai dados do mapa selecionado via API da plataforma MINERVA (nós, arestas, anotações).
    2. Um agente de síntese (inicialmente GPT-4.1) que combina o prompt do utilizador, as instruções de contexto e os dados recuperados para gerar uma resposta.
  • Funcionalidades: O sistema gera respostas contextualizadas, inclui referências literárias e cria hiperligações clicáveis para elementos específicos do mapa original, garantindo a rastreabilidade.

• Estudo de Utilizadores:

  • Participantes: 25 utilizadores recrutados da comunidade "Disease Maps" (incluindo curadores, desenvolvedores e utilizadores finais).
  • Tarefas: Os utilizadores interagiram com o sistema usando prompts pré-definidos ou próprios, focando em três categorias de tarefas: Resumir (Summarise), Encontrar (Find) e Analisar (Analyse).
  • Métricas de Avaliação: A performance foi avaliada em três escalas de 1 a 5: Precisão (Accuracy), Concisão (Conciseness) e Confiabilidade (Reliability).
  • Análise Estatística: Foram utilizados modelos mistos de ligação cumulativa (CLMM) para analisar o impacto do tempo de resposta e das categorias de prompts nas métricas de avaliação.

3. Principais Contribuições

• Sistema Llemy: Uma ferramenta online funcional que permite a exploração de grandes diagramas de vias moleculares através de linguagem natural, integrando dados estruturados de repositórios biológicos com capacidades de LLM.
• Framework de Avaliação Orientado pelo Utilizador: Uma metodologia robusta que combina feedback granular (por prompt) e global (inquérito), demonstrando como envolver especialistas de domínio desde a fase de prototipagem.
• Categorização de Tarefas: Identificação e definição de três categorias principais de interação (Resumir, Encontrar, Analisar) que servem de base para o benchmarking futuro de sistemas similares.
• Transparência e Rastreabilidade: O sistema foi desenhado para fornecer ligações diretas aos dados fonte (MINERVA), mitigando o problema de "alucinação" comum em LLMs ao permitir a verificação imediata das afirmações.

4. Resultados

• Desempenho Geral:
  • As medianas de avaliação foram: Precisão (4), Confiabilidade (4) e Concisão (3).
  • Impacto do Tempo: Houve uma correlação negativa significativa entre o tempo de resposta e a qualidade percebida (β = -0.34); respostas mais lentas foram avaliadas pior.
  • Diferenças por Categoria: A tarefa de "Resumir" obteve as pontuações mais altas. A categoria "Encontrar" apresentou uma distribuição mais ampla e avaliações mais baixas, sugerindo que a recuperação de elementos específicos dentro de mapas complexos é mais desafiadora para o LLM.
• Feedback Qualitativo:
  • Pontos Fortes: Os utilizadores elogiaram a capacidade de síntese e a identificação correta de conexões entre submapas.
  • Pontos Fracos: Erros factuais, falha em localizar conteúdo existente, referências de reações fabricadas ou não correspondentes, e dificuldades em lidar com sinónimos e nomenclatura (ex: nomes HGNC vs. abreviações comuns).
  • Variabilidade: Os utilizadores notaram uma variabilidade significativa nas respostas para prompts semelhantes, um comportamento conhecido dos LLMs.
• Usabilidade: A usabilidade foi classificada como alta (>80% deu nota 4 ou 5), embora a utilidade percebida tenha sido mais moderada entre utilizadores menos familiarizados com o conteúdo dos mapas.

5. Significado e Conclusão

O estudo demonstra que os LLMs têm um potencial significativo para reduzir a barreira de complexidade na análise de diagramas biológicos interativos, funcionando como uma porta de entrada eficaz para a exploração de conhecimento estruturado.

• Importância para a Comunidade: A abordagem orientada pelo utilizador revelou lacunas críticas (como a gestão de sinónimos e a consistência das referências) que devem ser endereçadas no desenvolvimento futuro.
• Futuro e Sustentabilidade: Os autores recomendam a transição para modelos de LLM de peso aberto (open-weight) para garantir a reprodutibilidade, reduzir custos e adaptar-se a um ambiente de investigação aberto.
• Roadmap: O plano futuro inclui a melhoria da arquitetura para reduzir latência, a criação de fluxos de trabalho dedicados para cada tipo de tarefa e a integração programática direta com a plataforma MINERVA através de plugins e protocolos de contexto (MCP).

Em suma, o Llemy estabelece um precedente para o desenvolvimento de ferramentas de IA em biologia de sistemas, onde a colaboração contínua entre especialistas de domínio e engenheiros de IA é essencial para criar ferramentas robustas, verificáveis e úteis.