Automated Standardization of Legacy Biomedical Metadata Using an Ontology-Constrained LLM Agent

Este artigo apresenta e avalia um sistema baseado em agentes de LLM que consulta serviços de terminologia biomédica em tempo real para padronizar automaticamente metadados científicos legados, demonstrando que essa abordagem supera os métodos que dependem apenas do conhecimento prévio do modelo.

O essencial

Imagine que a ciência é como uma biblioteca gigante e bagunçada. Cientistas de todo o mundo escrevem milhões de livros (dados experimentais) e deixam anotações (metadados) nas prateleiras. O problema é que essas anotações estão escritas de um jeito muito pessoal: um diz "pulmão", outro "tecido pulmonar", outro "pulmão humano".

Para que um robô consiga encontrar e organizar esses livros, as anotações precisam seguir regras estritas e padronizadas. Mas, como os cientistas escreveram tudo isso anos atrás, antes de existirem essas regras digitais, a biblioteca está cheia de "poeira" e desorganização.

Este artigo conta a história de como os autores criaram um super-assistente inteligente para limpar essa bagunça. Vamos usar algumas analogias para entender como eles fizeram isso:

1. O Problema: O Tradutor que "Adivinha"

Antes, eles tentavam usar Inteligência Artificial (IA) apenas para ler as anotações velhas e tentar adivinhar a palavra correta.

• A analogia: Imagine que você pede a um tradutor para traduzir um texto antigo para um idioma moderno, mas você só lhe dá uma lista de palavras-chave soltas. O tradutor vai tentar usar o que sabe da memória dele.
• O erro: Às vezes, ele acerta. Mas muitas vezes, ele inventa uma palavra que parece certa, mas não é a oficial. Ou ele esquece que, na regra atual, a palavra "pulmão" só pode ser usada se estiver dentro de uma categoria específica de "órgãos respiratórios". Como a IA não tem acesso ao livro de regras atualizado, ela alucina (inventa coisas).

2. A Solução: O Detetive com Ferramentas (ARMS)

Os autores criaram um novo sistema chamado ARMS. Em vez de deixar a IA apenas "pensar" com base no que ela aprendeu na escola (treinamento), eles deram a ela um kit de ferramentas para consultar fontes oficiais em tempo real.

• A analogia: Imagine que a IA agora é um detetive. Em vez de tentar lembrar de cabeça qual é o nome correto de um suspeito, ela tem um celular conectado a uma base de dados policial oficial e um mapa atualizado da cidade.
  • Ferramenta 1 (O Mapa): Antes de começar, o detetive consulta o "Mapa de Regras" (o modelo CEDAR) para saber exatamente o que é permitido em cada campo.
  • Ferramenta 2 (A Base de Dados): Se o detetive precisa saber se "pulmão" é o termo certo, ele não chuta. Ele liga para a "Biblioteca Oficial de Termos Médicos" (BioPortal) e pergunta: "Ei, existe o termo 'pulmão' na lista de órgãos respiratórios atualizada?".
  • O Resultado: A IA só escreve o que a base de dados confirma que é real e atual.

3. O Teste: A Limpeza da Biblioteca

Eles testaram esse sistema em 839 registros de dados antigos do programa HuBMAP (um projeto gigante de mapeamento do corpo humano). Eles tinham uma "resposta correta" feita por especialistas humanos para comparar.

• O Confronto:
  • IA Velha (Sem ferramentas): Acertou apenas 54% dos casos. Ela estava confusa e inventando termos.
  • IA Nova (Com ferramentas/ARMS): Acertou 79% dos casos.
  • O Grande Salto: Nos campos onde as regras eram mais rígidas (usando dicionários médicos específicos), a IA velha acertava apenas 46%, mas a nova acertou 78%. Em alguns tipos de exames, a nova IA chegou a acertar 100%!

4. Por que isso é importante?

Pense na ciência como uma grande conversa global. Se cada pessoa fala um dialeto diferente, ninguém se entende.

• Antes: Os dados eram como cartas escritas em códigos secretos. Era difícil juntar informações de diferentes laboratórios para descobrir novas curas ou entender doenças.
• Depois: Com esse sistema, as cartas são reescritas automaticamente em uma linguagem padrão e perfeita. Isso permite que computadores de todo o mundo "conversem" entre si, encontrando padrões que humanos levariam anos para achar.

Resumo da Ópera

Os autores mostraram que, para consertar dados antigos e bagunçados, não basta pedir para a Inteligência Artificial "tentar adivinhar". É preciso dar a ela acesso a ferramentas que consultem as regras oficiais no momento em que ela está trabalhando.

É a diferença entre um aluno que tenta decorar a resposta de um teste (e pode errar se a pergunta mudar) e um aluno que tem acesso à internet e ao livro de regras durante a prova. O resultado é muito mais preciso, rápido e confiável.

Resumo técnico

Resumo Técnico: Padronização Automatizada de Metadados Biomédicos Legados usando um Agente LLM Constrained por Ontologia

1. O Problema

Os metadados científicos em repositórios públicos são frequentemente incompletos, inconsistentes e não conformes com padrões comunitários, o que limita a descoberta, interoperabilidade e reutilização de dados (princípios FAIR). Embora existam diretrizes de relatórios (como MIAME), elas são geralmente documentos textuais que não possuem representações acionáveis por máquinas.

• Limitação das Abordagens Atuais: Trabalhos anteriores utilizaram Grandes Modelos de Linguagem (LLMs) guiados por prompts estáticos contendo nomes de campos e restrições de ontologia. No entanto, essa abordagem trata as restrições como texto, dependendo apenas do conhecimento paramétrico (treinamento) do modelo.
• Falhas Específicas: Os LLMs não possuem representação confiável da estrutura de ontologias (especialmente sub-árvores específicas), não conhecem termos canônicos atualizados (ontologias evoluem) e tendem a "alucinar" termos quando o conhecimento de treinamento é incerto. Isso resulta em valores que são semanticamente próximos, mas não exatos, falhando na padronização rigorosa necessária para integração de dados.

2. Metodologia: ARMS (Agentic Real-Time Metadata Standardization)

Os autores propõem o ARMS, um sistema baseado em agentes que utiliza LLMs equipados com ferramentas de acesso a fontes de conhecimento externas em tempo real, em vez de depender apenas de prompts estáticos.

• Arquitetura do Agente:
  • O sistema utiliza um agente de IA (implementado em Python com LangChain/LangGraph) que interage com um LLM (GPT-5-mini ou GPT-4.1-mini).
  • O agente utiliza o Model Context Protocol (MCP) para conectar-se a serviços externos através de uma interface padronizada.
• Ferramentas (MCP Tools) Implementadas:
  1. get_cedar_template: Consulta a API REST do CEDAR para recuperar a especificação completa do modelo de metadados (definições de campos, tipos de dados, padrões de string e restrições de valor baseadas em ontologia).
  2. term_search_from_ontology: Consulta a API REST do BioPortal para buscar termos de ontologia correspondentes a uma string de busca dentro de uma ontologia específica.
  3. term_search_from_branch: Consulta o BioPortal para buscar termos dentro de um ramo específico de uma ontologia (ex: apenas estruturas do trato digestivo), respeitando restrições hierárquicas.
• Fluxo de Trabalho:
  1. O agente recebe um registro de metadados legado e um identificador de modelo CEDAR.
  2. O agente busca a especificação completa do modelo CEDAR para entender as restrições de cada campo.
  3. Para campos restritos a ontologias, o agente consulta o BioPortal em tempo real para obter termos candidatos canônicos.
  4. O LLM raciocina sobre os candidatos retornados, selecionando a melhor correspondência com base no contexto do registro legado.
  5. O agente também corrige valores mal posicionados, infere valores ausentes e aplica correções de formato baseadas nas especificações do modelo.

3. Contribuições Principais

• Mudança de Paradigma: Transição de uma abordagem de "prompting estático" para uma abordagem de "agente com ferramentas" (tool-use), onde as restrições de ontologia são tratadas como especificações executáveis e não apenas texto.
• Validação em Tempo Real: O sistema não tenta adivinhar termos baseados no treinamento; ele busca ativamente os termos canônicos corretos e atualizados em repositórios autoritativos (BioPortal).
• Avaliação Rigorosa: Uso de um conjunto de dados de "padrão-ouro" (gold standard) curado por especialistas do HuBMAP (Human BioMolecular Atlas Program), permitindo uma avaliação de correspondência exata (exact-match) que é rara na área de metadados.
• Generalização: Demonstração de que a abordagem funciona eficazmente em 12 tipos diferentes de ensaios (sequenciamento, imageamento e espectrometria de massa), cobrindo 839 registros legados.

4. Resultados

O desempenho do agente ARMS foi comparado a uma linha de base de "LLM apenas com prompt" (prompt-only) em 839 registros de metadados do HuBMAP.

• Acurácia Geral:
  • LLM (Prompt-only): 54% de acurácia geral.
  • ARMS (Agente com Ferramentas): 79% de acurácia geral.
  • Melhoria Relativa: 46% de aumento na acurácia geral.
• Campos Restritos por Ontologia:
  • Esta foi a categoria com maior ganho, pois o LLM puro não consegue acessar a estrutura da ontologia.
  • Acurácia do LLM: 46% → Acurácia do ARMS: 78% (Melhoria relativa de 70%).
  • Em dois tipos de ensaios (Lightsheet e MIBI), o ARMS atingiu 100% de acurácia nesses campos.
• Campos Não Restritos por Ontologia:
  • Campos de texto livre, numéricos ou com padrões de string também melhoraram (59% para 79%, +35%), demonstrando que o acesso à especificação completa do modelo (descrições, tipos de dados) ajuda o LLM a formatar e corrigir valores mesmo sem consulta de ontologia.
• Robustez do Modelo: Os resultados foram consistentes tanto com o GPT-5-mini quanto com o GPT-4.1-mini, indicando que o benefício vem da arquitetura de ferramentas e não apenas da capacidade do modelo.
• Custo e Tempo: O uso de ferramentas aumentou o consumo de tokens e o tempo de execução, mas otimizações como chamadas assíncronas, cache de respostas e execução paralela tornaram o processo viável para escala.

5. Significado e Conclusão

O trabalho demonstra que a padronização automatizada de metadados científicos não pode depender apenas da capacidade de geração de texto dos LLMs. A precisão necessária para a interoperabilidade de dados exige acesso operacional a fontes de conhecimento estruturado durante a inferência.

• Impacto: A abordagem ARMS oferece um caminho escalável para tornar legados de dados (milhões de registros) em conjuntos de dados FAIR, superando as limitações de curadoria manual e de modelos puramente baseados em prompts.
• Limitações Identificadas: O sistema ainda falha quando o BioPortal não retorna resultados para variações ortográficas específicas ou quando informações críticas (como configurações de protocolo) não estão presentes no registro legado e só poderiam ser inferidas por curadores humanos com acesso a documentos externos.
• Futuro: O trabalho sugere a expansão das ferramentas para incluir recuperação de documentos externos e o enriquecimento de ontologias com sinônimos para melhorar a robustez da busca.

Em suma, combinar especificações de metadados estruturados (CEDAR) com agentes LLM que utilizam ferramentas de busca em tempo real (BioPortal) representa um avanço significativo na automação da qualidade de dados biomédicos.