Resumo Técnico: Lettuce – Ferramenta de NLP para Mapeamento de Termos Médicos para o Padrão OMOP

1. O Problema

A padronização de dados de saúde observacionais para o Modelo de Dados Comum OMOP (Common Data Model - CDM) é um processo complexo e crítico para tornar os dados FAIR (Findable, Accessible, Interoperable, Reusable). O principal desafio reside na conversão de "termos fonte" (nomes de medicamentos, condições ou procedimentos extraídos de registros eletrônicos ou questionários, muitas vezes informais, com erros de digitação ou variações de marca) para conceitos padronizados do vocabulário OMOP.

As soluções existentes apresentam limitações significativas:

• Busca no Athena e Usagi: Ferramentas tradicionais baseadas em correspondência de strings (como o algoritmo BM25 usado pelo Usagi) dependem de similaridade lexical exata. Elas falham em capturar nuances semânticas (ex: "Now Foods omega-3" vs. "Ácidos graxos ômega-3") e exigem intervenção manual massiva para revisão e correção.
• Modelos de Linguagem Proprietários (LLMs): O uso de APIs de nuvem (como OpenAI/ChatGPT) para mapeamento levanta preocupações críticas sobre conformidade com o GDPR e proteção de dados de pacientes sensíveis, além de questões de reprodutibilidade.

2. Metodologia

O artigo apresenta o Lettuce, uma ferramenta de código aberto, independente e baseada em Processamento de Linguagem Natural (NLP) avançado, projetada para rodar localmente (garantindo privacidade de dados).

Arquitetura do Lettuce

O sistema utiliza três rotas principais para recuperação de conceitos, permitindo que o usuário selecione o fluxo ideal:

1. Busca Textual (Lexical): Utiliza correspondência de palavras-chave (lexemas) e normalização de raízes de palavras. É rápida e eficaz para termos que já possuem grafia similar ao vocabulário OMOP.
2. Busca Semântica Vetorial: Utiliza modelos de embeddings (como BGE-small e PubMedBERT) para converter texto em vetores numéricos. Permite encontrar conceitos semanticamente similares mesmo com grafias diferentes (ex: "Paracetamol" e "Acetaminofeno"). Os vetores são pré-computados e armazenados em um banco de dados PostgreSQL com extensão PGVector.
3. Geração Aumentada por Recuperação (RAG) com LLMs: Combina a busca semântica com Grandes Modelos de Linguagem (LLMs).
   • O sistema recupera os conceitos mais similares semanticamente.
   • Esses conceitos são inseridos como contexto em um prompt para o LLM.
   • O LLM sugere o conceito formal correto, que é então validado contra o vocabulário OMOP para garantir que a saída seja um conceito válido.

Implementação Técnica

• Interface: Oferece CLI (Command-Line Interface) e API HTTP (via FastAPI).
• Modelos Testados: Foram avaliados diversos LLMs de código aberto (Llama 3.1/3.2, Phi-3, Gemma, Qwen2.5) em versões quantizadas para rodar em ambientes com recursos limitados.
• Framework de Avaliação: Desenvolvimento do Lettuce-inspector, um framework modular para benchmarking, permitindo testar combinações de pipelines, modelos e estratégias de embedding.

3. Contribuições Principais

1. Ferramenta de Código Aberto e Local: O Lettuce é a primeira ferramenta que integra busca semântica e LLMs para mapeamento OMOP com foco total na conformidade com o GDPR, permitindo a execução local de dados sensíveis.
2. Pipeline Híbrido Inteligente: A abordagem de RAG supera as limitações dos métodos puramente baseados em strings e dos LLMs "puros" (que não conhecem o vocabulário OMOP interno), garantindo que as sugestões sejam sempre conceitos válidos do banco de dados.
3. Flexibilidade e Modularidade: O sistema permite a configuração dinâmica de pipelines (texto, vetores, RAG) e a integração futura de classificadores hierárquicos ou agentes autônomos.
4. Validação em Dados Reais: O estudo valida a metodologia em dois conjuntos de dados distintos: um hospitalar formal (Nottingham University Hospitals - NUH) e um estudo populacional com dados auto-relatados e informais (HELIOS, Singapura).

4. Resultados

O desempenho foi comparado entre métodos lexicais (BM25), busca semântica e pipelines com LLM+RAG.

• Busca Semântica vs. Lexical:

  • No conjunto de dados HELIOS (termos informais e complexos), a busca semântica (BGE-small) superou significativamente a busca lexical (BM25). Enquanto o BM25 recuperou o conceito correto no top 10 em apenas 10,25% dos casos, a busca semântica alcançou 22,25% (quase o dobro).
  • No conjunto NUH (termos mais formais), a busca semântica também foi superior, alcançando 79,8% de precisão no top 10 contra 50,9% do BM25.

• Impacto do RAG com LLMs:

  • A adição de RAG aumentou a probabilidade de o LLM fornecer a resposta correta em 62% (Odds Ratio de 1,62) em comparação com o uso do LLM sem contexto.
  • O modelo Gemma 3 (12B) com RAG e representação de atributos do conceito (nome, domínio, classe, pontuação) obteve os melhores resultados no dataset HELIOS, atingindo 45,5% de precisão (quase metade dos casos informais resolvidos corretamente).
  • A representação dos dados no prompt (incluir atributos como domínio e classe) foi mais eficaz do que apenas incluir a pontuação de similaridade.

• Eficiência: Modelos menores (ex: Llama 3.2 3B) performaram de forma competitiva com modelos maiores, demonstrando que o Lettuce pode ser executado em hardware menos potente.

5. Significado e Conclusão

O Lettuce representa um avanço significativo na harmonização de dados de saúde. Ao demonstrar que pipelines baseados em NLP semântico e LLMs locais podem automatizar e melhorar drasticamente o mapeamento de termos médicos informais para o padrão OMOP, a ferramenta reduz a dependência de revisão manual, economizando tempo e recursos.

A capacidade de rodar localmente resolve o impasse de segurança de dados, tornando viável o uso de IA avançada em ambientes clínicos e de pesquisa sensíveis. O estudo conclui que, embora a busca semântica já ofereça melhorias, a combinação com LLMs via RAG é a estratégia mais promissora para lidar com a complexidade e a variabilidade dos dados do mundo real, estabelecendo um novo padrão para ferramentas de mapeamento de vocabulário médico.