OncoRAG: Graph-Based Retrieval Enabling Clinical Phenotyping from Oncology Notes Using Local Mid-Size Language Models

O estudo apresenta o OncoRAG, um pipeline baseado em grafos que utiliza modelos de linguagem de tamanho médio implantados localmente para extrair com precisão características clínicas de notas oncológicas multilíngues sem necessidade de ajuste fino, superando abordagens convencionais e permitindo análises de sobrevivência comparáveis às feitas manualmente.

O essencial

Imagine que você tem uma biblioteca gigante cheia de livros de histórias médicas (os prontuários dos pacientes), mas ninguém sabe onde estão as informações importantes. Para encontrar um detalhe específico, como "o paciente tem diabetes?" ou "qual foi o tipo de tumor?", um pesquisador teria que ler cada página de cada livro manualmente. Isso levaria semanas, meses ou até anos. É como tentar achar uma agulha em um palheiro, mas o palheiro é do tamanho de um estádio de futebol.

O artigo que você leu apresenta uma solução chamada OncoRAG. Vamos explicar como ele funciona usando analogias simples:

1. O Problema: O Caos dos Prontuários

Os médicos escrevem notas em linguagem natural (texto corrido), não em planilhas de Excel. Antigamente, computadores só entendiam dados organizados (como "Sim/Não" em caixas de seleção). Para ler os textos, usávamos robôs muito simples (regras fixas) que falhavam se o médico escrevesse de um jeito diferente, ou usávamos "cérebros" de computador gigantes (Inteligência Artificial pesada) que eram caros, lentos e precisavam de muita energia.

2. A Solução: O Detetive com um Mapa (O OncoRAG)

Os autores criaram um sistema inteligente que funciona como um detetive experiente com um mapa do tesouro, em vez de apenas um robô que lê tudo.

O sistema tem quatro etapas principais:

• Etapa 1: O Mapa do Tesouro (Ontologia)
  Antes de começar, o sistema cria um "mapa" de palavras relacionadas. Se você procura por "câncer de mama", o sistema sabe que também deve procurar por "tumor mamário", "neoplasia", "massa", etc. Ele expande a busca para não perder nada.

• Etapa 2: O Esqueleto da Informação (Grafo de Conhecimento)
  Em vez de tratar o texto como um bloco de palavras soltas, o sistema transforma as notas em um mapa de conexões. Imagine que cada paciente é uma cidade, e as informações (doenças, remédios, datas) são prédios. O sistema conecta esses prédios com estradas.

  • Exemplo: Ele conecta "Paciente A" -> "Tomou Remédio X" -> "Em 2023".
    Isso ajuda o computador a entender o contexto e a ordem dos fatos, algo que métodos antigos faziam mal.

• Etapa 3: O Filtro Inteligente (Busca e Reordenação)
  Quando o sistema precisa responder a uma pergunta (ex: "O paciente tem diabetes?"), ele não lê tudo de novo. Ele usa o mapa para pular direto para as páginas relevantes.

  • A mágica: Ele não apenas pega as páginas que têm a palavra "diabetes". Ele usa um filtro extra (como um curador de museu) para garantir que a página escolhida realmente diz que o paciente tem a doença, e não que ele não tem ou que é um caso de um parente. Isso evita "alucinações" (quando a IA inventa coisas).

• Etapa 4: O Especialista Local (Modelo de Linguagem Médio)
  Aqui está a grande inovação: Em vez de usar um "super-robô" gigante que precisa de um data center inteiro (e custa uma fortuna), eles usam um modelo de tamanho médio (o Phi-3, com 14 bilhões de parâmetros) que roda localmente no computador do hospital.

  • Analogia: É como ter um médico residente muito inteligente e bem treinado na sala, em vez de ter que ligar para um especialista no outro lado do mundo. Como o sistema já filtrou as informações certas na etapa anterior, esse "residente" consegue dar a resposta correta rapidamente, sem precisar ler o livro inteiro.

3. Os Resultados: Rápido e Preciso

• Velocidade: O que levaria duas semanas para uma pessoa fazer manualmente, o sistema faz em menos de 3 horas.
• Precisão: O sistema acertou cerca de 80% das informações, um resultado muito próximo do que um humano faria.
• Versatilidade: Funcionou bem em inglês (EUA) e em alemão (Alemanha), mostrando que o "detetive" aprendeu a lógica médica, não apenas a língua.
• Privacidade: Como roda no computador local do hospital, os dados dos pacientes nunca saem dali. É como fazer a pesquisa dentro da sala de segurança, sem enviar os arquivos para a nuvem.

4. Por que isso importa?

Imagine que queremos descobrir se um novo tipo de tratamento funciona melhor para pacientes com diabetes. Antes, teríamos que parar tudo e contratar pessoas para ler milhares de prontuários. Com o OncoRAG, podemos fazer isso em horas, permitindo que os médicos descubram novos tratamentos mais rápido e salvem mais vidas.

Resumo da Ópera:
O OncoRAG é como dar um GPS inteligente para um assistente de pesquisa local. Em vez de perder tempo procurando a agulha no palheiro, o GPS mostra exatamente onde ela está, e o assistente a pega rapidamente, sem precisar de equipamentos caros ou de sair do hospital. Isso libera os pesquisadores para focarem no que realmente importa: curar o câncer.

Resumo técnico

Título: OncoRAG: Recuperação Baseada em Grafos para Fenotipagem Clínica a partir de Notas de Oncologia usando Modelos de Linguagem de Tamanho Médio Locais

1. O Problema

A extração manual de dados de registros eletrônicos de saúde (EHR) não estruturados (como notas clínicas, relatórios de patologia e consultas) é intensiva em mão de obra e impraticável para estudos clínicos em grande escala. Embora os dados estruturados sejam facilmente acessíveis, eles carecem de detalhes granulares essenciais para a pesquisa oncológica.
As abordagens automatizadas existentes enfrentam desafios significativos:

• Modelos de Linguagem de Grande Porte (LLMs): Geralmente exigem modelos massivos (70B+ parâmetros), infraestrutura computacional dedicada e/ou ajuste fino (fine-tuning) específico para tarefas, o que aumenta a barreira de entrada.
• Limitações de Contexto e Alucinação: LLMs diretos sofrem com janelas de contexto limitadas e dificuldades em fundamentar fatos, levando a erros de extração.
• Recuperação Tradicional (RAG): O RAG padrão, baseado em similaridade semântica de blocos de texto, falha em capturar relações entre entidades clínicas e sequências temporais críticas para a oncologia.
• Privacidade de Dados: A necessidade de enviar dados para nuvem ou compartilhar dados externos para treinar modelos limita a aplicação em ambientes sensíveis.

2. Metodologia: O Pipeline OncoRAG

O estudo propõe o OncoRAG, um pipeline de quatro fases projetado para operar com modelos de linguagem de tamanho médio (14B parâmetros) implantados localmente, sem necessidade de ajuste fino (fine-tuning) específico para a tarefa. O sistema utiliza uma arquitetura baseada em grafos de conhecimento para melhorar a recuperação de contexto.

Fases do Pipeline:

1. Geração de Configuração Automatizada:
   • Enrichment ontológico usando UMLS e BioPortal para gerar identificadores únicos de conceitos (CUIs) e sinônimos.
   • Expansão de palavras-chave via WordNet e LLM para cobrir variações terminológicas.
2. Construção de Grafo de Conhecimento Clínico:
   • Uso de modelos de Reconhecimento de Entidades Nomeadas (NER) biomédicos (suportando inglês e alemão) para extrair entidades (doenças, medicamentos, procedimentos).
   • Detecção de modificadores contextuais (negação, temporalidade, histórico familiar) usando medspaCy.
   • Construção de um grafo onde nós representam pacientes, notas, datas e entidades, e arestas capturam co-ocorrência e relações temporais.
3. Recuperação de Contexto com Reordenamento por Difusão em Grafos:
   • Recuperação Inicial: Expansão de consulta e busca semântica para recuperar entidades relevantes.
   • Expansão Estrutural: Busca em largura (BFS) no grafo para capturar nós relacionados.
   • Reordenamento (Reranking): Um classificador híbrido pontua as sentenças candidatas baseando-se em: similaridade semântica (BioBERT-NLI), sobreposição lexical, correspondência de nomes/sinônimos e um impulso de palavras-chave.
   • Filtragem: Sentenças hipotéticas são filtradas, enquanto evidências negadas ou históricas são mantidas para interpretação.
   • Seleção das 5 sentenças mais relevantes para o prompt final.
4. Extração de Características via LLM:
   • Uso de prompts estruturados submetidos ao modelo Microsoft Phi-3-medium-instruct (14B) (ou Phi-3.5-mini de 3.8B) rodando localmente via Ollama.
   • O modelo extrai valores baseados nas sentenças recuperadas, normalizando unidades e datas, e reportando um nível de confiança.

Cohortes de Validação:

• TNBC (Câncer de Mama Triplo Negativo): 104 pacientes (MGH, EUA) – Desenvolvimento e teste.
• RiCi (Glioma de Alto Grau Recorrente): 191 pacientes (Heidelberg, Alemanha) – Validação cruzada de idioma (alemão) e instituição.
• MIMIC-IV: 100 pacientes (ICU, EUA) – Teste externo usando configurações derivadas do TNBC.

3. Contribuições Principais

• Eficiência e Privacidade: Demonstra que modelos de tamanho médio (14B) implantados localmente podem alcançar precisão de nível de pesquisa sem fine-tuning, eliminando a necessidade de infraestrutura de nuvem ou compartilhamento de dados sensíveis.
• Arquitetura Baseada em Grafos: Substitui a recuperação baseada apenas em texto por um grafo de conhecimento que preserva a estrutura temporal e as relações entre entidades clínicas, superando as limitações do RAG tradicional.
• Generalização Multilíngue e Multicêntrica: Validação bem-sucedida em inglês e alemão, em diferentes instituições e tipos de câncer, sem necessidade de reconfiguração específica para cada novo local (no caso do MIMIC-IV).
• Utilidade Clínica Demonstrada: Prova que os dados extraídos automaticamente são suficientes para construir modelos prognósticos (sobrevivência livre de progressão) com desempenho estatístico comparável à curadoria manual.

4. Resultados

• Desempenho de Extração:
  • O OncoRAG alcançou pontuações F1 médias de 0,80 (TNBC), 0,79 (RiCi) e 0,84 (MIMIC-IV).
  • Comparação com Baselines: Melhorou o F1 em 0,19 a 0,22 pontos em comparação com prompts diretos de LLM (sem recuperação) e em 0,17 a 0,19 pontos em comparação com RAG vetorial ingênuo.
  • A configuração híbrida (ajuste manual fino) trouxe ganhos marginais adicionais (0,02–0,03), mas a configuração automática já foi robusta.
• Impacto do Modelo e Janela de Contexto:
  • O modelo de 14B foi superior ao de 3,8B, mas o modelo menor reduziu o tempo de extração em 57% com uma queda mínima na precisão (0,03–0,10 no F1).
  • Reduzir a janela de contexto de 128k para 4k tokens teve impacto mínimo no desempenho médio.
• Análise de Erros:
  • 62% dos erros foram atribuídos a falhas na recuperação (o contexto relevante não estava nas 5 sentenças selecionadas), indicando que a melhoria futura deve focar na estratégia de recuperação, não no tamanho do LLM.
  • 38% dos erros foram falhas de interpretação do LLM, mesmo com contexto correto.
• Utilidade Descendente (Modelagem Prognóstica):
  • Modelos de sobrevivência (Cox) construídos com dados extraídos automaticamente tiveram um índice C de 0,77, comparável ao 0,76 obtido com curadoria manual (p = 0,512).
• Eficiência Temporal:
  • A extração automática reduziu o tempo de trabalho de duas semanas (curadoria manual) para menos de 2,5 horas para a coorte TNBC.

5. Significado e Conclusão

O OncoRAG representa um avanço significativo na democratização da pesquisa oncológica baseada em dados do mundo real. Ao resolver o gargalo da extração de dados não estruturados usando uma abordagem local, eficiente e precisa, o sistema permite:

1. Escalabilidade: Realização de estudos em larga escala que antes eram inviáveis devido ao custo e tempo da extração manual.
2. Acessibilidade: Instituições sem acesso a supercomputadores ou modelos proprietários caros podem implementar soluções de ponta.
3. Segurança de Dados: A capacidade de processar dados sensíveis localmente sem violar privacidade ou regulamentações de compartilhamento de dados.

O estudo conclui que a combinação de grafos de conhecimento para recuperação de contexto com modelos de linguagem de tamanho médio é uma estratégia viável e superior para a fenotipagem clínica, permitindo a geração de evidências em grande escala a partir de notas oncológicas não estruturadas.