💬 NLP

Injecting Structured Biomedical Knowledge into Language Models: Continual Pretraining vs. GraphRAG

Este estudo compara duas estratégias para injetar conhecimento biomédico estruturado do UMLS em modelos de linguagem: o pré-treinamento contínuo, que mostra ganhos moderados ao codificar conhecimento nos parâmetros do modelo, e o GraphRAG, que, ao consultar um grafo de conhecimento durante a inferência, oferece melhorias significativas e transparentes em tarefas de resposta a perguntas sem necessidade de re-treinamento.

Autores originais: Jaafer Klila, Sondes Bannour Souihi, Rahma Boujelben, Nasredine Semmar, Lamia Hadrich Belguith

Publicado 2026-04-21

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Jaafer Klila, Sondes Bannour Souihi, Rahma Boujelben, Nasredine Semmar, Lamia Hadrich Belguith

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que os Modelos de Linguagem (como o ChatGPT ou o Llama) são como estudantes extremamente inteligentes que leram milhões de livros, mas nunca frequentaram uma escola de medicina. Eles sabem escrever muito bem, mas quando perguntamos algo específico sobre doenças ou remédios, eles podem inventar fatos (alucinar) ou não saber a resposta porque a informação não estava nos livros que leram.

Este artigo de pesquisa é como um guia para duas maneiras diferentes de transformar esse "estudante geral" em um "especialista em biomedicina", usando uma Biblioteca de Conhecimento Médico gigante chamada UMLS.

Aqui estão as duas estratégias que os autores testaram, explicadas de forma simples:

1. A Estratégia do "Estudante que Decora" (Continual Pretraining)

Imagine que você pega o estudante geral e o força a ler um livro de resumos de 100 milhões de palavras, escrito especificamente a partir da estrutura da Biblioteca Médica.

O que acontece: O estudante "engole" essa informação. Ele muda um pouco o seu cérebro (os parâmetros do modelo) para que a medicina faça parte da sua memória natural.
O resultado:
- Se o estudante era completamente leigo (como o modelo BERT), ele vira um ótimo médico. Ele aprende muito e responde perguntas muito melhor.
- Se o estudante já era um médico residente (como o modelo BioBERT, que já leu muitos textos médicos), essa nova leitura ajuda um pouco, mas não é milagrosa. Ele já sabia muito, então decorar mais resumos traz retornos menores. É como tentar ensinar um cardiologista experiente com um livro de introdução à medicina: ele já sabe a maior parte.

2. A Estratégia do "Estudante com Consulta Rápida" (GraphRAG)

Agora, imagine que você não muda o cérebro do estudante. Em vez disso, você coloca um assistente de pesquisa ao lado dele.

Como funciona: Quando o estudante recebe uma pergunta difícil, ele não tenta responder de cabeça. Ele pergunta ao assistente: "Ei, olhe na nossa Biblioteca Médica (que é um mapa gigante de conexões) e me traga os fatos exatos sobre isso". O assistente busca no mapa, pega os caminhos conectados (ex: remédio X trata doença Y, que é um tipo de Z) e entrega essa informação ao estudante.
O resultado: O estudante usa essa informação fresca e verificada para responder.
- Vantagens: Ele não inventa coisas (porque tem a fonte), ele pode explicar como chegou à resposta (mostrando o caminho no mapa) e, se a medicina mudar amanhã, você só atualiza o mapa da biblioteca, não precisa reensinar o estudante do zero.
- Desempenho: Surpreendentemente, essa estratégia funcionou muito bem, superando até mesmo os modelos que foram "reeducados" (o método 1) em perguntas complexas.

O Grande Comparativo: O que o estudo descobriu?

Os autores testaram essas duas ideias em várias tarefas médicas (como responder perguntas sobre artigos científicos ou identificar relações entre doenças).

Para quem começa do zero: Ensinar o modelo a "decorar" a estrutura médica (Método 1) é excelente. Ele se torna muito competente.
Para quem já é especialista: Tentar reensiná-lo traz poucos benefícios.
O Vencedor para Perguntas Complexas: O método de "Consulta Rápida" (Método 2) foi o campeão. Ele permitiu que um modelo grande (Llama 3) respondesse perguntas médicas com muito mais precisão, sem precisar de nenhum treinamento novo, apenas consultando o mapa de conhecimento na hora.

A Analogia Final

Pense na diferença entre memorizar um mapa e ter um GPS:

Continual Pretraining (Memorizar): Você estuda o mapa de Nova York por dias até decorar cada rua. Se você for para lá, sabe o caminho. Mas se houver uma nova rua aberta amanhã, você não sabe, a menos que estude o mapa de novo.
GraphRAG (GPS): Você não decorou o mapa. Você tem um GPS conectado a um banco de dados em tempo real. Se houver uma nova rua ou um acidente, o GPS atualiza na hora e te dá a rota correta. Você pode explicar exatamente por que está seguindo aquele caminho.

Conclusão do Artigo:
Para criar inteligência artificial médica confiável, a melhor abordagem pode ser uma mistura: usar a "memorização" para dar uma base sólida ao modelo, mas usar o "GPS" (o mapa de conhecimento estruturado) na hora da resposta para garantir precisão, transparência e atualidade.

Os autores disponibilizaram esse "mapa" (o gráfico de conhecimento) para que outros pesquisadores possam usá-lo e melhorar ainda mais a medicina digital.

Título: Injeção de Conhecimento Biomédico Estruturado em Modelos de Linguagem: Pré-treinamento Contínuo vs. GraphRAG

1. Problema e Motivação

Os Modelos de Linguagem (LMs), incluindo os Grandes Modelos de Linguagem (LLMs), demonstraram capacidades notáveis, mas enfrentam desafios críticos em domínios de conhecimento intensivo, como a biomedicina:

Conhecimento Estático: Os modelos são treinados em instantâneos de dados e carecem de fatos atualizados, lutando para refletir descobertas recentes.
Alucinações: Tendem a gerar respostas confiantes, mas incorretas, sem fontes verificáveis.
Opacidade: É difícil rastrear ou citar as fontes que fundamentam uma resposta.
Limitações Semânticas: Ao depender apenas de texto não estruturado, o acesso a relações estruturadas (sinonímia, hierarquias, associações multi-hop) é indireto e ineficiente para tarefas de raciocínio complexo.

O objetivo do estudo é comparar duas estratégias complementares para injetar conhecimento estruturado do UMLS Metathesaurus (o principal repositório de vocabulário biomédico) em modelos de linguagem, visando superar essas limitações.

2. Metodologia

Os autores propõem e avaliam duas abordagens distintas baseadas na mesma fonte de conhecimento (UMLS-2024AA):

A. Construção do Grafo de Conhecimento (KG)

Fonte: UMLS-2024AA Metathesaurus.
Processamento: Extração de conceitos, definições, tipos semânticos e relações dos arquivos RRF (MRCONSO, MRDEF, MRSTY, MRREL).
Escala: O grafo resultante contém 3,4 milhões de conceitos e 34,2 milhões de relações.
Armazenamento: O grafo é armazenado no banco de dados Neo4j para consultas eficientes.
Corpus Textualizado: Derivado do grafo para pré-treinamento, contendo blocos de conceitos (nomes, sinônimos, definições) e fragmentos de relações (triplos $h, r, t$ convertidos em frases naturais), totalizando cerca de 100 milhões de tokens.

B. Estratégia 1: Injeção Paramétrica (Pré-treinamento Contínuo)

Abordagem: O conhecimento é "queimado" nos parâmetros do modelo através do pré-treinamento contínuo no corpus textualizado derivado do UMLS.
Modelos Testados:
- BERTUMLS: BERT (domínio geral) pré-treinado continuamente no corpus UMLS.
- BioBERTUMLS: BioBERT (já especializado em biomedicina) pré-treinado continuamente no mesmo corpus.
Objetivo: Avaliar se a injeção de conhecimento estruturado beneficia modelos gerais e se oferece ganhos marginais adicionais sobre modelos já especializados.

C. Estratégia 2: Injeção Não Paramétrica (GraphRAG)

Abordagem: O conhecimento permanece externo no grafo Neo4j e é recuperado no momento da inferência (Inference-time).
Pipeline:
1. Uma pergunta do usuário é submetida a uma busca por similaridade vetorial (usando model2vec) para recuperar passagens relevantes.
2. Essas passagens servem como semente para uma travessia no grafo (graph traversal), extraindo um subgrafo relevante de entidades e conexões.
3. O subgrafo é textualizado e inserido no prompt como contexto para um LLM (LLaMA 3-8B).
4. O modelo gera a resposta baseada no contexto recuperado e seu conhecimento prévio, sem re-treinamento.
Vantagens: Explicabilidade (caminhos inspecionáveis), raciocínio multi-hop e atualização rápida do conhecimento (atualizando o grafo, não o modelo).

3. Experimentos e Avaliação

Datasets: Avaliação no benchmark BLURB (6 datasets cobrindo 5 tipos de tarefas: Extração de Relações, Resposta a Perguntas, Similaridade de Frases, Classificação de Documentos e PICO).
Foco Específico: O GraphRAG foi avaliado especificamente nas tarefas de Resposta a Perguntas (QA): PubMedQA e BioASQ.
Baselines: BERT, BioBERT e LLaMA 3-8B (sem conhecimento externo).

4. Resultados Principais

Pré-treinamento Contínuo (Paramétrico)

BERTUMLS vs. BERT: O modelo BERTUMLS superou consistentemente o BERT em 5 dos 6 tarefas. Os maiores ganhos foram em tarefas intensivas em conhecimento (QA), com melhorias de ~7,6% no BioASQ e ~4,5% no PubMedQA.
BioBERTUMLS vs. BioBERT: Os resultados foram mais nuanceados. Houve melhorias em algumas tarefas (ex: +2,65% no PubMedQA), mas declínios de desempenho em outras (ex: -5,19% no BioASQ, -0,82% no DDI).
Interpretação: Para modelos gerais (BERT), o conhecimento estruturado traz grandes benefícios. Para modelos já especializados (BioBERT), que já foram treinados em ~3,4 bilhões de palavras biomédicas, o corpus adicional de 100 milhões de palavras estruturadas oferece retornos decrescentes e pode até causar interferência negativa em tarefas específicas.

GraphRAG (Não Paramétrico)

Desempenho: Aumentar o LLaMA 3-8B com o pipeline GraphRAG resultou em melhorias significativas sem nenhum re-treinamento:
- +6,25% de precisão no PubMedQA.
- +6,67% de precisão no BioASQ.
Comparação: O GraphRAG superou tanto o BERTUMLS quanto o BioBERTUMLS nas tarefas de QA.
- No BioASQ, o GraphRAG superou o BioBERTUMLS em 5,86% e o BERTUMLS em 11,78%.
Qualidade: O método permitiu raciocínio multi-hop (ex: conectar "ibudilast" a "esclerose múltipla" através de nós intermediários no grafo) e forneceu explicabilidade, mostrando o caminho de evidência que levou à resposta correta.

5. Contribuições e Significância

Comparação Controlada: O estudo oferece uma comparação justa entre injeção paramétrica e não paramétrica utilizando a mesma fonte de conhecimento (UMLS), isolando o efeito do modo de acesso (incorporado vs. recuperado).
Eficácia do GraphRAG na Biomedicina: Demonstra que, para tarefas de QA complexas, a recuperação de subgrafos estruturados em tempo de inferência é superior ao pré-treinamento contínuo, especialmente quando se busca atualização de conhecimento e explicabilidade.
Retornos Decrescentes em Modelos Especializados: Evidencia que adicionar conhecimento estruturado a modelos já massivamente treinados em texto biomédico (como BioBERT) pode não ser benéfico e depende da tarefa, sugerindo que a "quantidade" de texto não é o único fator; a "estrutura" é crucial, mas deve ser acessada de forma adequada.
Recursos Abertos: Os autores liberaram o grafo Neo4j processado do UMLS, facilitando a reprodutibilidade e futuras pesquisas em NLP biomédico.
Divisão de Trabalho Prática: O artigo sugere uma abordagem híbrida: usar pré-treinamento paramétrico para dotar modelos gerais de competência de domínio duradoura, e utilizar recuperação em tempo de inferência (GraphRAG) quando a explicabilidade, a frescura do conhecimento e a simplicidade operacional forem prioritárias.

Conclusão

O trabalho conclui que a injeção de conhecimento estruturado é vital para o NLP biomédico. Enquanto o pré-treinamento contínuo é eficaz para elevar modelos gerais ao nível de especialistas, a abordagem GraphRAG oferece vantagens superiores em tarefas de raciocínio complexo, proporcionando respostas mais precisas, transparentes e facilmente atualizáveis, sem a necessidade de custos computacionais massivos de re-treinamento.