Resumo Técnico: Capacidades de Extração de Relações de LLMs em Texto Clínico

Declaração do Problema

A Extração de Informação Clínica (CIE), especificamente a Extração de Relações (RE), é crítica para a construção de grafos de conhecimento médico e para o suporte à tomada de decisão clínica. No entanto, o desenvolvimento de sistemas de RE para línguas não inglesas é severamente dificultado pela escassez de conjuntos de dados anotados. Enquanto o inglês se beneficia de recursos como o corpus 2010 i2b2/VA, línguas de baixos recursos, como o turco, carecem de conjuntos de dados dedicados de RE clínica e de modelos biomédicos pré-treinados robustos. Além disso, a ausência de conjuntos de dados bilíngues paralelos impede a avaliação translinguística rigorosa e o desenvolvimento de sistemas de IA clínica globalmente robustos. Estudos existentes frequentemente dependem da seleção aleatória de exemplos de contexto ou de métodos de recuperação genéricos, que podem não capturar as nuances semânticas específicas necessárias para a classificação de relações clínicas.

Metodologia

Este estudo apresenta a primeira avaliação bilíngue abrangente de Grandes Modelos de Linguagem (LLMs) para Extração de Relações clínica em inglês e turco. A pesquisa emprega uma abordagem sistemática envolvendo a criação de conjuntos de dados, novos mecanismos de recuperação e diversas estratégias de prompting.

1. Construção do Conjunto de Dados

Os autores construíram o primeiro conjunto de dados paralelo de RE clínica inglês–turco derivado do corpus de classificação de relação 2010 i2b2/VA.

• Fonte: O corpus original contém sumários de alta e relatórios de progressão anotados para extração de conceitos, classificação de asserção e classificação de relação.
• Processo de Tradução: Um esforço colaborativo envolvendo linguistas computacionais e especialistas médicos da Universidade Ege e da Universidade Dokuz Eylül traduziu o conjunto de dados. O processo incluiu tradução automática inicial (DeepL), validação de especialistas por médicos seniores e pós-edição final por um médico aposentado para garantir a precisão terminológica.
• Subconjunto: Um subconjunto curado de 1.500 amostras de treinamento e 500 de teste foi selecionado, mantendo a representação proporcional dos tipos de relação (ex: Tratamento-Melhora, Teste-Revela, Problema-Indica).

2. Método Proposto: Recuperação Consciente de Relação (RAR)

Para abordar as limitações da similaridade semântica genérica na seleção de exemplos, os autores propõem a Recuperação Consciente de Relação (Relation-Aware Retrieval - RAR).

• Mecanismo: O RAR utiliza o SimCSE (um framework de aprendizado contrastivo) ajustado do zero para a tarefa de RE alvo.
• Objetivo de Treinamento: Diferente do embedding de frase padrão, o RAR incorpora informações de entidade e de rótulo de relação nos exemplos de treinamento. Ele constrói uma pontuação de similaridade ponderada combinando embeddings de nível de frase, entidade-sujeito, entidade-objeto e tipo de relação.
• Objetivo: Recuperar exemplos de contexto que não sejam apenas linguisticamente similares, mas também semanticamente alinhados em relação à estrutura relacional específica (ex: combinando "Tratamento melhora Problema" com tipos de relação semelhantes).

3. Estratégias de Prompting

O estudo avalia várias configurações de prompting em múltiplos LLMs (Gemini 1.5/2.0 Flash, DeepSeek-V3, GPT-4o mini):

• Seleção de Aprendizado em Contexto (ICL): Compara amostragem Aleatória, KATE (KNN-Augmented), Representação de Relação Ajustada (FT-RR, baseada em PURE) e o proposto RAR.
• Integração de Cadeia de Pensamento (CoT):
  • CoT Estático: Templates de raciocínio fixos (Zero-shot e Few-shot).
  • CoT Dinâmico: Raciocínio gerado em tempo real para exemplos recuperados usando:
    • Raciocínio Induzido por Rótulo Gold: Prompting o modelo para explicar a lógica de um rótulo gold.
    • Prompting de Autoquestionamento (SQP): Gerando perguntas diagnósticas para descobrir nuances de relacionamento.
    • CoT Baseado em Formato de Saída: Um formato de saída estruturado que declara explicitamente a relação e uma breve justificativa (adaptado do PromptNER).

4. Baselines e Modelos

• Baselines Ajustados (Fine-Tuned): BERT e PURE (uma arquitetura leve que usa marcadores especiais para entidades) foram ajustados no conjunto de dados bilíngue.
• LLMs: A avaliação focou em eficiência e capacidades de raciocínio, selecionando modelos com base em benchmarks MMLU, latência e custo.

Principais Resultados

1. Superioridade do Prompting sobre o Fine-Tuning

Abordagens de LLM baseadas em prompting superaram consistentemente os modelos tradicionais ajustados (BERT e PURE), mesmo quando os modelos ajustados foram treinados em subconjuntos significativamente maiores dos dados em inglês.

• Desempenho do Modelo Ajustado: O PURE alcançou um Micro-F1 de 0,740 em inglês e 0,632 em turco no subconjunto de 1.500 amostras.
• Desempenho do Prompting: LLMs usando RAR alcançaram pontuações Micro-F1 de 0,906 (Inglês) e 0,870 (Turco) com o Gemini 1.5 Flash, superando os baselines ajustados apesar de usarem menos exemplos de treinamento.

2. Impacto da Estratégia de Recuperação

A Recuperação Consciente de Relação (RAR) superou consistentemente todos os outros métodos de seleção (Aleatório, KATE, FT-RR) em todas as línguas e modelos.

• Em inglês, o RAR com Gemini 1.5 Flash atingiu 0,906 Micro-F1.
• Em turco, o RAR com Gemini 1.5 Flash atingiu 0,870 Micro-F1.
• O RAR demonstrou alta eficiência, alcançando o pico de desempenho com apenas 5 exemplos (5-shot), enquanto outros métodos mostraram retornos decrescentes ou exigiram mais exemplos para se aproximar de um desempenho semelhante.

3. Eficácia das Estratégias de CoT

Entre os métodos de CoT, o CoT Baseado em Formato de Saída produziu o maior desempenho, particularmente quando combinado com o RAR.

• Melhor Resultado Geral: O DeepSeek-V3 combinado com RAR e CoT de Formato de Saída alcançou um Micro-F1 de 0,918 em inglês, igualando o resultado de estado da arte (SOTA) relatado para o dataset i2b2-2010 (que utilizou enriquecimento da ontologia UMLS).
• Disparidade de Idioma: As avaliações em inglês geralmente superaram as contrapartes em turco em todos os modelos e técnicas. No entanto, a lacuna diminuiu significativamente com estratégias avançadas de recuperação e prompting.
• Especificidade do Modelo: O Gemini 1.5 Flash mostrou o desempenho mais consistente em ambas as línguas. O GPT-4o mini teve dificuldades significativas em turco. O DeepSeek-V3 mostrou forte adaptabilidade, igualando o Gemini 1.5 em inglês ao usar raciocínio estruturado.

4. Análise de Erro

A análise da matriz de confusão revelou que os modelos tiveram mais dificuldade com classes que possuíam dados limitados (ex: "Tratamento Não Administrado") e sobreposições semânticas (ex: distinguir entre "Teste Revela" vs. "Teste Realizado para Investigar"). O modelo em turco exibiu taxas de confusão mais altas que o modelo em inglês, atribuído à natureza aglutinante do turco e a embeddings específicos da língua menos maduros.

Significância e Alegações

O artigo afirma fornecer a primeira avaliação de Extração de Relação em texto clínico turco, abordando uma lacuna crítica no NLP médico de baixos recursos. Suas principais contribuições são:

1. Criação de Dataset: A introdução de um conjunto de dados de RE clínica paralelo inglês-turco de alta qualidade derivado do corpus 2010 i2b2/VA, validado por especialistas médicos.
2. Inovação Metodológica: A proposta da Recuperação Consciente de Relação (RAR), que integra aprendizado contrastivo com semânticas específicas de entidade e relação para melhorar a seleção de exemplos de contexto. Os autores demonstram que o RAR supera consistentemente os métodos de recuperação existentes.
3. Evidência Empírica: O estudo estabelece que LLMs baseados em prompting podem superar modelos de linguagem pequenos ajustados (fine-tuned) em tarefas de RE clínica, mesmo em ambientes bilíngues de baixos recursos. Destaca que a recuperação de demonstrações de alta qualidade e consciente da relação é mais crítica para o desempenho do que o tamanho do modelo ou o raciocínio complexo isolado.
4. Desempenho de Estado da Arte (SOTA): Ao combinar RAR com CoT de Formato de Saída estruturado, o estudo alcança um Micro-F1 de 0,918 em inglês, igualando o SOTA para a tarefa i2b2-2010 sem depender de ontologias externas como UMLS, sugerindo um caminho viável para o IA clínica multilíngue.

Os autores concluem que a integração de recuperação específica de tarefa e prompting estruturado oferece um caminho prático para reduzir as lacunas de recursos no NLP clínico, permitindo sistemas de IA clínica mais equitativos e acessíveis em diferentes idiomas.