Managing Map Cardinality in Automatic Disease Classification Mapping: Balancing Precision, Recall and Coverage

Resumo Técnico: Gerenciando a Cardinalidade de Mapeamento na Classificação Automática de Doenças

Definição do Problema
O mapeamento automático de sistemas de classificação de doenças, como a Classificação Internacional de Doenças (CID), é crítico para a integração de dados de saúde e análise longitudinal. No entanto, os métodos atuais baseados em embeddings focam primariamente em mapeamentos um-para-um, falhando em abordar cenários complexos de um-para-muitos, onde um único código de origem corresponde semanticamente a múltiplos códigos de destino. As estratégias de seleção atuais para lidar com a cardinalidade — especificamente métodos baseados em limiar (threshold) e top-K — sofrem de trade-offs inerentes entre precisão, recall e cobertura de mapeamento (a proporção de códigos de origem com pelo menos um mapeamento).

• Métodos baseados em limiar priorizam a precisão em detrimento do recall e da cobertura; limiares altos resultam em baixa cobertura, deixando muitos códigos de origem não mapeados.
• Métodos Top-K garantem alta cobertura e recall, mas sacrificam a precisão ao forçar um número fixo de correspondências, introduzindo frequentemente falsos positivos significativos (por exemplo, gerando $K-1$ falsos positivos para mapeamentos válidos de um-para-um).

Essas limitações criam um gargalo para a validação manual, onde especialistas em terminologia devem ou filtrar excessivos falsos positivos ou mapear manualmente grandes lacunas de dados não mapeados.

Metodologia
Os autores propõem um novo framework de bloqueio-e-correspondência (blocking-and-matching), inspirado em pipelines de resolução de entidades, para gerar automaticamente mapeamentos entre diferentes versões da CID (ex: CID-9-CM $\leftrightarrow$ CID-10-CM e CID-10-AM $\leftrightarrow$ CID-11). A abordagem opera em dois estágios distintos:

1. Estágio de Bloqueio (Geração de Candidatos):
   Em vez de avaliar todos os pares possíveis, o método gera um conjunto reduzido de códigos de destino candidatos para cada código de origem. Os autores introduzem uma estratégia de seleção híbrida combinando:

• Seleção Top-K: Recupera os $K$ principais códigos de destino baseados na similaridade de embeddings.
• Expansão de Mapeamento Bidirecional (BiMaps): Constrói mapeamentos um-para-um em ambas as direções (Origem $\to$ Destino e Destino $\to$ Origem) e os agrega.
  A união desses conjuntos forma o "bloco" de candidatos. Esta abordagem híbrida visa maximizar o recall (retendo correspondências verdadeiras) enquanto minimiza o tamanho do bloco para evitar o fenômeno "perdido no meio" (lost in the middle) em Grandes Modelos de Linguagem (LLMs), onde o contexto excessivo degrada o desempenho.

2. Estágio de Correspondência (Seleção por LLM):
   A tarefa de correspondência é reformulada como uma Questão de Múltipla Escolha (MCQ). Para cada código de origem e seu bloco de candidatos, um prompt é construído instruindo um Grande Modelo de Linguagem (especificamente o Qwen3-8B) a identificar todos os códigos de destino semanticamente equivalentes. Diferente da Resolução de Entidades tradicional, que frequentemente seleciona apenas uma correspondência, esta abordagem permite que o LLM selecione zero, uma ou múltiplas opções, abordando diretamente o desafio de cardinalidade um-para-muitos.

Principais Contribuições

1. Framework Inovador: Introdução de um pipeline de bloqueio-e-correspondência que integra geração de candidatos baseada em embeddings com seleção impulsionada por LLM para mapeamento de CID.
2. Mitigação de Trade-off: O método aborda o trade-off entre precisão-recall-cobertura inerente aos métodos de seleção, entregando alta precisão enquanto mantém um recall comparável e ampla cobertura de mapeamento.
3. Estratégia de Bloqueio Híbrida: O desenvolvimento de uma estratégia Top-K + BiMaps que equilibra eficiência computacional com a retenção de pares de candidatos válidos.
4. Validação Empírica: Demonstração de desempenho equilibrado através de múltiplos pares de versões de CID e três capítulos específicos de doenças (Digestivo, Infeccioso/Parasitário e Respiratório).

Resultos
O estudo avaliou o método proposto contra os baselines de limiar ($\lambda=0.85$) e top-K ($K=5$) em quatro tarefas de mapeamento.

• Precisão: O framework de bloqueio-e-correspondência alcançou a maior precisão em quase todas as tarefas (variando de 0,47 a 0,71), representando uma melhoria de 2 a 3,5x sobre o baseline Top-K e uma melhoria de 5 a 35 pontos percentuais sobre o BiMaps na maioria dos casos.
• Recall: O framework manteve um recall competitivo (0,53–0,85), comparável aos baselines de alto recall de BiMaps e Top-K, sem as penalidades de precisão associadas à seleção indiscriminada de Top-K.
• Cobertura: O método alcançou uma cobertura de mapeamento quase perfeita (MC $\ge$ 0,98), garantindo que quase todo código de origem recebesse pelo menos um mapeamento candidato, superando assim as limitações de cobertura dos métodos baseados em limiar.
• F1-Score: O framework alcançou os maiores F1-scores (0,53–0,77) em 11 das 12 tarefas de mapeamento, demonstrando um equilíbrio superior entre precisão e recall.

Significância e Alegações
O artigo alega que o framework proposto oferece uma solução robusta e livre de treinamento para o mapeamento automático de classificação de doenças. Ao alavancar o conhecimento médico de uso geral incorporado em LLMs pré-treinados via prompting zero-shot, o método evita a necessidade de fine-tuning específico para a tarefa ou dados de mapeamento rotulados.

Os autores enfatizam que, embora a abordagem baseada em LLM introduza um overhead computacional (ex: ~43 horas para os datasets avaliados), este é um investimento inicial justificável comparado à natureza laboriosa e demorada do mapeamento manual, que frequentemente exige grandes equipes de especialistas e financiamento significativo. O método é particularmente significativo para transições de versões de CID de grande escala (que ocorrem infrequentes), onde a criação de tabelas de mapeamento de alta qualidade e reutilizáveis é essencial para a interoperabilidade de dados de saúde. A abordagem reduz efetivamente a carga de trabalho manual para especialistas em terminologia ao filtrar candidatos irrelevantes (alta precisão) enquanto garante que nenhum mapeamento válido seja perdido (alta cobertura).