Retrieve, Then Classify: Corpus-Grounded Automation of Clinical Value Set Authoring

1. O Problema: Autoria de Conjuntos de Valores Clínicos

A autoria de conjuntos de valores clínicos (clinical value sets) é uma tarefa crítica e um gargalo na medição da qualidade clínica e na fenotipagem. O objetivo é identificar, dentro de um vocabulário médico padronizado e massivo (como SNOMED-CT ou ICD-10-CM, contendo entre $10^5$ e $10^6$ códigos), todos os códigos que definem um conceito clínico específico (ex: "Diabetes Mellitus Tipo 2").

• Desafios Atuais: O processo é predominantemente manual, exigindo que especialistas busquem em vocabulários vastos e versionados.
• Limitações de LLMs: Uma abordagem natural seria usar Grandes Modelos de Linguagem (LLMs) para gerar os códigos diretamente. No entanto, os identificadores de códigos clínicos são strings estruturadas e versionadas, não memorizadas de forma confiável durante o pré-treinamento de LLMs. O estudo demonstrou que o GPT-4o, em configuração zero-shot, retorna códigos que não existem no vocabulário oficial (VSAC) em 48,6% dos casos, além de ter baixa precisão e recall.

2. Metodologia: RASC (Retrieval-Augmented Set Completion)

Os autores propõem o RASC, um framework de duas etapas que transforma um problema de geração inatingível em um problema de classificação tratável, aproveitando um corpus existente de conjuntos de valores curados por especialistas.

Etapa 1: Recuperação (Retrieval)

• Objetivo: Reduzir o espaço de busca do vocabulário completo ($U$) para um pool de candidatos pequeno ($C$).
• Processo: Para um novo conjunto de valores (com um título de conceito), o sistema busca os $K$ conjuntos de valores existentes mais similares em um corpus curado (VSAC).
• Tecnologia: Utiliza o modelo SAPBert (um BERT pré-treinado em pares de sinônimos biomédicos) para criar embeddings dos títulos. A busca é realizada via índice FAISS usando similaridade de cosseno.
• Resultado: Cria-se um pool de candidatos $C \subseteq U$ que é pequeno em relação ao universo total, mas enriquecido com códigos relevantes para o conceito alvo.

Etapa 2: Classificação

• Objetivo: Decidir, para cada código no pool recuperado $C$, se ele pertence ao conjunto de valores alvo.
• Modelos Testados:
  1. LightGBM: Um classificador baseado em árvores de gradiente (referência não neural).
  2. MLP (Multilayer Perceptron): Uma rede neural simples de três camadas ocultas que concatena embeddings do título e do código.
  3. Cross-Encoder: Um modelo SAPBert fine-tuned que processa o título do conjunto e o nome do código candidato como um par de sentenças único, permitindo atenção conjunta entre tokens (interação token-level fina).
• Entrada do Modelo: Vetor de características concatenando o embedding do título, o embedding do nome do código, um indicador one-hot do sistema de codificação e a pontuação de similaridade da recuperação.

3. Contribuições Principais

1. Formalização Teórica: O artigo formaliza o problema de "completamento de conjuntos" e demonstra teoricamente que a complexidade de amostragem do RASC escala com $O(\log K)$ (onde $K$ é o tamanho do pool recuperado), em vez de $O(\log N)$ (onde $N$ é o tamanho total do vocabulário), assumindo que a recuperação tenha alta precisão.
2. Primeiro Benchmark em Larga Escala: Construção de um conjunto de dados de referência com 11.803 conjuntos de valores públicos do VSAC, cobrindo 15 sistemas de terminologia. O código e os scripts para recriar o dataset estão disponíveis publicamente.
3. Análise Comparativa: Avaliação rigorosa comparando a geração direta por LLMs, recuperação pura e a abordagem híbrida RASC, isolando o ganho da recuperação versus o ganho do aprendizado da classificação.

4. Resultados Experimentais

O desempenho foi avaliado em um conjunto de teste com 11.803 conjuntos de valores, utilizando métricas de nível de conjunto de valores (F1 macro) e de par código-conceito (AUROC).

• Desempenho do RASC vs. LLM Zero-Shot:

  • O modelo Cross-Encoder alcançou o melhor desempenho: AUROC 0,852 e F1 0,298.
  • O GPT-4o (zero-shot) teve um desempenho muito inferior: F1 0,105, com 48,6% dos códigos retornados sendo alucinações (inexistentes no VSAC).
  • O RASC reduziu drasticamente o número de candidatos irrelevantes por verdadeiro positivo (de 12,3 na recuperação pura para ~3,2 no Cross-Encoder).

• Impacto do Tamanho do Conjunto:

  • O desempenho do RASC melhora à medida que o tamanho do conjunto de valores aumenta.
  • Para conjuntos grandes (>150 códigos), o GPT-4o colapsa (F1 ~0,014), enquanto o Cross-Encoder atinge F1 de 0,354. Isso confirma a vantagem teórica: classificar em um pool restrito é mais escalável do que gerar de novo em um espaço vasto.

• Generalização:

  • O modelo manteve bom desempenho em conjuntos de valores de editores (publishers) que foram totalmente mantidos fora do treinamento (held-out), indicando que aprendeu estruturas clinicamente significativas e não apenas padrões de autoria específicos.

• LLM como Classificador:

  • Quando o GPT-4o foi fornecido com o pool de candidatos recuperados (atuando como classificador em vez de gerador), seu F1 subiu para 0,294, quase igualando o Cross-Encoder. Isso prova que a falha do LLM zero-shot é a falta de "grounding" (ancoragem) no vocabulário, e não a incapacidade de entender a relevância se os candidatos forem apresentados. No entanto, essa abordagem é inviável em escala devido ao custo e limitações de contexto.

5. Significado e Conclusão

O trabalho demonstra que a automação da autoria de conjuntos de valores clínicos é viável e superior quando se utiliza uma abordagem de "Recuperar e Classificar" em vez de "Gerar".

• Eficiência: O RASC transforma um problema de geração inatingível em um problema de classificação tratável, reduzindo a complexidade estatística e o custo computacional.
• Confiabilidade: Ao restringir a saída a um pool de códigos existentes e validados, elimina-se o problema de alucinação de códigos inexistentes, um erro crítico em aplicações clínicas.
• Futuro: A limitação principal reside na qualidade da recuperação (se o código correto não estiver no pool recuperado, o classificador não pode encontrá-lo). O framework é generalizável para outros domínios que compartilham a mesma estrutura: vocabulários grandes, conjuntos-alvo pequenos e um corpus de curadoria existente (ex: construção de painéis genéticos, revisão sistemática).

Em resumo, o RASC oferece um caminho prático e escalável para modernizar a infraestrutura de qualidade clínica, superando as limitações atuais de LLMs puros em tarefas de vocabulário estruturado.