Resumo Técnico: RASC+ – Adjudicação de LLM com Restrição de Recuperação para Autoria de Conjuntos de Valores Clínicos

Definição do Problema

Conjuntos de valores clínicos definem os códigos de terminologia padronizados (ex: SNOMED-CT, ICD-10-CM, RxNorm) necessários para medição de qualidade eletrônica, fenotipagem e suporte à decisão clínica. A autoria desses conjuntos não é uma tarefa padrão de geração de texto; ela requer a seleção de um subconjunto preciso de um universo terminológico massivo e controlado por versões.

O benchmark de Recuperação de Completamento de Conjunto (RASC) demonstrou anteriormente que a geração direta de Large Language Models (LLMs) zero-shot é inadequada para essa tarefa. Os LLMs têm dificuldade em memorizar os vastos sistemas de códigos versionados e frequentemente geram códigos ausentes do corpus autoritativo do Value Set Authority Center (VSAC). A abordagem RASC original enquadrou o problema como um processo de dois estágios: recuperar conjuntos de valores anteriores semelhantes para formar um pool de candidatos e, em seguida, classificar os candidatos. No entanto, o pipeline original, dependendo de embeddings SAPBert e um cross-encoder, alcançou um F1 macro de apenas 0,298 no conjunto de teste completo, com quedas significativas de desempenho em publicadores fora da distribuição (OOD).

Metodologia

Este trabalho propõe o RASC+, uma otimização por estágios da formulação de recuperação-então-seleção. Os autores decompõem o problema em dois objetivos distintos:

1. Estágio 1 (Construção do Pool de Candidatos): Maximizar o recall (expor o maior número possível de códigos verdadeiros), mesmo ao custo da precisão, garantindo que o "teto de recall" seja alto.
2. Estágio 2 (Adjudicação de Candidatos): Maximizar a precisão selecionando o subconjunto correto do pool expandido, preservando a restrição de segurança de que todas as saídas devem se originar do pool de candidatos auditável.

Estágio 1: Construção de Pool Aprimorada

Os autores substituem o recuperador de títulos SAPBert original por um pipeline mais robusto:

• Recuperação Semântica: Utiliza o Qwen3-Embedding-0.6B para recuperar os 15 vizinhos mais próximos ($K=15$) de conjuntos de valores (aumento de $K=10$) baseados na similaridade de cosseno de embeddings de títulos normalizados.
• Expansão Consciente de Vocabulário: Para capturar códigos estruturalmente próximos aos seeds recuperados, mas ausentes nos conjuntos de origem, o sistema expande o pool usando grafos específicos de vocabulário:
  • ICD-10-CM: Links de descendência (child) e irmandade (sibling).
  • RxNorm & SNOMED-CT: Links de vizinhança de relação.
  • Restrições: A expansão é limitada (máximo de 3 novos códigos por seed, 60 por vocabulário) para manter a revisabilidade do pool.
• Recuperação de Resgate por Display de Código: Para abordar discrepâncias de fraseologia entre títulos de alvo e títulos do corpus de treinamento (um modo de falha crítico para publicadores OOD), o sistema indexa strings de exibição de códigos usando BM25. Os 10 melhores matches por vocabulário são adicionados como seeds, seguidos pelo mesmo processo de expansão baseada em grafos.

O pool de candidatos final ($C_v$) é a união dos códigos derivados da fonte, códigos expandidos via vocabulário e códigos de resgate de display de código.

Estágio 2: Adjudicação Restrita

Dois seletores são avaliados no mesmo pool expandido:

1. Cross-Encoder SAPBert: O classificador RASC original aplicado ao pool expandido sem retreinamento ou ajuste de threshold. Isso serve como um controle conservador para testar se um pool maior por si só melhora o desempenho.
2. Adjudicação GPT-5: Um LLM restrito que recebe os metadados do conjunto de valores alvo e o pool de candidatos. É estritamente proibido gerar novos códigos; ele deve retornar uma lista JSON de IDs de candidatos provenientes do pool fornecido.
   • Cegueira (Blinding): O prompt exclui OIDs, nomes de publicadores e rótulos de verdade fundamental (ground truth) para evitar memorização ou vazamento.
   • Fragmentação (Chunking): Para pools que excedem 1.200 candidatos, o pool é dividido em chunks determinísticos. O modelo processa cada chunk independentemente, e as predições finais são a união dos IDs selecionados.

Principais Contribuições

1. Elevação do Teto de Recall: Os autores demonstram que a otimização da recuperação e expansão eleva significativamente o teto de recall. No conjunto de teste completo, o recall do pool de candidatos aumentou do baseline original do RASC de 0,553 para 0,730. Para publicadores não vistos (OOD), o recall melhorou de 0,543 para 0,655.
2. Superioridade de Adjudicação: O estudo mostra que um LLM restrito (GPT-5) pode filtrar efetivamente o pool maior e mais ruidoso onde os cross-encoders tradicionais falham. Substituir o SAPBert pelo GPT-5 no pool expandido aumentou o F1 macro do teste completo de 0,287 para 0,549.
3. Robustez OOD: A abordagem melhora significativamente a generalização para publicadores não vistos. Em publicadores mantidos fora (OOD), o GPT-5 alcançou um F1 macro de 0,533, comparado a 0,233 para o SAPBert no mesmo pool.

Resultados

O artigo reporta as seguintes métricas principais no split de teste de 3.744 conjuntos de valores:

Métrica	RASC Original (SAPBert)	Pool Expandido + SAPBert	Pool Expandido + GPT-5
Pool Recall (Teste Completo)	0.553	0.730	0.730
Macro F1 (Teste Completo)	0.298	0.287	0.549
Macro F1 (OOD)	0.233*	0.233	0.533
Macro Precision (OOD)	-	0.229	0.642
Macro Recall (OOD)	-	0.415	0.564

*Nota: O F1 OOD do RASC original é inferido do texto como um baseline para comparação, embora o split OOD específico do SAPBert original não tenha sido detalhado separadamente no manuscrito original; o artigo compara o novo resultado do SAPBert no pool expandido com o resultado do teste completo original.

Os resultados indicam que, embora o pool expandido introduza mais falsos positivos (reduzindo a precisão de apenas recuperação), o adjudicador GPT-5 filtra esses elementos com sucesso enquanto retém uma alta fração de verdadeiros positivos. O "recall do pool restrito" (fração de códigos verdadeiros no pool que são selecionados) para o GPT-5 é de 0,757, indicando que o modelo perde alguns códigos recuperáveis, mas performa significativamente melhor que o cross-encoder.

Significância e Alegações

O artigo afirma que a adjudicação de LLM com restrição de recuperação é um paradigma superior para a autoria de conjuntos de valores clínicos em comparação com a geração sem restrições ou cross-encoders estáticos.

• Segurança e Auditabilidade: Ao restringir o LLM para selecionar apenas de um pool de candidatos recuperado, o sistema preserva a propriedade de "segurança fundamentada no corpus". Isso evita a geração de códigos inválidos ou alucinados, um requisito crítico para aplicações clínicas.
• Decomposição de Tarefas: O trabalho valida a hipótese de que separar o recall (construção do pool) e a precisão (adjudicação) permite a otimização especializada. Um pool de alto recall fornece o "teto" necessário para o desempenho, que um LLM forte pode então navegar de forma mais eficaz do que um classificador tradicional.
• Papel de Suporte à Decisão: Os autores posicionam o sistema como uma ferramenta de suporte à decisão, em vez de um publicador autônomo. Ele reduz a carga de revisão humana ao apresentar um conjunto de candidatos ranqueado e rico em proveniência, embora reconheça que curadores humanos ainda devem validar escolhas de modelagem específicas de stewardship e potenciais omissões na terminologia de origem.

O artigo conclui que o benchmark RASC serve como um campo de teste rigoroso para esses sistemas e que a combinação de estratégias de recuperação de alto recall com seleção de LLM restrita oferece um caminho promissor para a autoria de conjuntos de valores clínicos.