PromptRad: Knowledge-Enhanced Multi-Label Prompt-Tuning for Low-Resource Radiology Report Labeling

Resumo Técnico: PromptRad

Definição do Problema
A rotulagem automática de relatórios de radiologia é essencial para extrair achados clínicos de texto não estruturado, facilitando pesquisas de imagem médica em larga escala. No entanto, soluções existentes enfrentam limitações significativas em ambientes clínicos com poucos recursos. Métodos tradicionais baseados em regras (por exemplo, MetaMap, NegBio) dependem de mapeamentos predefinidos e têm dificuldade com as descrições diversas e não convencionais encontradas em relatórios clínicos. Por outro lado, o ajuste fino de Modelos de Linguagem Pré-treinados (PLMs) como BioBERT ou PubMedBERT geralmente requer grandes quantidades de dados rotulados, que são escassos em ambientes clínicos devido ao alto custo da anotação por especialistas. Além disso, embora o ajuste de prompts (Prompt-tuning) ofereça uma alternativa de aprendizado com poucos exemplos, as abordagens existentes são projetadas principalmente para classificação multiclasse com categorias mutuamente exclusivas, falhando em abordar a natureza inerentemente multirrótulo dos relatórios de radiologia, onde múltiplos achados coexistem.

Metodologia
Os autores propõem o PromptRad, uma abordagem de ajuste de prompts multirrótulo aprimorada por conhecimento, projetada para a rotulagem de relatórios de radiologia com poucos recursos. O método reformula a tarefa de classificação multirrótulo como um problema de modelagem de linguagem mascarada (MLM), aproveitando um PLM pré-treinado sem introduzir camadas de classificação adicionais.

Os componentes-chave da metodologia incluem:

1. Verbalizador de Múltiplas Palavras: Diferentemente do ajuste de prompts padrão, que mapeia uma classe para uma única palavra, o PromptRad incorpora sinônimos do Metassaurus UMLS (especificamente SNOMEDCT) para criar um verbalizador de múltiplas palavras. Por exemplo, o rótulo "Carcinoma Hepatocelular" é mapeado tanto para "hcc" quanto para "hepatoma". Isso enriquece as representações de categorias e mitiga o viés em direção a uma única forma lexical.
2. Estrutura de Ajuste de Prompts: O relatório de entrada é formatado com um modelo de texto contendo um token [MASK] (por exemplo, "O relatório de radiologia está relacionado a [MASK]."). O modelo prevê o token na posição mascarada para determinar a presença de achados específicos.
3. Geração Automática de Prompts: Para otimizar a seleção de modelos, os autores empregam um modelo generativo T5 para criar e classificar automaticamente vários modelos de prompts com base na verossimilhança conjunta, selecionando o modelo de melhor desempenho para o treinamento.
4. Objetivo de Treinamento: O modelo é ajustado finamente usando uma perda de entropia cruzada binária nos logits dos tokens mascarados. Quando existem múltiplos mapeamentos de palavras para um rótulo, o sistema seleciona o mapeamento com a maior verossimilhança.

Principais Contribuições
O artigo descreve três contribuições primárias:

• Formulação: Enquadra a rotulagem de relatórios de radiologia com poucos recursos como um problema de ajuste de prompts multirrótulo, adaptando modelos de linguagem mascarados para prever múltiplos achados clínicos simultaneamente a partir de um único relatório.
• Integração de Conhecimento: Introduz um verbalizador de múltiplas palavras informado pelo UMLS e uma estratégia de geração automática de prompts para aprimorar a representação de rótulos e a seleção de modelos em contextos clínicos.
• Avaliação Empírica: Avalia o PromptRad em um conjunto de dados real de tomografias computadorizadas (TC) do fígado, demonstrando sua eficácia sob supervisão limitada, incluindo casos desafiadores de negação.

Resultados
Os experimentos foram conduzidos em um conjunto de dados de relatórios de TC do fígado de um único centro médico, comparando o PromptRad com baselines baseadas em dicionários (MetaMap, NegBio), PLMs ajustados finamente (PubMedBERT) e grandes modelos de linguagem (GPT-4).

• Desempenho com Poucos Recursos: Utilizando apenas 32 exemplos de treinamento rotulados, o PromptRad superou métodos baseados em dicionários e baselines de ajuste fino padrão na maioria das categorias.
• Comparação com Grandes Modelos de Linguagem (LLMs): O PromptRad alcançou desempenho competitivo com o GPT-4, e a versão que utiliza geração automática de modelos (PromptRad+AutoT) superou ligeiramente o GPT-4 em pontuações médias, apesar de utilizar um modelo significativamente menor e implantável localmente.
• Tratamento de Negação: A análise de casos de negação (relatórios que mencionam um nome de achado, mas são anotados como negativos) mostrou que o PromptRad capturou padrões complexos de negação mais efetivamente do que abordagens baseadas em regras como o NegBio, que frequentemente falhavam em estruturas de sentenças curtas ou não padrão.
• Ablação: O uso do verbalizador de múltiplas palavras mostrou-se capaz de melhorar o desempenho médio e reduzir a variância entre execuções em comparação com verbalizadores de palavra única.

Significado e Alegações
Os autores posicionam o PromptRad como uma solução prática para cenários clínicos caracterizados por escassez de dados, altos custos de anotação e requisitos estritos de privacidade de dados. Ao ajustar finamente um modelo leve (PubMedBERT, ~110 milhões de parâmetros) sem APIs externas, o PromptRad oferece uma alternativa implantável localmente a grandes modelos de linguagem proprietários. O artigo alega que essa abordagem efetivamente preenche a lacuna entre a necessidade de rotulagem de alto desempenho e a realidade de dados rotulados limitados em ambientes clínicos. Os autores observam que, embora o método seja promissor, sua generalizabilidade está atualmente limitada ao domínio específico (TC do fígado) e à língua (inglês) do estudo, sendo necessária validação adicional para aplicações clínicas mais amplas.