Generalised Medical Phrase Grounding

Resumo Técnico: Localização de Frases Médicas Generalizada (Generalised Medical Phrase Grounding)

Definição do Problema e Motivação
A Localização de Frases Médicas (MPG - Medical Phrase Grounding) visa mapear descrições textuais de achados radiológicos para regiões espaciais correspondentes em imagens médicas. Embora os sistemas de MPG existentes sigam amplamente o paradigma de Compreensão de Expressão de Referência (REC - Referring Expression Comprehension), eles operam sob uma premissa restritiva de "uma-frase-para-um-caixa". Esta formulação não se alinha com a realidade clínica, onde os laudos radiológicos frequentemente contêm:

1. Achados de múltiplas regiões: Frases que descrevem patologias que abrangem múltiplas áreas anatômicas (ex: "opacidades nos lobos inferiores bilaterais").
2. Frases não localizáveis: Negações (ex: "Ausência de pneumotórax"), descrições de anatomia normal ou texto não diagnóstico (ex: "Projeções PA fornecidas").
3. Incerteza: A falta de pontuações de confiança explícitas nos modelos de REC impede que o sistema se abstenha quando a evidência de imagem é insuficiente.

Os métodos atuais baseados em REC tipicamente filtram tais casos complexos durante o treinamento e a avaliação, limitando sua utilidade clínica. Além disso, a escassez de conjuntos de dados de caixas delimitadoras (bounding boxes) anotados por especialistas e caros dificulta o treinamento de modelos robustos capazes de lidar com essas nuances.

Metodologia: MedGrounder e GMPG-ImaGenome
Os autores propõem a Localização de Frases Médicas Generalizada (GMPG), reformulando a tarefa como um problema de predição de conjuntos que suporta zero, uma ou múltiplas regiões pontuadas por frase, juntamente com pontuações de confiança. Para realizar isso, eles introduzem o MedGrounder, um modelo baseado na arquitetura MDETR (Detection Transformer), e um novo currículo de treinamento "fraco-para-especialista" de dois estágios.

1. Supervisão Fraca via GMPG-ImaGenome:

   • Os autores utilizam o Chest ImaGenome, um conjunto de dados de larga escala contendo grafos de cena que ligam sentenças de laudos a regiões anatômicas. No entanto, os dados brutos do Chest ImaGenome são ruidosos para GMPG, contendo alinhamentos redundantes de região pai-filho e ligando sentenças não localizáveis (negações/achados normais) a caixas.
   • Eles desenvolveram um pipeline de limpeza assistido por LLM (utilizando LLaMA-3-70B) para transformar esses dados. O pipeline remove regiões anatômicas redundantes e filtra caixas espúrias para sentenças não localizáveis.
   • O GMPG-ImaGenome resultante reduz a contagem de caixas em aproximadamente 80%, fornecendo uma supervisão fraca mais limpa, onde sentenças não localizáveis são corretamente mapeadas para zero caixas.

2. Currículo de Treinamento de Dois Estágios:

   • Estágio 1 (Pré-treinamento): O MedGrounder é pré-treinado no GMPG-ImaGenome limpo. Este estágio ensina o modelo a alinhar sentenças de laudos com regiões anatômicas e, crucialmente, a se abster (predizer zero caixas) para frases não localizáveis.
   • Estágio 2 (Ajuste Fino/Fine-tuning): O modelo pré-treinado é ajustado em conjuntos de dados menores e anotados por especialistas (PadChest-GR e MS-CXR). Esses conjuntos contêm caixas delimitadoras precisas para achados específicos, em vez de regiões anatômicas gerais.

3. Arquitetura e Perda:

   • O MedGrounder utiliza um backbone ResNet-101 para imagens e BioClinical ModernBERT para texto.
   • Ele emprega um decodificador Transformer com consultas de objetos (object queries) aprendíveis para predizer um conjunto de caixas delimitadoras e pontuações de confiança.
   • O objetivo de treinamento utiliza o emparelhamento húngaro (Hungarian matching) para atribuir predições às caixas de verdade fundamental (ground-truth). Para casos não localizáveis ($K=0$), todas as consultas são supervisionadas para predizer baixa confiança. Para casos de múltiplas regiões, múltiplas consultas são atribuídas às caixas de verdade fundamental.

Principais Contribuições

• Formulação da Tarefa: O artigo define a GMPG como uma tarefa de predição de conjuntos clinicamente alinhada, indo além da restrição de caixa única da REC para suportar números variáveis de regiões localizadas e abstenção baseada em confiança.
• Criação de Conjunto de Dados: O lançamento do GMPG-ImaGenome, um recurso de pré-treinamento com anotação fraca derivado do Chest ImaGenome via um processo de limpeza assistido por LLM, abordando a escassez de dados de localização em larga escala.
• Desempenho do Modelo: A introdução do MedGrounder, que alcança desempenho de estado da arte (SOTA) geral no PadChest-GR e resultados competitivos no MS-CXR, com ganhos significativos especificamente em frases de múltiplas regiões.
• Geração de Laudo Localizado Modular (GRG): Demonstra que o MedGrounder pode ser composto post-hoc com geradores de laudos existentes (ex: MAIRA-2, CXRMate-RRG24) para produzir laudos localizados sem retreinar o gerador ou exigir trios caros de imagem-laudo-caixa.

Resultos

• Transferência Zero-Shot: O MedGrounder demonstra um forte desempenho zero-shot tanto no PadChest-GR quanto no MS-CXR, superando baselines que dependem apenas de pré-treinamento de domínio geral ou ajuste fino direto.
• Localização de Múltiplas Regiões: O modelo alcança os maiores ganhos de desempenho em frases de múltiplas regiões comparado aos baselines baseados em REC (ex: MedRPG, AGPT), que lutam com frases que exigem múltiplas caixas.
• Localizabilidade: O MedGrounder alcança uma Alta Acurácia Negativa (N-Acc), abstendo-se corretamente de gerar caixas para achados negados ou normais, uma capacidade amplamente ausente em modelos REC padrão.
• Estudos de Ablação:
  • O treinamento de dois estágios (Fraco-para-Especialista) mostra-se necessário; o ajuste fino direto em pequenos conjuntos de dados de especialistas resulta em desempenho próximo de zero.
  • A limpeza assistida por LLM do Chest ImaGenome é crítica; o pré-treinamento no conteúdo não limpo falha em aprender a localizabilidade (0.0 N-Acc).
  • O uso de um codificador de texto de domínio médico (BioClinical ModernBERT) supera significativamente os codificadores gerais (RoBERTa).
• Eficiência de GRG: Quando integrado em um pipeline para geração de laudos localizados, o MedGrounder alcança qualidade de localização competitiva (Grounding F1 > 95% em subconjuntos), oferecendo uma aceleração de 5.5× e uma redução de 19× nos parâmetros em comparação com modelos de ponta a ponta como o MAIRA-2.

Significância e Limitações
O artigo afirma que o MedGrounder fornece um caminho prático e eficiente em termos de dados para a localização de frases clinicamente relevantes. Ao desacoplar a localização da geração de laudos, ele permite a implantação modular onde capacidades de localização podem ser adicionadas a qualquer gerador de texto sem retreinamento.

Os autores reconhecem limitações:

• O desempenho permanece inferior em achados pulmonares com baixo alinhamento anatômico (ex: nódulos) em comparação com achados com restrição anatômica (ex: cardiomegalia).
• O desempenho de caixa única é comparável, mas não excede significativamente, os métodos de MPG existentes.
• Os conjuntos de dados de avaliação consistem em extensões de texto curtas e focadas, enquanto os laudos do mundo real são mais longos e complexos; não existe atualmente um conjunto de dados de sentenças de laudos completos com caixas delimitadoras.

O trabalho sugere direções futuras, como a incorporação de conjuntos de dados de detecção de objetos para melhorar a localização de achados de baixo alinhamento e o uso do MedGrounder como uma ferramenta de anotação para gerar supervisão fraca para conjuntos de dados maiores não anotados.