Resumo Técnico: STAR3 – Condicionamento Espaço-Temporal e Clínico para Recuperação de Relatórios Radiológicos de Grão Fino

Declaração do Problema

A Geração Automática de Relatórios Radiológicos (ARRG) visa aliviar a sobrecarga nas forças de trabalho de radiologia causada pela crescente demanda de exames de imagem. Embora os métodos autorregressivos tenham mostrado promessa, eles frequentemente sofrem com alucinações clínicas e altos custos computacionais devido aos Grandes Modelos de Linguagem (LLMs). Abordagens baseadas em recuperação oferecem uma alternativa ao restringir as saídas a corpora escritos por humanos, reduzendo assim os riscos de alucinação. No entanto, os métodos de recuperação existentes exibem três limitações críticas:

1. Rigidez: Eles tipicamente recuperam relatórios inteiros baseados na similaridade global imagem-texto, carecendo de flexibilidade para acomodar variações estruturais sutis.
2. Falta de Contexto Longitudinal: A maioria dos métodos ignora a progressão temporal, muitas vezes descartando referências a estudos anteriores ou falhando em modelar a evolução da doença ao longo do tempo.
3. Subutilização do Contexto Clínico: Eles frequentemente falham em incorporar indicações clínicas (sintomas, condições suspeitas) disponíveis no momento do relatório, que são cruciais para a precisão diagnóstica.

Além disso, as estratégias de recuperação atuais raramente realizam a recuperação de grão fino ao nível de região, que alinhe achados anatômicos específicos com suas sentenças correspondentes no relatório, enquanto considera mudanças temporais.

Metodologia: O Framework STAR3

Os autores propõem o STAR3 (Spatio-Temporal Attention-based Radiology Report Retrieval), um framework multimodal projetado para gerar relatórios recuperando sentenças específicas de regiões condicionadas à anatomia, tempo e contexto clínico. A arquitetura segue um design modular composto por quatro estágios principais:

1. Detecção de Região Anatômica e Extração de Características

Em vez de usar características globais de imagem, o STAR3 isola regiões anatômicas específicas.

• Backbone: Um detector do tipo Faster R-CNN é empregado, utilizando o RadDINO (um codificador de visão biomédica pré-treinado em imagens biomédicas unimodais) como backbone em vez do padrão ResNet-50.
• Processo: O detector identifica $K$ regiões anatômicas predefinidas em radiografias de tórax, extraindo características visuais de nível de região ($y_k$) e caixas delimitadoras (bounding boxes).

2. Modelagem Temporal de Nível de Região

Para capturar a progressão da doença, o modelo processa pares de radiografias de tórax atuais e anteriores.

• Mecanismo: Um módulo de Atenção de Múltiplas Cabeças (MHA) funde o embedding da região atual ($y^t_k$) com o embedding da região anterior ($y^{t-1}_k$).
• Função: A representação atual atua como a consulta (query), atendendo tanto aos embeddings atuais quanto aos anteriores. Isso produz uma representação temporalmente enriquecida ($z_k$) que codifica mudanças longitudinais (ex: anormalidades novas, em resolução ou estáveis) ancoradas ao exame atual.

3. Condicionamento Clínico

Para incorporar o contexto diagnóstico, o framework utiliza indicações clínicas (texto descrevendo sintomas ou condições suspeitas).

• Codificação: As indicações clínicas são tokenizadas e codificadas usando o RadBERT, um transformador de linguagem clínica.
• Fusão: Um mecanismo de atenção cruzada região-texto permite que as representações anatômicas temporalmente enriquecidas ($z_k$) atendam aos embeddings das indicações clínicas. Isso resulta em uma representação clinicamente condicionada ($a_k$) que integra achados visuais com a motivação clínica específica do exame.

4. Dropout Anatômico e Filtragem Consciente de Patologia

Nem todas as regiões detectadas são relevantes para o relatório final.

• Seleção: Um módulo de dropout anatômico prevê um rótulo binário ($s_k$) para filtrar regiões irrelevantes, retendo apenas aquelas que provavelmente contribuirão para o relatório.
• Restrição de Patologia: Um classificador de patologia auxiliar prevê se uma região é normal ou anormal ($o_k$). Essa previsão restringe o espaço de recuperação: regiões normais recuperam apenas de embeddings de sentenças normais, e regiões anormais de embeddings anormais, garantindo consistência anatômica.

5. Aprendizado Contrastivo Multimodal Semi-Supervisionado

Para alinhar características visuais de nível de região com sentenças de relatórios, os autores introduzem um espaço de embedding compartilhado treinado via quatro objetivos complementares:

• Perda Contrastiva Global ($L_{global}$): Alinha embeddings de regiões projetados com embeddings de sentenças pareadas.
• Perda de Nível de Token Local ($L_{local}$): Incentiva o alinhamento entre regiões e tokens clinicamente relevantes dentro de sentenças usando uma agregação de máximo suave.
• Perda de Negativo Difícil ($L_{hn}$): Utiliza pares semanticamente similares, mas clinicamente incorretos (ex: inversão de polaridade de achado) para melhorar a especificidade da recuperação.
• Perda de Correspondência Imagem-Texto ($L_{ITM}$): Um objetivo de classificação binária para verificar se um par região-sentença está correspondido.
• Consciência de Patologia: Durante o treinamento, pares com status de anormalidade inconsistente são mascarados para forçar o alinhamento consciente de patologia.

Inferência

Na inferência, o modelo localiza regiões, funde dados temporais e clínicos, filtra regiões via módulo de dropout e recupera a sentença de maior ranking para cada região selecionada a partir de um índice pré-computado. Um passo final de filtragem baseada em rótulos remove duplicatas, resolve contradições e prioriza sentenças com pistas temporais explícitas (ex: "novo", "resolvido") para montar o relatório final.

Principais Contribuições

O artigo delineia cinco contribuições primárias:

1. Framework STAR3: Um novo framework de recuperação que fornece fundamentação anatômica de grão fino via características de nível de região extraídas por um detector treinado com RadDINO.
2. Fundamentação Temporal: O primeiro pipeline baseado em recuperação que realiza a recuperação de sentenças ao nível anatômico ao modelar conjuntamente radiografias de tórax atuais e anteriores, permitindo o raciocínio explícito sobre mudanças longitudinais.
   {% endmacro %}
3. Dropout Anatômico: Um módulo que filtra seletivamente previsões de nível de região para reduzir redundância e impor consistência anatômica.
4. Objetivo de Aprendizado Contrastivo: Uma abordagem semi-supervisionada que alinha regiões de imagem e sentenças de relatórios usando rótulos clínicos de grão fino para estruturar o espaço de recuperação em torno de conceitos clinicamente significativos.
5. Avaliação Abrangente: Experimentos extensos no dataset MIMIC-CXR demonstrando desempenho superior sobre as linhas de base existentes.

Resultados Experimentais

Os experimentos foram conduzidos no dataset MIMIC-CXR (377.110 imagens) e Chest ImaGenome (para anotações de região).

• Desempenho de Recuperação: O STAR3 superou significativamente os métodos existentes de recuperação de imagem-para-relatório (ex: BioViL-T, RadIR, CLIP-XRad) nas métricas de Recall@k. Em um cenário de 500 amostras, melhorou o Recall@1 em 0,052 e o Recall@10 em 0,154 em relação ao melhor método anterior.
• Métricas Lexicais: O STAR3 alcançou resultados de estado da arte em pontuações BLEU (BLEU-1: 0,437), superando métodos anteriores como Teaser e DuCo-Net. Embora o ROUGE-L tenha sido ligeiramente inferior ao Teaser, os autores observam que a sobreposição lexical não captura totalmente a correção clínica.
• Métricas Clínicas: O STAR3 demonstrou melhorias substanciais na correção clínica:
  • CheXbert: 0,713 (melhor pontuação), melhorando sobre o AHIVE em 0,028.
  • RadGraph F1: 0,209, melhorando sobre o X-REM em 0,028.
  • RadCLiQ: 0,569 (quanto menor, melhor), uma redução significativa no erro clínico estimado comparado ao X-REM (3,781).
• Estudos de Ablação:
  • Detector: O detector baseado em RadDINO alcançou o maior mAP@0.5 (0,93) e Mean IoU (0,94) comparado a Faster R-CNN, DETR e YOLOv10.
  • Fusão: A atenção cruzada região-texto superou a condicionação aditiva e FiLM para seleção de região.
  • Correspondência Semântica vs. Exata: Enquanto o Recall de Correspondência Exata (EM) foi de 0,197 (k=1), o Recall de Correspondência Semântica (SM) foi de 0,746, indicando que muitas sentenças recuperadas eram clinicamente equivalentes à referência, apesar de possuírem redações distintas.

Significância e Limitações

Os autores afirmam que o STAR3 avança a geração automática de relatórios radiológicos ao mudar de uma recuperação global rígida para uma abordagem anatomicamente e temporalmente fundamentada. Ao alinhar a recuperação com a prática clínica — onde os radiologistas interpretam achados região por região no contexto do histórico do paciente e das indicações clínicas — o framework produz relatórios que são não apenas textualmente similares, mas clinicamente mais fiéis.

Limitações reconhecidas pelos autores:

• Restrição de Corpus: A natureza baseada em recuperação limita o sistema às sentenças presentes no corpus de treinamento, o que pode dificultar a expressão de achados raros ou não vistos.
• Limitação de Visão: A implementação atual opera exclusivamente em radiografias de tórax frontais e não incorpora vistas laterais ou raciocínio de múltiplas vistas.

Direções Futuras:
O artigo sugere estender o framework para entradas de múltiplas vistas, investigar a modelagem temporal além de um único estudo anterior e desenvolver o STAR3 como parte de um fluxo de trabalho de recuperação aumentada onde os radiologistas possam interagir para refinar sentenças recuperadas ou caixas delimitadoras (human-in-the-loop).