Resumo Técnico: Resolução Encontra Redução: Contexto Visual Eficiente para Geração de Relatórios Radiológicos 3D

Definição do Problema

Modelos de visão-linguagem (VLMs) oferecem um caminho promissor para automatizar a geração de relatórios radiológicos. No entanto, aplicar esses modelos a volumes de Tomografia Computadorizada (TC) 3D completos apresenta desafios computacionais significantes. Codificadores de visão (VEs) de fundação modernos podem gerar dezenas de milhares de tokens de visão por exame, criando um gargalo primário para o Large Language Model (LLM) subsequente. Embora projetores de visão-para-linguagem possam comprimir essa sequência para reduzir a computação, a compressão agressiva corre o risco de descartar detalhes clinicamente relevantes. Inversamente, preservar entradas de alta resolução exige estratégias de compressão eficazes para manter um orçamento fixo de tokens subsequentes.

A questão central de design abordada neste trabalho é como o "orçamento de tokens de visão" deve ser otimamente alocado entre três dimensões concorrentes:

1. Campo de Visão (FOV) de Entrada: Codificação de volume total vs. recorte de Região de Interesse (ROI) guiado pela anatomia.
2. Resolução Espacial: Resolução padrão vs. entradas de maior resolução.
3. Projeção de Visão-para-Linguagem: A escolha da arquitetura do projetor e sua taxa de compressão.

Metodologia

Os autores propõem um framework de avaliação sistemática baseado em uma arquitetura padrão de VLM estilo LLaVA: um Codificador de Visão pré-treinado congelado, um projetor de visão-para-linguagem treinável e um LLM ajustado por instrução.

Configuração Experimental

• Datasets: Dois conjuntos de dados de relatórios de TC em larga escala foram utilizados: CT-RATE (mais de 50k TCs de tórax) e Merlin (mais de 25k TCs abdominais).
• Codificadores de Visão (VEs): Quatro modelos de fundação médica heterogêneos foram testados:
  • Primus: Um Vision Transformer (ViT) 3D.
  • Curia: Um ViT 2D que codifica fatias axiais independentemente.
  • Merlin: Um CNN 3D (baseado em ResNet).
  • CT-FM: Um CNN 3D (baseado em SegResNet).
• Projetores: Cinco projetores de redução de tokens foram avaliados junto com um baseline de MLP que preserva tokens:
  • Baseados em Grade (Grid-based): AveragePool, ConcatAdapter, TokenPacker.
  • Baseados em Query: AttentionPool, PerceiverResampler.
  • Taxas de Compressão: Avaliadas até 64× compressão.
• LLMs: Cinco modelos ajustados por instrução variando de 1.7B a 4B de parâmetros (Qwen3, Qwen3-VL, Phi-4-mini, Gemma3).
• Métrica de Avaliação: O Clinical Macro F1 foi a métrica primária, calculada usando classificadores ajustados (RadBERT para CT-RATE, ModernBERT para Merlin) treinados em rótulos extraídos pelo LLM. Métricas lexicais (BLEU, ROUGE) foram reportadas apenas para comparações finais.

Regimes de Entrada

O estudo comparou três estratégias de entrada sob um orçamento fixo de tokens de LLM:

1. Whole (Total): Codificação de todo o volume redimensionado.
2. ROI: Recorte para uma ROI anatômica (pulmões para CT-RATE, primeiro plano de corpo inteiro para Merlin) usando TotalSegmentator.
3. High Resolution (Alta Resolução): Aumento da resolução efetiva via codificação multi-bloco (Primus-4B) ou agregação de características axiais mais densas (Curia-64S).

Principais Contribuições

1. Avaliação Sistemática de Escolhas de Design: Este é o primeiro estudo controlado que desacopla o FOV de entrada e a resolução do orçamento de tokens do LLM, avaliando sistematicamente a interação entre VEs, projetores e LLMs através de dois grandes datasets.
2. Recorte de ROI como uma Estratégia Consistente: O estudo identifica o recorte de ROI guiado pela anatomia como a intervenção mais robusta. Ele melhora o Clinical Macro F1 em 19 de 20 configurações, com ganhos médios de +3.7 pontos para o Primus e +1.1 pontos para o Curia.
3. Benefícios de Resolução Dependentes do Projetor: O artigo demonstra que aumentar a resolução de entrada não é universalmente benéfico; seu sucesso depende fortemente do mecanismo de agregação do projetor. Apenas projetores capazes de uma compressão forte e eficaz (TokenPacker e PerceiverResampler) beneficiam-se de entradas de maior resolução.
4. Dominância do Encoder: A escolha do Codificador de Visão mostra ter um impacto maior no desempenho do que a escolha do LLM. Codificadores baseados em ViT (Primus, Curia) superaram significativamente os codificadores baseados em CNN (Merlin, CT-FM).
5. Desempenho de Estado da Arte: As configurações propostas alcançam novos resultados de estado da arte em ambos os benchmarks, atingindo um Clinical Macro F1 de 49.5 no CT-RATE e 49.0 no Merlin.

Resultados

• ROI vs. Volume Total: O recorte de ROI superou consistentemente a codificação de volume total. Para o ViT 3D (Primus), o ganho foi substancial (+3.7 F1), provavelmente devido ao aumento da resolução efetiva dentro do orçamento fixo de tokens. Para o ViT 2D (Curia), que já opera próximo à resolução nativa no plano, o ganho foi menor (+1.1 F1).
• Impacto da Alta Resolução:
  • No CT-RATE, a alta resolução não melhorou o desempenho para o Primus (atingindo um teto de resolução), mas beneficiou o Curia quando pareado com o PerceiverResampler.
  • No Merlin, a alta resolução beneficiou consistentemente ambos os encoders quando pareados com TokenPacker ou PerceiverResampler, particularmente para detecção de patologias pequenas como cistos renais e cálculos biliares.
  • Projetores baseados em grade como ConcatAdapter e AveragePool frequentemente degradaram com maior resolução devido à perda de informação ou explosão de parâmetros.
• Compressão de Tokens:
  • MLPs que preservam tokens geralmente superaram projetores que reduzem tokens para o encoder Primus.
  • Para o Curia, o PerceiverResampler com 64× compressão superou o baseline de MLP não comprimido (49.2 vs. 48.5 no CT-RATE).
  • TokenPacker foi o projetor comprimido mais forte para o Primus no dataset Merlin.
  • ConcatAdapter mostrou severa degradação de desempenho sob alta compressão devido ao escalonamento de sua dimensão de entrada e contagem de parâmetros.
• Influência do LLM: Embora a escolha do LLM tenha afetado o desempenho (variações de 2.2–5.3 F1), foi menos influente do que a escolha do VE (variações >10 F1). Notavelmente, modelos inicializados a partir de pré-treinamento multimodal (Qwen3-VL) superaram seus equivalentes apenas de texto (Qwen3-1.7B) mesmo quando a torre de visão nativa era substituída.

Significância e Alegações

O artigo afirma que a alocação do orçamento de tokens de visão é uma variável de design crítica para a geração escalável de relatórios radiológicos 3D. Os autores enfatizam que:

• O recorte de ROI é a estratégia mais consistente e eficaz para melhorar o desempenho clínico sem aumentar o custo computacional.
• A arquitetura do projetor dita se as entradas de maior resolução serão benéficas; estratégias simples de pooling ou concatenação falham em aproveitar dados de alta resolução sob compressão forte, enquanto a agregação baseada em query ou estruturada (PerceiverResampler, TokenPacker) tem sucesso.
• Adaptação de Modelos de Fundação: A escolha do Codificador de Visão é o fator dominante no desempenho do sistema, sugerindo que esforços futuros devem focar na adaptação de modelos de fundação médica robustos em vez de apenas otimizar LLMs.
• Relevância Clínica: O estudo destaca que métricas lexicais são pouco confiáveis para a qualidade de relatórios médicos, e que o Clinical Macro F1 derivado de classificadores automatizados fornece uma avaliação mais significativa da correção diagnóstica.

Os autores concluem que, embora as capacidades de hardware estejam aumentando, a demanda por utilização eficiente de tokens de visão crescerá com imagens de maior resolução e modelos maiores. Portanto, o design cuidadoso do regime de entrada e do projetor permanece central para alcançar o estado da arte na geração de relatórios radiológicos 3D.