Beyond the Embedding Bottleneck: Adaptive Retrieval-Augmented 3D CT Report Generation

Título: Além do Gargalo de Embedding: Geração de Relatórios 3D CT com Recuperação Aumentada Adaptativa (AdaRAG-CT)

1. O Problema: Gargalo Representacional em CTs 3D

A geração automática de relatórios de radiologia a partir de volumes de Tomografia Computadorizada (TC) 3D enfrenta um limite de desempenho significativo, onde muitos achados patológicos críticos não são relatados.

• Hipótese Central: Os autores identificam que a limitação não reside na capacidade do modelo de linguagem (LLM), mas sim em um gargalo representacional nos embeddings (vetores de representação) visuais.
• Evidência Empírica:
  • Embora os embeddings de TC 3D baseados em aprendizado contrastivo (como CT-CLIP) consigam distinguir estados patológicos grosseiros (alto AUC em classificadores lineares), eles sofrem de concentração dimensional severa.
  • Uma Análise de Componentes Principais (PCA) revelou que, de 512 dimensões, apenas 2 a 9 dimensões efetivas carregam a variância significativa para a maioria dos modelos.
  • Consequência: A informação visual é "pobre" em detalhes semânticos finos (como lateralidade, gravidade e achados co-ocorrentes).
  • Falha de Escala: Aumentar o tamanho do LLM (de 8B para 70B parâmetros) não trouxe melhoria no desempenho (Clinical F1), confirmando que o gargalo é a entrada visual, não a capacidade de geração do decodificador.
• Falha da Recuperação Estática: Estratégias de recuperação aumentada (RAG) tradicionais, que buscam casos similares baseados apenas na similaridade de imagem, falham porque os próprios embeddings visuais não conseguem separar achados patológicos finos, levando a recuperações imprecisas e, por vezes, degradação do desempenho.

2. Metodologia: AdaRAG-CT

Para contornar o gargalo visual sem substituir os codificadores existentes, os autores propõem o AdaRAG-CT, um framework de aumento adaptativo que introduz um canal textual suplementar.

Arquitetura Base

• Utiliza uma arquitetura estilo LLaVA com um LLM (Llama-3.1-8B ou 70B).
• Recebe entradas visuais de um embedding global (CT-CLIP) e quatro embeddings específicos de órgãos (ViSD-Boost: pulmão, coração, esôfago, aorta).
• Estes vetores são projetados para o espaço de entrada do LLM.

Componentes Principais do AdaRAG-CT

1. Base de Dados de Sentenças Indexada por Órgão:

   • Relatórios de treinamento são divididos em sentenças e anotadas com o órgão correspondente e achados patológicos.
   • As sentenças são codificadas por um encoder de texto (BiomedVLP-CXR-BERT) e indexadas para busca eficiente.

2. Recuperação Adaptativa (Treinamento e Inferência):

   • Token [RAG]: Um token especial é adicionado ao vocabulário. O modelo aprende a emitir este token autonomamente quando julga necessário contexto externo.
   • Estratégia de Treinamento (Oracle-Mixed): O modelo é treinado com um regime misto:
     • Contexto Oracle: Sentenças de referência perfeitas (ground-truth).
     • Contexto Ruidoso: Resultados reais de recuperação.
     • Isso ensina o modelo a ser robusto a recuperações imperfeitas e a usar o contexto apenas quando benéfico.
   • Mecanismo de Disparo: Durante a geração, se o modelo emitir [RAG], ele pausa, usa a geração parcial como consulta para buscar sentenças relevantes na base de dados (via similaridade texto-texto ou dois estágios: imagem -> texto), e regenera a sentença com o contexto injetado.

3. Estratégias de Recuperação:

   • Dois Estágios: Busca inicial baseada em imagem (coarse) seguida de reclassificação baseada em texto.
   • Texto-para-Texto: Busca direta na base de sentenças usando a geração parcial do modelo como consulta.
   • Ambos os métodos mostram desempenho comparável, indicando que o mecanismo de trigger adaptativo é mais importante que a precisão da recuperação em si.

3. Contribuições Chave

1. Diagnóstico Quantitativo: Demonstração empírica de que os embeddings contrastivos de TC 3D têm dimensionalidade efetiva extremamente baixa (2-9 dimensões), incapaz de suportar a geração de relatórios completos apenas via canal visual.
2. Framework AdaRAG-CT: Proposta de um sistema que compensa a pobreza visual injetando informações textuais controladas e adaptativas, superando a necessidade de re-treinar codificadores visuais complexos.
3. Mecanismo de Controle Adaptativo: Introdução de um token [RAG] treinado para ativar a recuperação apenas quando necessário, evitando a injeção cega de contexto que poderia introduzir ruído.

4. Resultados Experimentais

Os experimentos foram realizados no benchmark CT-RATE (25.692 estudos de TC de tórax).

• Desempenho Clínico (Clinical F1):
  • Modelo Base (8B): 0.455.
  • Modelo Base (70B): 0.405 (Sem melhoria, confirmando o gargalo visual).
  • AdaRAG-CT (8B): 0.480 (+0.025 sobre o base, +6 pontos sobre o estado da arte anterior CT-Agent).
  • AdaRAG-CT (70B): 0.426.
• Métricas de NLP: O modelo também superou os baselines em BLEU, ROUGE-L e METEOR, além de obter pontuação superior no LLaMA Score.
• Estudos de Ablação:
  • A injeção de contexto em intervalos fixos (ex: a cada 3 ou 5 tokens) é sensível a hiperparâmetros e inferior à abordagem adaptativa.
  • Remover o contexto durante a inferência de um modelo treinado com RAG causa queda drástica de desempenho (0.402), provando que o modelo aprendeu a depender do canal textual suplementar.
• Análise Qualitativa: O modelo base tende a alucinar estruturas anatômicas fora do campo de visão (ex: listar artérias da perna em um TC de tórax). O AdaRAG-CT, ao recuperar evidências específicas do paciente, corrige essas alucinações e foca em achados relevantes (ex: calcificação da aorta).

5. Significado e Conclusão

O trabalho redefine a abordagem para geração de relatórios médicos 3D:

• Mudança de Paradigma: O problema não é a falta de capacidade do LLM, mas a insuficiência da representação visual. O RAG não serve apenas para trazer conhecimento externo, mas atua como um canal visual substituto de alta largura de banda para informações que o encoder visual falhou em codificar.
• Solução Prática: Em vez de esperar por novos codificadores visuais perfeitos (que exigem pré-treinamento massivo), o AdaRAG-CT oferece uma solução viável e eficaz que utiliza o canal textual para preencher as lacunas semânticas.
• Limitações: O estudo foca em TCs de tórax sem contraste de uma única instituição. Além disso, a métrica principal (Clinical F1) avalia a presença/ausência de 18 categorias binárias, não capturando a riqueza clínica completa (tamanho, morfologia, gravidade) de um relatório ideal.

Em suma, o AdaRAG-CT estabelece um novo estado da arte ao demonstrar que a recuperação adaptativa de texto é essencial para superar as limitações inerentes dos atuais embeddings visuais em tarefas médicas complexas.