Resumo Técnico: SliceWorld

Declaração do Problema

A geração de relatórios de TC (GRTC) exige que os modelos sintetizem contexto anatômico tridimensional e achados patológicos a partir de centenas de fatias axiais de TC. As abordagens existentes geralmente tratam a GRTC como um problema de mapeamento direto de imagem para texto ou dependem de agregação sequencial de características de fatias. Esses métodos frequentemente negligenciam a estrutura espacial e axial-sequencial inerente aos dados volumétricos de TC. Consequentemente, carecem de mecanismos para modelar como as evidências de TC evoluem entre fatias adjacentes ou como os relatórios gerados respondem a mudanças controladas em fatores latentes relacionados a lesões. Além disso, os métodos atuais não fornecem um estado interno estruturado que suporte análise preditiva ou intervenção, limitando sua capacidade de realizar raciocínio diagnóstico ou geração robusta de relatórios sob observação parcial.

Metodologia

Os autores propõem o SliceWorld, um framework de estado de mundo específico para TC que reformula a GRTC como um problema de modelagem de mundo sobre observações axiais ordenadas de TC. Em vez de simular a progressão física da doença ou sintetizar imagens com valores de HU, o SliceWorld aprende um estado preditivo latente que captura evidências visuais em nível de fatia e suporta análise de intervenção.

Arquitetura Central

1. Codificação de TC e Construção do Estado de Mundo:

   • As fatias de TC de entrada são codificadas em características visuais usando um codificador ViT DINOv2.
   • Um codificador causal de sequência de fatias (Mamba) processa a sequência prefixo de características para gerar uma representação contextualizada $h_t$ para cada fatia $t$, garantindo que não haja acesso a fatias futuras.
   • A representação $h_t$ é decomposta em um estado de mundo sensível a fatores $s_t = [a_t; l_t; u_t]$, compreendendo três componentes distintos:
     • Anatomia ($a_t$): Codifica o contexto anatômico estável.
     • Lesão ($l_t$): Codifica evidências relacionadas à lesão.
     • Incerteza ($u_t$): Codifica a incerteza preditiva.
   • Uma cabeça de presença de lesão prevê a probabilidade de uma lesão na fatia atual com base em $l_t$.

2. Geração de Relatório:

   • Os estados sensíveis a fatores são projetados em "tokens de mundo" por meio de um projetor de tokens e um MLP de duas camadas, mapeando-os para o espaço oculto de um Modelo de Linguagem de Grande Escala (LLM).
   • Esses tokens servem como um contexto prefixo contínuo para o LLM, que gera o relatório de forma autoregressiva.

3. Framework de Treinamento:
   O modelo passa por um processo de treinamento em duas etapas:

   • Pré-treinamento do Modelo de Mundo: Conduzido em sequências de fatias de TC (sem supervisão de texto) usando quatro objetivos:
     • Previsão de Futuras Fatias Multi-etapa (MFP): Treina o modelo para prever características visuais de futuras fatias a partir do estado prefixo atual, impondo a aprendizagem de dinâmicas axiais.
     • Aprendizagem de Estado Sensível a Fatores (FAS): Incentiva a especialização dos fatores de estado através de regularização de continuidade anatômica, esparsidade de lesões, alinhamento da incerteza com a dificuldade de previsão e supervisão de presença de lesão.
     • Previsão Contrafactual (CF): Treina o modelo para responder a intervenções. Ao neutralizar o fator de lesão ($l_t \to 0$), o modelo aprende a produzir previsões "lesão-zero". O objetivo penaliza discrepâncias em fatias sem lesão (invariância) e exige aumento do erro de previsão em fatias relacionadas à lesão quando o fator de lesão é removido (efeito).
   • Ajuste Fino para GRTC: O codificador de estado de mundo pré-treinado é congelado. As camadas de projeção e o decodificador LLM são ajustados finamente em dados pareados de TC-relatório usando perda autoregressiva padrão para alinhar a interface de tokens de mundo com a geração de relatórios.

4. Mecanismo de Intervenção:
   Na inferência, o fator de lesão pode ser manipulado (por exemplo, definido como zero) enquanto os fatores de anatomia e incerteza permanecem constantes. Isso produz uma variante de relatório "latente neutra em lesões", permitindo análise controlada de como evidências específicas de lesão influenciam o texto gerado sem alterar a imagem física de TC.

Principais Contribuições

1. Framework SliceWorld: A proposta de um modelo de mundo de TC que aprende um espaço de estado sensível a fatores sobre sequências de fatias axiais, tratando a GRTC como um problema de representação preditiva e controlável, em vez de um mapeamento direto.
2. Objetivos de Treinamento Inovadores: A introdução de um framework de treinamento combinando previsão de futuras fatias multi-etapa, aprendizagem de estado sensível a fatores e previsão contrafactual de fator de lesão para incentivar representações que sejam preditivas, sensíveis a intervenções e estruturadas clinicamente.
3. Validação Empírica: Experimentos extensivos demonstrando que o SliceWorld alcança resultados state-of-the-art em conjuntos de dados de referência (M3D-Cap e CT-RATE), supera baselines com backbones LLM significativamente maiores e exibe propriedades mensuráveis, como previsão multi-horizonte, alinhamento de fatores e robustez sob observação reduzida de fatias.

Resultados

• Desempenho na Geração de Relatórios: No M3D-Cap e CT-RATE, o SliceWorld supera consistentemente as abordagens representativas existentes de GRTC (incluindo MedVInT-TD, Med-Flamingo, RadFM e S-LMR) em métricas padrão de geração de linguagem natural (BLEU, ROUGE, METEOR, BERTScore) e métricas orientadas clinicamente (RaTEScore, GREEN). Notavelmente, alcança desempenho superior mesmo com backbones LLM menores (por exemplo, 1,7B–4B parâmetros) em comparação com baselines que utilizam modelos de 7B–14B.
• Estudos de Ablação: A ablação passo a passo confirma que cada componente do treinamento do modelo de mundo (reconstrução, previsão multi-etapa, aprendizagem sensível a fatores e previsão contrafactual) contribui incrementalmente para o desempenho final.
• Capacidade Preditiva: O modelo demonstra a capacidade de prever características visuais futuras em nível de fatia com menor Erro Quadrático Médio (MSE) e maior similaridade cosseno do que as baselines de persistência e extrapolação linear, validando que o estado aprendido retém informações espaciais preditivas.
• Alinhamento de Fatores: Experimentos de sondagem mostram que os fatores de anatomia, lesão e incerteza alinham-se com seus sinais clínicos pretendidos (por exemplo, fatores de lesão correlacionam-se com rótulos de presença de lesão, fatores de incerteza com dificuldade de previsão).
• Intervenção Controlada: A intervenção seletiva de fator de lesão (lesão-zero) reduz com sucesso o conteúdo de lesões focais em relatórios para casos positivos para lesão, preservando achados não-alvo e mantendo a validade clínica, demonstrando a capacidade do modelo de modular relatórios com base em fatores latentes.

Significância

O artigo argumenta que o SliceWorld leva a GRTC além do mapeamento direto de volume para texto, rumo a uma interface de representação preditiva e controlável. Ao enquadrar o problema como modelagem de mundo, a abordagem fornece um estado interno estruturado que:

1. Captura as dinâmicas das evidências axiais de TC entre as fatias.
2. Suporta a manipulação de fatores latentes de lesão para análise ao nível do relatório.
3. Aumenta a robustez quando apenas um subconjunto de fatias está disponível.

Os autores posicionam isso como um passo em direção a uma IA médica mais interpretável e fundamentada clinicamente, onde o estado interno do modelo pode ser sondado para sinais diagnósticos e manipulado para entender o impacto causal de achados específicos nos relatórios gerados, em vez de tratar o modelo como um conversor de imagem para texto de caixa preta.