Medical Report Generation: A Hierarchical Task Structure-Based Cross-Modal Causal Intervention Framework

Resumo Técnico: Framework de Intervenção Causal Cross-Modal Baseado em Estrutura Hierárquica de Tarefas (HTSC-CIF)

Declaração do Problema
A Geração de Relatórios Médicos (MRG) visa gerar relatórios diagnósticos automaticamente a partir de imagens radiológicas, aliviando a carga sobre os radiologistas. No entanto, os modelos atuais enfrentam três desafios persistentes:

1. Conhecimento de Domínio Insuficiente: Os modelos frequentemente carecem de uma compreensão profunda de conceitos médicos especializados e relações espaciais necessárias para descrever lesões com precisão.
2. Alinhamento Cross-Modal Pobre: Frequentemente há um desalinhamento entre os sinais visuais na imagem e as descrições de entidades no texto gerado, levando a inconsistências semânticas.
3. Correlações Espúrias: Vieses visuais e linguísticos nos dados de treinamento podem fazer com que os modelos aprendam associações enganosas (por exemplo, associar padrões de texto específicos a características visuais sem base médica), reduzindo a precisão e a interpretabilidade do relatório.

Abordagens anteriores tipicamente trataram esses problemas de forma isolada. Este artigo argumenta que esses desafios são interconectados e exigem uma abordagem unificada e hierárquica para resolvê-los de forma abrangente.

Metodologia: HTSC-CIF
Os autores propõem o Framework de Intervenção Causal Cross-Modal Baseado em Estrutura Hierárquica de Tarefas (HTSC-CIF), que decompõe o problema de MRG em três níveis progressivos: tarefas de baixo nível, nível médio e alto nível.

1. Tarefa de Baixo Nível: Aprimoramento de Conhecimento de Domínio

   • Objetivo: Otimizar o codificador visual para compreender melhor conhecimento específico do domínio e posições espaciais.
   • Mecanismo: O framework emprega um módulo de Otimização de Perda Contrastiva de Entidade (ECLO). Ele extrai informações de entidades (por exemplo, categorias de doenças, regiões anatômicas) dos relatórios médicos para servir como sinais de supervisão.
   • Função de Perda: Minimiza uma perda combinada de Entropia Cruzada Binária ($L_{cls}$) para previsão de existência de entidade e Perda Contrastiva ($L_{loc}$) para previsão de localização de entidade. Isso força o modelo a alinhar características da imagem com localizações espaciais específicas e descrições de entidades, aprimorando as capacidades de incorporação do codificador visual para tarefas subsequentes.

2. Tarefa de Nível Médio: Alinhamento Cross-Modal

   • Objetivo: Alcançar consistência semântica entre características visuais e descrições de texto por meio de geração mutuamente guiada.
   • Mecanismo: O framework utiliza Modelagem de Linguagem com Prefixo (PLM) e Modelagem de Imagem Mascarada (MIM).
     • PLM: Usa um prefixo do texto do relatório e características visuais para guiar a geração do restante do sufixo do texto.
     • MIM: Reconstrói características visuais mascaradas usando tanto características visuais não mascaradas de baixa resolução quanto incorporações de texto.
   • Resultado: Esta etapa pré-treina a rede para gerar resultados preliminares de relatório, garantindo que as modalidades visual e textual estejam firmemente alinhadas antes da intervenção causal.

3. Tarefa de Alto Nível: Intervenção Causal para Interpretabilidade

   • Objetivo: Mitigar correlações espúrias causadas por vieses de dados cross-Modal (confundidores) para melhorar a interpretabilidade.
   • Mecanismo: O framework adota um Modelo Causal Estrutural (SCM) e emprega Intervenção Causal Front-Door.
     • Identifica fatores de confusão ($Z$) que criam caminhos de porta traseira entre características visuais ($F_v$), características de texto ($F_w$) e o relatório ($R$).
     • Para eliminar esses confundidores não observáveis, o modelo introduz mediadores: um Módulo de Desconfusão Visual (VDM) e um Módulo de Desconfusão Linguística (LDM).
     • VDM: Constrói um mediador visual ($M_v$) fundindo tokens de alta atenção local e características agrupadas globais para cortar caminhos de confusão visual.
     • LDM: Constrói um mediador linguístico ($M_l$) reconstruindo características visuais usando tokens de vocabulário para bloquear caminhos de confusão linguística.
   • Treinamento: A tarefa de alto nível é ajustada finamente usando os pesos pré-treinados da tarefa de nível médio, otimizando para a perda de verossimilhança negativa ($L_{high}$) enquanto aplica a lógica de intervenção causal.

Principais Contribuições

• Integração Hierárquica: Este é o primeiro trabalho a abordar simultaneamente o aprimoramento de conhecimento de domínio, o alinhamento cross-modal e a intervenção causal dentro de um único framework hierárquico para MRG. Os três níveis são projetados para se guiarem mutuamente e se reforçarem progressivamente.
• Injeção de Conhecimento sem Sobrecarga de Arquitetura: O framework injeta com sucesso conhecimento de domínio de baixo nível em tarefas de nível superior, permitindo que níveis superiores acessem conhecimento de domínio rico sem exigir complexidade adicional na arquitetura da rede.
• Intervenção Causal Front-Door: O design de módulos específicos de desconfusão (VDM e LDM) reduz efetivamente confundidores cross-modal, aprimorando a interpretabilidade dos relatórios gerados.

Resultados Experimentais
Os autores avaliaram o HTSC-CIF em dois conjuntos de dados de referência padrão: MIMIC-CXR e IU-Xray.

• Desempenho: O modelo alcançou desempenho State-of-the-Art (SOTA) em múltiplas métricas de Geração de Linguagem Natural (NLG), incluindo BLEU-1, BLEU-3, BLEU-4, METEOR e ROUGE-L em ambos os conjuntos de dados. Também garantiu o segundo melhor desempenho em BLEU-2 e CIDEr.
• Estudos de Ablação: Experimentos confirmaram que cada nível hierárquico contribui para melhorias de desempenho. Especificamente, a inclusão dos módulos LDM e VDM na tarefa de alto nível melhorou significativamente a correspondência de frases longas (ROUGE-L) e a precisão de descrições de frases curtas/específicas de doenças (BLEU-1, CIDEr).
• Estudos de Caso: A análise qualitativa demonstrou que o framework gera relatórios com lógica de contexto e lógica de descrição de doenças superiores aos modelos de base, identificando e conectando corretamente entidades médicas.

Significado e Alegações
O artigo afirma que o HTSC-CIF representa um avanço significativo ao tratar a MRG não como uma tarefa monolítica, mas como uma hierarquia estruturada de problemas interdependentes. Ao modelar explicitamente as relações causais entre modalidades e intervir em fatores de confusão, o framework aborda as causas raiz de viés e desalinhamento que afligem métodos anteriores. Os autores afirmam que essa abordagem leva a relatórios médicos mais precisos, confiáveis e interpretáveis, conforme evidenciado pelos resultados abrangentes SOTA em benchmarks públicos. O código é tornado público após a aceitação.