Leveraging Image Editing Foundation Models for Data-Efficient CT Metal Artifact Reduction

1. O Problema

A Tomografia Computadorizada (TC) é fundamental para o diagnóstico médico, mas implantes metálicos de alta atenuação (como hardware ortopédico e obturações dentárias) geram artefatos metálicos severos. Esses artefatos manifestam-se como padrões de listras (streaking) e sombreamento, causados por endurecimento do feixe, escassez de fótons e espalhamento.

• Impacto Clínico: As regiões de tecidos moles adjacentes aos metais tornam-se não diagnósticas, limitando a utilidade clínica.
• Limitações Atuais:
  • Métodos tradicionais (domínio da projeção/sinograma) exigem acesso a dados brutos de sinograma, que raramente estão disponíveis em sistemas hospitalares (PACS).
  • Métodos baseados em Deep Learning (aprendizado supervisionado) exigem grandes conjuntos de dados pareados (dezenas de milhares de exemplos), o que é computacionalmente custoso e difícil de obter para cada protocolo de scanner ou tipo de implante.
  • Abordagens não supervisionadas ou baseadas em GANs/Modelos de Difusão frequentemente sofrem com alucinações anatômicas (gerar estruturas que não existem) e instabilidade no treinamento.

2. Metodologia Proposta

Os autores propõem uma mudança de paradigma: reformular a redução de artefatos como uma tarefa de raciocínio em contexto (in-context reasoning), adaptando um modelo de fundação (foundation model) de edição de imagem geral para o domínio médico.

• Modelo Base: Utilização do Qwen-Image-Edit, um modelo de difusão visão-linguagem com 20 bilhões de parâmetros, pré-treinado em corpora visuais da internet para edição geral de imagens.
• Adaptação Eficiente (LoRA): Em vez de re-treinar todo o modelo (o que seria inviável e propenso a overfitting com poucos dados), utilizam Low-Rank Adaptation (LoRA). Isso injeta matrizes de atualização de baixo rank nos pesos congelados do modelo base.
  • Eficiência de Dados: O método é treinado com apenas 16 a 128 pares de imagens (corrompida vs. limpa), reduzindo a necessidade de dados em duas ordens de magnitude em comparação com métodos convencionais.
• Estratégia de Condicionamento por Referência (Multi-Reference):
  • Para evitar alucinações e garantir fidelidade anatômica, o modelo recebe, além da imagem corrompida, um conjunto de 5 fatias de referência limpas (de pacientes diferentes, mas da mesma categoria anatômica).
  • Mecanismo: O modelo utiliza a arquitetura de "Visão-Linguagem" (VLM) para processar a imagem corrompida e as referências limpas simultaneamente, permitindo que ele infira a anatomia correta baseada no contexto visual fornecido, sem acesso a sinogramas.
  • Instrução Textual: O processo é guiado por instruções de texto (ex: "Remover artefatos metálicos").
• Ensemble (Auto-ensemble): Para reduzir a variância estocástica inerente aos modelos de difusão, realizam múltiplas inferências (10 vezes) com diferentes sementes e fazem a média das saídas no espaço de pixels.

3. Contribuições Principais

1. Primeira Adaptação de Modelo de Edição Geral para TC: São os primeiros a adaptar um modelo de fundação de edição de imagem (Qwen-Image-Edit) especificamente para redução de artefatos metálicos em TC, demonstrando que priores visuais ricos transferem-se eficazmente para o domínio médico sem pré-treinamento específico na área.
2. Mitigação de Alucinações via Adaptação de Domínio: Demonstram que, sem adaptação (zero-shot), o modelo base interpreta os artefatos metálicos como objetos naturais (ex: "waffles" ou "placas de petri"), gerando alucinações perigosas. O ajuste fino (LoRA) elimina esse comportamento.
3. Estratégia de Condicionamento por Referência: Propõem uma estratégia onde exemplares anatômicos limpos são usados como entrada auxiliar, permitindo restauração consciente da anatomia sem necessidade de dados de sinograma.
4. Eficiência de Dados: Estabelecem uma nova fronteira de eficiência de dados para implantação clínica, alcançando desempenho de ponta com apenas 16 pares de treinamento.

4. Resultados e Avaliação

Os experimentos foram realizados no benchmark AAPM CT-MAR (1.000 amostras de teste).

• Desempenho Quantitativo:
  • O método alcançou o estado da arte (SOTA) em métricas perceptuais e de características radiológicas (FID-Rad, LPIPS-Rad), superando significativamente métodos especializados como ADN, RISE-MAR e OSCNet+.
  • Métricas de Realismo: O modelo obteve um FID-Rad de 0.0031 e LPIPS-Rad de 0.0371 (com condicionamento multi-referência), indicando que as imagens geradas são estatisticamente mais próximas de TCs reais e clinicamente consistentes do que as dos métodos base.
  • PSNR/SSIM: Embora o OSCNet+ tenha tido um PSNR ligeiramente superior (37.74 vs 35.51 dB do ensemble), os autores argumentam que isso reflete um comportamento de "regressão à média" (suavização excessiva), enquanto seu método preserva melhor a textura e o contraste estrutural, conforme evidenciado pelas métricas perceptuais superiores.
• Ablação de Dados: O modelo já supera os baselines especializados com apenas 16 pares de treinamento em métricas de distância perceptual (LPIPS-Rad), confirmando que os priores do modelo de fundação substituem parcialmente a necessidade de supervisão massiva.
• Qualidade Visual: As imagens reconstruídas mostram eliminação quase total das listras metálicas e recuperação de tecidos moles com plausibilidade anatômica, enquanto os métodos baselines deixam artefatos residuais ou suavizam excessivamente a região.

5. Significado e Conclusão

Este trabalho demonstra que modelos de fundação, quando adequadamente adaptados via LoRA, oferecem uma alternativa escalável e interpretável para reconstrução de imagens médicas.

• Mudança de Paradigma: A abordagem transfere o foco de redes neurais especializadas treinadas do zero para o uso de modelos gerais de raciocínio visual e linguístico, que já possuem um entendimento profundo de estrutura, textura e geometria.
• Viabilidade Clínica: A capacidade de operar com dados extremamente limitados (16-128 exemplos) torna a tecnologia viável para hospitais que não possuem grandes bancos de dados pareados ou para protocolos específicos de scanners.
• Limitações: A avaliação foi feita em dados simulados (benchmark AAPM), e a validação em dados clínicos reais e estudos com radiologistas é o próximo passo necessário. Além disso, o uso de ensemble aumenta o tempo de inferência.

Em resumo, o artigo valida que a combinação de modelos de fundação + LoRA + condicionamento por referência é uma rota promissora para resolver problemas complexos de restauração de imagens médicas com eficiência de dados sem precedentes.