Noise-Aware Visual Representation Learning for Medical Visual Question Answering

Resumo Técnico: Aprendizado de Representação Visual Consciente de Ruído para Visual Question Answering Médico

Declaração do Problema
O Visual Question Answering Médico (Med-VQA) visa permitir que sistemas de IA interpretem imagens médicas e respondam a consultas clínicas, oferecendo um potencial significativo para suporte à decisão. As abordagens de estado da arte atuais tipicamente conectam codificadores visuais pré-treinados e congelados (ex: CLIP) com Grandes Modelos de Linguagem (LLMs) por meio de redes de mapeamento leves (como MLPs ou transformers baseados em consultas) para reduzir custos computacionais. No entanto, esses métodos frequentemente negligenciam a robustez das representações visuais contra o ruído. Imagens médicas frequentemente contêm ruído e variações irrelevantes introduzidas durante a aquisição e transmissão. Quando os adaptadores de projeção padrão mapeiam esses embeddings visuais ruidosos diretamente para o espaço de entrada do modelo de linguagem, eles propagam tanto informações clinicamente relevantes quanto ruído, podendo degradar o diagnóstico e a análise subsequente. A pesquisa atual em Med-VQA tem explorado de forma relativamente subexplorada o refinamento dos embeddings visuais antes de sua projeção no modelo de linguagem.

Metodologia
Os autores propõem um framework de Med-VQA consciente de ruído que incorpora um Autoencoder de Denoising (DAE) antes da etapa de mapeamento visual. O framework segue um paradigma de treinamento de dois estágios:

1. Estágio 1: Aprendizado de Representação de Denoising

   • Entrada: Embeddings visuais ($v$) são extraídos de um codificador visual CLIP congelado.
   • Corrupção: Durante o pré-treinamento, ruído Gaussiano ($\epsilon \sim \mathcal{N}(0, \sigma^2I)$) é adicionado aos embeddings limpos para criar entradas corrompidas ($\tilde{v} = v + \epsilon$). O estudo avalia níveis de ruído de $\sigma \in \{0.1, 0.5, 1.0\}$.
   • Arquitetura: Um autoencoder de denoising, consistindo em um encoder e um decoder com um gargalo dimensional (comprimindo 512 dimensões para 128 via uma camada oculta de 256 dimensões), é treinado para reconstruir os embeddings limpos originais a partir das entradas corrompidas.
   • Objetivo: O modelo é otimizado usando uma perda de reconstrução Smooth L1. O objetivo é forçar o encoder a aprender representações latentes robustas ($z$) que capturem estruturas subjacentes estáveis enquanto suprimem variações relacionadas ao ruído.
   • Resultado: Após o pré-treinamento, o decoder é descartado, e apenas o encoder é retido para a próxima etapa.

2. Estágio 2: Treinamento Generativo de Med-VQA

   • Mapeamento: As representações latentes robustas ($z$) produzidas pelo encoder DAE congelado são projetadas no espaço de embedding do LLM usando um MLP de 3 camadas. Estas são remodeladas em "tokens de prefixo visual" ($P_v$).
   • Integração: Esses tokens de prefixo visual são concatenados com embeddings textuais (pergunta e contexto) para formar a sequência de entrada para um LLM pré-treinado (GPT-2 XL).
   • Ajuste Fino (Fine-Tuning): O framework emprega Adaptação de Baixo Posto (LoRA) para ajuste fino eficiente de parâmetros. Isso permite que o LLM se adapte ao domínio médico e aos tokens de prefixo visual atualizando apenas um pequeno subconjunto de parâmetros de atenção, mantendo o backbone do LLM e o encoder DAE congelados.
   • Objetivo: O modelo é treinado com um objetivo padrão de modelagem de linguagem (cross-entropy) para gerar respostas de forma autorregressiva.

Principais Contribuições

• Aprendizado de Representação de Dois Estágios Consciente de Ruído: O artigo introduz um paradigma de treinamento desacoplado onde o aprendizado de representação de denoising é separado do alinhamento generativo. Isso permite que o modelo aprenda explicitamente a robustez a perturbações irrelevantes antes de se envolver no alinhamento cross-modal.
• Avaliação de Robustez Estruturada: Os autores propõem um método de avaliação sistemático onde o ruído é injetado nos embeddings visuais durante a inferência para avaliar a resiliência de diferentes arquiteturas (Baseline, Autoencoder e Denoising Autoencoder) sob condições limpas e corrompidas.
• Validação Empírica: O método é avaliado em dois benchmarks diversos: SLAKE (imagens de radiologia) e PathVQA (imagens de histopatologia), cobrindo tipos de perguntas abertas e de Sim/Não.

Resultados Experimentais
O framework DAE proposto demonstra superioridade em robustez comparado às baselines que projetam diretamente os embeddings visuais e variantes de Autoencoder (AE) padrão sem injeção de ruído:

• Ganhos de Robustez: No dataset SLAKE, a abordagem DAE melhorou a precisão média sob configurações de avaliação com ruído de 0.642 (Baseline LoRA) para 0.735 e de 0.473 (Baseline Frozen) para 0.713. No PathVQA, observaram-se melhorias de 0.514 para 0.568 (LoRA) e de 0.348 para 0.518 (Frozen).
• Desempenho Limpo: Embora o framework DAE tenha alcançado desempenho competitivo ou de estado da arte em benchmarks limpos (ex: igualando a maior precisão de 0.756 no SLAKE com LoRA), a principal vantagem foi observada sob condições de ruído. O modelo DAE manteve uma precisão mais alta conforme os níveis de ruído aumentavam, enquanto as baselines e os modelos AE padrão mostraram quedas significativas de desempenho.
• Nível de Corrupção Ótimo: Experimentos indicaram que a corrupção de ruído moderada durante o treinamento do Estágio 1 ($\sigma = 0.5$) proporcionou o melhor equilíbrio entre precisão limpa e robustez ao ruído em tempo de inferência.

Significância e Alegações
O artigo afirma que o aprendizado de representações visuais robustas através de denoising em nível de embedding é uma estratégia promissora para aumentar os sistemas de Med-VQA, particularmente aqueles treinados em conjuntos de dados médicos relativamente pequenos. Os achados sugerem que abordar explicitamente o ruído e as variações irrelevantes nos embeddings visuais antes de mapeá-los para o espaço de embedding do LLM pode melhorar significamente a estabilidade e a eficácia da geração de respostas. Os autores observam que, embora sua abordagem utilize ruído Gaussiano como um proxy controlado para corrupção, trabalhos futuros poderiam explorar artefatos de imagem médica mais realistas. O estudo conclui que o aprendizado de representação baseado em denoising oferece um caminho viável para uma IA médica mais resiliente sem exigir o retreinamento total de grandes modelos backbone.