Align Your Query: Representation Alignment for Multimodality Medical Object Detection

1. Problema

A detecção de objetos médicos enfrenta um desafio significativo quando um único detector é treinado em conjuntos de dados que misturam múltiplas modalidades de imagem (ex: Radiografia de Tórax/CXR, Tomografia Computadorizada/CT, Ressonância Magnética/MRI, Patologia).

• Heterogeneidade Estatística: Cada modalidade possui propriedades estatísticas e características visuais distintas, criando espaços de representação desconexos e complexos.
• Degradação de Desempenho: Treinar um modelo único em dados mistos frequentemente resulta em desempenho inferior devido à incapacidade do modelo de generalizar eficazmente entre essas distribuições de dados divergentes.
• Limitação Atual: Métodos convencionais de detecção (baseados em imagens naturais) ou abordagens de alinhamento existentes (focadas em backbones ou regiões) não resolvem adequadamente a entrelaçamento das representações no nível das queries (consultas) do detector.

2. Metodologia

Os autores propõem um framework detector-agnóstico baseado em Alinhamento de Representação, focado especificamente nas object queries de arquiteturas estilo DETR. A solução consiste em dois componentes principais:

A. Tokens de Modalidade (Modality Tokens)

• São embeddings compactos derivados de texto que codificam a modalidade de imagem (ex: "CXR", "CT") e a classe alvo (ex: "tumor").
• São gerados a partir de encoders de texto pré-treinados (como CLIP, BiomedCLIP, PubMedCLIP) usando prompts do tipo "{Classe} em {Modalidade}".
• Vantagem: São leves, não exigem anotações extras e atuam como "âncoras" semânticas estáveis.

B. Multimodality Context Attention (MoCA)

• Um mecanismo de atenção auto-referencial (self-attention) integrado ao decodificador do detector.
• Funcionamento: O token de modalidade relevante é concatenado ao conjunto de object queries do detector.
• Mecanismo: A camada de self-attention do decodificador mistura as representações das queries com o token de modalidade. Isso permite que cada query de objeto "ouça" o contexto da modalidade específica, refinando sua representação sem alterar a arquitetura do backbone ou adicionar latência significativa.

C. QueryREPA (Query Representation Alignment)

• Uma etapa de pré-treinamento (antes do treinamento de detecção final) que alinha as representações das queries aos tokens de modalidade.
• Objetivo de Perda: Utiliza uma função de perda contrastiva (InfoNCE) para maximizar a similaridade entre a representação média das queries de uma imagem e o seu token de modalidade correspondente, enquanto minimiza a similaridade com tokens de outras modalidades.
• Amostragem de Batch: Utiliza uma amostragem balanceada por modalidade no batch para garantir que os exemplos negativos na perda contrastiva venham de modalidades diferentes, forçando o modelo a aprender separabilidade clara entre modalidades.
• Benefício: Cria um espaço de queries "consciente da modalidade" e "fiel à classe", facilitando a transferência para o treinamento de detecção supervisionada.

3. Contribuições Principais

1. Formulação de Tokens de Modalidade: Uma abordagem simples e detector-agnóstico que torna o contexto de modalidade explícito com custo computacional mínimo e sem necessidade de anotações adicionais.
2. MoCA (Multimodality Context Attention): Um mecanismo de atenção "drop-in" que integra tokens de modalidade diretamente ao conjunto de queries via self-attention, permitindo fusão de informações no local onde as decisões de detecção são tomadas.
3. QueryREPA: Uma etapa de pré-treinamento contrastiva que alinha as estatísticas das queries aos tokens de modalidade. Isso permite o uso de grandes conjuntos de dados não rotulados (apenas com rótulos de imagem/classe) para melhorar o desempenho downstream.
4. Desempenho SOTA: Demonstração de que a combinação de MoCA e QueryREPA supera consistentemente os métodos mais avançados (SOTA) em detecção de objetos médicos multimodais.

4. Resultados

Os experimentos foram realizados em um conjunto de dados agregado e heterogêneo contendo CXR, CT, MRI, Colonoscopia e Patologia.

• Desempenho Quantitativo:
  • Ao aplicar o método no detector DINO (baseado em ResNet-50), o modelo alcançou um AP (Average Precision) total de 41.3 e AP50 de 65.5 (usando PubMedCLIP), superando todos os comparadores, incluindo Deformable DETR, Sparse R-CNN, DiffusionDet, GLIP e Grounding DINO.
  • Houve um ganho significativo em relação à linha de base DINO (de 37.7 para 41.3 de AP).
  • O método mostrou robustez ao ser testado com diferentes encoders de texto (CLIP, BiomedCLIP, PubMedCLIP).
• Eficiência:
  • A latência de inferência aumentou apenas marginalmente (ex: de 9.37ms para 9.59ms no DINO), demonstrando que a adição de um único token não impacta negativamente a velocidade.
• Uso de Dados Não Rotulados:
  • O QueryREPA permitiu melhorar o desempenho utilizando dados da base NIH (apenas com rótulos de imagem, sem caixas delimitadoras) durante o pré-treinamento, demonstrando eficácia em cenários com escassez de anotações detalhadas.
• Visualização:
  • Visualizações UMAP mostraram que, antes do QueryREPA, as queries estavam altamente entrelaçadas entre modalidades. Após o alinhamento, as queries formaram clusters bem separados por modalidade, confirmando a eficácia do alinhamento.

5. Significância e Impacto

• Solução Prática: Oferece um caminho viável para construir detectores médicos robustos e generalizáveis que funcionam bem em ambientes clínicos reais, onde múltiplas modalidades de imagem são comuns.
• Eficiência de Recursos: Elimina a necessidade de arquiteturas complexas ou grandes quantidades de dados anotados com caixas delimitadoras para cada modalidade, aproveitando dados fracamente supervisionados.
• Generalização: A abordagem é detector-agnóstica e pode ser aplicada a diversas arquiteturas modernas de detecção (baseadas em Transformers ou até mesmo em CNNs com refinamento iterativo), tornando-a uma contribuição fundamental para o campo de IA biomédica.
• Paradigma de Alinhamento: Introduz uma nova perspectiva de alinhamento de representação focado no nível das queries (em vez de apenas no backbone ou em regiões), preenchendo uma lacuna importante na literatura de detecção de objetos multimodais.

Em resumo, o trabalho demonstra que alinhar explicitamente as representações das queries de detecção com o contexto da modalidade de imagem, através de tokens de texto e mecanismos de atenção, resolve o problema da heterogeneidade de dados médicos, resultando em detectores mais precisos, robustos e eficientes.