Align Your Query: Representation Alignment for Multimodality Medical Object Detection

论文标题

Align Your Query: Representation Alignment for Multimodality Medical Object Detection
（对齐你的查询：面向多模态医学目标检测的表示对齐）

1. 研究背景与问题 (Problem)

• 核心挑战：医学目标检测（Medical Object Detection）在单一模态（如仅 X 光或仅 CT）下表现良好，但在混合多模态数据集（Mixed Multimodality Datasets，包含 CXR, CT, MRI, 病理等）上训练单一检测器时，性能会显著下降。
• 原因分析：
  • 统计异质性：不同成像模态具有截然不同的统计特性和视觉特征。
  • 表示空间割裂：不同模态的数据在特征空间中处于割裂的分布，导致单一模型难以学习到通用的、鲁棒的特征表示。
  • 现有方法局限：传统的多模态融合方法（如跨注意力 Cross-Attention）通常架构复杂，或者需要额外的标注，且未能有效解决检测器内部“对象查询（Object Queries）”层面的模态混淆问题。

2. 核心方法论 (Methodology)

作者提出了一种**与检测器无关（Detector-agnostic）的框架，通过表示对齐（Representation Alignment）**技术，将不同模态的特征映射到共享的语义空间。该方法包含三个核心组件：

2.1 模态 Token (Modality Tokens)

• 定义：构建紧凑的、基于文本的嵌入向量，用于编码成像模态（如 "CXR", "CT"）和目标类别（如 "Aortic enlargement"）。
• 生成方式：利用预训练文本编码器（如 CLIP, BiomedCLIP）将文本提示（Prompt，格式为 "{Class} in {Modality}"）转换为向量。
• 优势：
  • 轻量级，无需额外的人工标注。
  • 作为稳定的“语义锚点（Semantic Anchors）”，显式地提供模态上下文。
  • 不改变检测器的骨干网络（Backbone）或检测头（Head）设计。

2.2 多模态上下文注意力 (MoCA, Multimodality Context Attention)

• 机制：在检测器的解码器（Decoder）中，将对应的模态 Token 直接**拼接（Concatenate）**到对象查询（Object Queries）集合中，形成一个增强的查询集。
• 融合方式：利用解码器内部的**自注意力（Self-Attention）**机制，让对象查询与模态 Token 进行交互。
• 作用：
  • 每个对象查询可以“关注”模态 Token，从而在特征细化过程中显式地获取模态特定的上下文信息。
  • 保持了 DETR 类架构的简洁性，仅增加极小的推理延迟（增加一个 Token 的自注意力计算）。
  • 区别于传统的跨注意力（Cross-Attention），MoCA 是在查询集内部进行混合，更符合 DETR 的设计哲学。

2.3 QueryREPA (Query Representation Alignment)

• 目的：在端到端检测训练之前，通过一个短期的预训练阶段，强制对象查询的表示与模态 Token 对齐。
• 流程：
  1. 对解码器输出的对象查询进行均值池化（Mean-pooling），得到单张图像的查询表示。
  2. 使用对比学习损失（InfoNCE Loss），将查询表示投影到模态 Token 空间，并最大化其与对应模态 Token 的相似度，最小化与其他模态 Token 的相似度。
  3. 模态平衡采样（Modality Batch Sampling）：在构建训练批次时，确保每个批次包含来自不同模态的样本，以强化跨模态的区分能力。
• 效果：将原本纠缠的查询空间重塑为**模态感知（Modality-aware）且类别忠实（Class-faithful）**的流形，为下游检测任务提供更优质的初始化。

3. 主要贡献 (Key Contributions)

1. 模态 Token 的提出：一种简单、轻量且无需额外标注的方法，利用文本嵌入显式编码模态和类别上下文，适用于各种检测器。
2. MoCA 机制：一种即插即用的自注意力机制，通过在查询集中拼接模态 Token 并在解码器内进行自注意力混合，实现了模态感知的查询细化，无需修改架构。
3. QueryREPA 预训练：提出了一种基于对比损失的预训练策略，专门针对对象查询进行模态对齐。实验证明，结合 MoCA 和 QueryREPA 能显著提升混合模态数据集上的检测性能，且能利用无边界框标注的大规模数据。
4. 通用性与低开销：该方法不依赖特定的骨干网络，推理延迟增加可忽略不计，为构建鲁棒的通用医学 AI 模型提供了一条实用路径。

4. 实验结果 (Results)

• 数据集：构建了包含 CXR (VinBigData), CT (COVID-19, LIDC-IDRI), MRI (BR35H, ACDC), 结肠镜 (NeoPolyp), 病理 (MoNuSeg) 的混合多模态数据集。
• 性能提升：
  • 在基于 DINO 的检测器上，结合 MoCA + QueryREPA 后，总 AP 从 37.7 提升至 41.3，AP50 从 58.6 提升至 65.5。
  • 在 Deformable DETR 上，AP 从 35.0 提升至 37.2。
  • 该方法在所有指标（AP, AP50, AP75, 不同尺度物体 APs/m/l）上均优于现有的 SOTA 方法（如 GLIP, Grounding DINO, DiffusionDet 等）。
• 鲁棒性：
  • 使用不同的文本编码器（CLIP, BiomedCLIP, PubMedCLIP）均能取得显著提升，证明方法不依赖特定编码器。
  • 消融实验表明，MoCA 和 QueryREPA 单独使用均有效，两者结合产生协同效应。
• 弱监督潜力：QueryREPA 仅需图像级标签即可进行预训练。实验显示，利用大量无边界框标注的 NIH 胸部 X 光数据进行 QueryREPA 预训练，能进一步提升最终检测性能，解决了医学数据标注稀缺的问题。
• 可视化：UMAP 可视化显示，经过 QueryREPA 后，不同模态的查询聚类从高度纠缠变为清晰分离，证明了表示空间的对齐效果。

5. 意义与价值 (Significance)

• 解决临床痛点：为开发能够同时处理多种医学成像模态（如同时分析 X 光和 CT）的“通用医学 AI"模型提供了关键技术路径，打破了以往需要为每种模态单独训练模型的局限。
• 架构创新：将生成式模型中的表示对齐思想（如 REPA）成功迁移并适配到判别式目标检测任务中，特别是针对 DETR 架构的查询机制进行了创新。
• 数据效率：通过 QueryREPA 利用无标注或弱标注数据，降低了医学 AI 对昂贵边界框标注的依赖，具有极高的临床落地潜力。
• 低门槛部署：由于无需修改骨干网络且推理延迟极低，该方法易于集成到现有的医疗影像分析系统中。

总结

这篇论文提出了一种名为 Align Your Query 的新框架，通过引入模态 Token、MoCA 注意力机制以及QueryREPA 预训练，有效解决了医学目标检测在多模态混合数据上的性能退化问题。该方法不仅显著提升了检测精度，还展示了利用弱监督数据进行预训练的潜力，是迈向通用、鲁棒医学基础模型的重要一步。