Xray-Visual Models: Scaling Vision models on Industry Scale Data

本文提出了 Xray-Visual，这是一种基于 Facebook 和 Instagram 海量数据训练的统一视觉模型，通过创新的三阶段训练流程、高效架构设计以及大语言模型文本编码器的集成，在图像与视频理解、跨模态检索等任务上实现了兼具高精度、强鲁棒性与计算效率的业界领先性能。

要点

这篇论文介绍了一个名为 Xray-Visual 的超级“视觉大脑”。你可以把它想象成 Meta（Facebook 和 Instagram 的母公司）为了教电脑“看懂”世界，而打造的一个超级学霸。

为了让你更容易理解，我们把这篇论文的核心内容拆解成几个生动的故事：

1. 它的“食谱”：从垃圾堆里淘金 (数据清洗)

以前的电脑视觉模型，就像是在吃“快餐”，数据虽然多但质量参差不齐（比如图片里全是乱码、广告链接或者毫无意义的表情符号）。

Xray-Visual 的团队做了一件很酷的事：他们从 Facebook 和 Instagram 上收集了超过 1000 亿张图片和视频。这就像是从一个巨大的、混乱的垃圾填埋场里，开始筛选宝藏。

• 清洗过程：他们派出了“清洁工”（算法），把垃圾（URL 链接、乱码、无关标签）全部扔掉，只留下真正有营养的“食材”（图片内容和有意义的文字描述）。
• 营养均衡：他们发现，如果只给模型看“猫”和“狗”的图片，它学不会看“大象”。所以，他们特意调整了“食谱”，确保稀有概念（长尾数据）也能被充分“喂养”，让模型变得博学多才。
• 最终成果：他们最终提炼出了150 亿张高质量图片 - 文字对，和100 亿个视频 - 标签对。这相当于给模型喂了人类历史上最丰富、最纯净的“视觉大餐”。

2. 它的“训练法”：三步走的成长计划 (训练流程)

这个模型不是生下来就什么都懂的，它经历了三个阶段的“特训”：

• 第一阶段：蒙眼猜图 (MAE)
  想象一下，老师把一张图片的大部分涂黑，只留几个小方块，让学生（模型）根据剩下的部分猜整张图是什么。这强迫模型去理解图片的结构和逻辑，而不是死记硬背。这是它的“基础体能训练”。
• 第二阶段：看图说话 (标签分类)
  接下来，老师给它看图片，让它给图片贴上正确的标签（比如“这是跑步”、“这是海滩”）。这时候，它开始学习把视觉和语言联系起来。
• 第三阶段：配对游戏 (CLIP 对比学习)
  最后，它玩一个巨大的“找朋友”游戏。屏幕上有一堆图片和一堆文字，它必须把正确的图片和文字配对。如果配错了，就扣分。通过这种游戏，它学会了图片和文字之间深层的语义联系。

特别亮点：在这个阶段，他们不再使用普通的“翻译官”（传统文本编码器），而是请来了LLM（大语言模型，如 LLaMA） 当翻译。这就像是从让一个只会说简单句子的翻译，换成了一个精通文学、能理解复杂语境的文学教授。这让模型在理解复杂描述时，变得极其敏锐。

3. 它的“超能力”：既快又准，还能举一反三 (架构与效率)

• 聪明的“断舍离” (EViT)：
  通常，处理高清图片需要计算成千上万个像素点，非常慢。Xray-Visual 像是一个精明的管家，它一眼就能看出哪些像素是“废话”（比如大片的蓝天背景），直接忽略它们，只关注“重点”（比如人脸或物体）。
  • 比喻：别人看 1000 个单词的长文，它只读 250 个核心词，但理解得一样好。这让它的速度提升了 4 倍，但准确率却更高。
• 全能选手：
  以前的模型，有的擅长看图，有的擅长看视频。Xray-Visual 是一个模型搞定所有。它既能在静态图片上拿满分，也能在动态视频里理解动作（比如“人在跳舞”还是“人在摔倒”）。

4. 它的“实战表现”：不仅考试满分，还能应付现实世界 (结果)

• 学术考试 (Benchmark)：
  在标准的考试（如 ImageNet 图片分类、Kinetics 视频理解）中，它轻松拿到了全球第一的成绩。
• 现实世界 (Real World)：
  这才是最厉害的地方。很多模型在“考试”中是满分，但到了现实世界（比如 Facebook 的信息流、广告匹配）就“水土不服”了。
  • 比喻：就像有些学生只会做试卷，一上战场就懵了。Xray-Visual 因为是在真实的社交媒体海量数据上训练的，它极其适应现实世界的混乱和变化。
  • 结果：在 Meta 内部的真实测试中（比如根据你看的视频推荐广告，或者搜索图片），它的表现比之前的冠军模型强了 10% 以上。这意味着你能刷到更精准的广告，搜到更想要的视频。

总结

Xray-Visual 就像是一个读过万卷书、行过万里路、且拥有超级大脑的视觉专家。

1. 它吃了最纯净、最丰富的数据大餐。
2. 它学会了高效思考（忽略废话，抓住重点）。
3. 它请来了语言大师做搭档，真正读懂了图文背后的含义。
4. 它不仅在考试中拿第一，在真实生活中更是表现卓越，让 Meta 的推荐和搜索变得更聪明、更懂你。

这篇论文的核心思想就是：数据质量 + 聪明的架构 + 大语言模型的加持 = 真正的通用视觉智能。

技术摘要

这篇论文介绍了 Xray-Visual，这是一个在工业级规模数据上训练的统一视觉模型架构，旨在解决大规模图像和视频理解任务。该模型由 Meta AI 团队开发，利用 Facebook 和 Instagram 的海量社交数据，在性能、效率和泛化能力上均取得了显著突破。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 数据规模差距：尽管计算机视觉（CV）取得了巨大进展，但视觉模型在数据规模和泛化能力上仍落后于大型语言模型（LLM）。LLM 的成功得益于海量的人类生成文本，而同等规模的视觉数据难以收集和清洗。
• 现有模型的局限性：现有的视觉编码器在学术基准测试（如 ImageNet）上表现良好，但在面对现实世界的分布偏移（Domain Shift）、对抗性扰动以及复杂的工业级检索任务时，性能往往大幅下降。
• 效率与精度的权衡：高分辨率输入通常带来更高的计算成本（Token 数量呈二次方增长），如何在保持高精度的同时提升计算效率是一个关键挑战。

2. 核心方法论 (Methodology)

2.1 数据工程：工业级数据清洗与构建

团队构建了目前公开可用的最大规模视觉预训练数据集，总数据量超过 260 亿（图像 + 视频）：

• ViSE 图像数据集：从 Facebook 和 Instagram 的公开帖子中筛选出 150 亿 图像 - 文本对。
  • 清洗策略：去除 URL、表情符号、用户标签等非语义内容；利用 WordNet 同义词集进行语义平衡（Resampling），解决长尾分布问题，确保罕见概念得到充分训练。
  • 去噪：使用预训练模型进行相似度过滤，并结合标签平滑（Label Smoothing）减少噪声。
• URU 视频数据集：从 240 亿 Instagram 帖子中构建 100 亿 视频 - 标签（Hashtag）对。
  • 标签处理：将用户标签映射到规范化的语义标签（Canonicalization），并针对长尾分布进行过采样。
  • 合成数据增强：利用多模态大语言模型（MMLLM）生成合成字幕，并通过 LLM（Llama 3B）进行重写（Rewriting），消除重复并增加多样性。
• 训练数据规模：图像训练数据达 260 亿，视频训练时长达 1000 万小时（是现有世界模型如 JEPA 的 10 倍）。

2.2 模型架构：统一与高效

• 统一骨干网络：基于 Vision Transformer (ViT)，采用 3D Tokenization 技术，使单一模型能同时处理图像和视频。
  • 图像处理：将图像在时间维度重复以匹配 3D 卷积核，并应用零填充。
  • EViT (Efficient ViT)：引入 Token Reorganization 技术，动态剪枝不重要的 Token。这使得模型能在 336x336 分辨率下仅使用 288 个 Token（相比传统模型的 1024 个 Token 减少了 71.9%），大幅降低计算成本。
• Register Tokens：在 Transformer 序列中追加 Register Tokens，以捕捉异常特征（Outlier features），显著提升视频理解性能。
• LLM 作为文本编码器 (LLM2CLIP)：
  • 摒弃传统的 CLIP 文本编码器（受限于 77 Token 上下文和弱语义理解），改用 LLaMA-1B 作为文本编码器。
  • 通过 LoRA 微调、双向注意力机制和 SimCSE 对比学习，解决 LLM 输出特征同质化问题，增强跨模态对齐能力。

2.3 三阶段训练流水线

1. 阶段一：自监督掩码自动编码 (MAE)
   • 利用未标记数据学习基础视觉表示。图像掩码率 75%，视频掩码率 90%。
2. 阶段二：半监督标签分类 (Hashtag Classification)
   • 利用清洗后的 Hashtag 数据进行监督微调，强化物体识别能力。
3. 阶段三：CLIP 风格对比学习
   • 使用图像/视频 - 字幕对进行对比学习。
   • 创新点：引入 去噪损失 (Denoising Loss)，直接对视觉编码器输出注入噪声并重构，增强鲁棒性和可扩展性。
   • 多模态采样：采用概率采样策略，确保图像和视频批次在训练过程中均匀分布，避免模态偏差。

3. 关键贡献 (Key Contributions)

1. 超大规模数据清洗流水线：展示了如何从 1000 亿 + 的原始社交数据中构建高质量、语义平衡的 260 亿级训练集，并验证了语义重采样和去噪策略的有效性。
2. 统一且高效的架构：提出了基于 EViT 的图像 - 视频统一模型，在大幅减少 Token 数量（25% 的 Token 使用量）的同时，实现了 SOTA 性能。
3. LLM 驱动的文本编码：首次大规模验证了将 LLM 作为 CLIP 文本编码器在工业级检索任务中的巨大优势，显著提升了真实场景下的泛化能力。
4. 去噪损失与注册 Token：证明了去噪损失能提升模型对噪声和分布偏移的鲁棒性，Register Tokens 能有效提升视频理解能力。

4. 实验结果 (Results)

4.1 学术基准测试 (SOTA)

• ImageNet 分类：纯图像模型达到 89.3% Top-1 准确率（线性探测），统一模型达到 88.1%。
• 视频理解：在 Kinetics-700 上达到 78.1% Top-1 准确率，HMDB51 上达到 74.69%。
• 跨模态检索：在 MS-COCO 和 MSRVTT 上刷新了 SOTA 记录。
• 效率：在 336 分辨率下，仅使用 288 个 Token，相比 Perception Encoder (PE) 等模型，查询速度（QPS）提升了 4 倍，计算成本降低 84.2%。

4.2 鲁棒性与泛化 (Robustness & OOD)

• 分布外 (OOD) 表现：在 ObjectNet、ImageNet-Sketch、ImageNet-Adversarial 等测试分布偏移的基准上，Xray-Visual 显著优于 PE 和 DiNO 等模型（例如在 ImageNet-Adversarial 上提升 15.5%）。
• 工业级检索：在 Meta 内部的 Reels-to-Ads 和 FB Search 检索任务中，Xray-Visual 相比基线模型（如 PE）在跨域场景下提升了 10%+ 的 AUC。这证明了其在真实世界复杂数据分布下的优越性。

4.3 消融实验

• LLM 编码器：虽然学术基准提升有限，但在内部检索指标上带来了显著提升。
• 去噪损失：在 ImageNet 上带来 0.3% 的精度提升，并增强了模型随数据量扩展的能力。
• 合成字幕：结合 Hashtag 和合成字幕的 Siamese 损失架构，解决了纯合成字幕在动作理解任务上的性能下降问题。

5. 意义与影响 (Significance)

• 重新定义视觉预训练规模：Xray-Visual 证明了利用工业级社交数据（而非仅学术数据集）可以训练出性能更强、泛化能力更好的视觉模型。
• 解决“学术 - 工业”差距：论文揭示了一个关键发现：在学术基准上表现最好的模型，在真实世界（Real-world）的分布偏移场景下往往表现不佳。Xray-Visual 通过大规模、多样化的数据训练，成功弥合了这一差距。
• 效率与性能的平衡：通过 EViT 和 Token 剪枝技术，证明了在保持 SOTA 精度的同时，可以大幅降低推理成本，这对于大规模部署（如推荐系统、广告匹配）至关重要。
• 多模态融合新范式：将 LLM 作为文本编码器并引入去噪机制，为未来的多模态大模型设计提供了新的技术路径。

总结：Xray-Visual 是一个里程碑式的工作，它通过极致的数据工程、创新的架构设计（EViT + LLM Encoder）以及三阶段训练策略，成功构建了目前最强大、最高效且最具鲁棒性的工业级视觉基础模型，为大规模视觉理解任务设立了新的基准。