🤖 AI

Brain-Inspired Stochastic Joint Embedding Representation Learning

本文介绍了 PhiNet v2，这是一种受大脑启发的架构，它利用时序视觉序列和变分推理来学习鲁棒的自监督表示，在不依赖强数据增强的情况下实现了具有竞争力的性能，同时更紧密地与人类视觉处理过程保持一致。

原作者： Makoto Yamada, Kian Ming A. Chai, Ayoub Rhim, Satoki Ishikawa, Mohammad Sabokrou, Yao-Hung Hubert Tsai

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Makoto Yamada, Kian Ming A. Chai, Ayoub Rhim, Satoki Ishikawa, Mohammad Sabokrou, Yao-Hung Hubert Tsai

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：教 AI 像人类一样观察

想象你正在看电影。你不需要每帧都暂停，放大并分析光影或滤镜来理解故事。你的大脑会自动吸收视频的流动，并根据刚刚看到的内容来预测接下来会发生什么。

目前的 AI 模型（例如那些驱动图像识别的模型）通常通过观察单张照片来学习，然后强迫计算机从无数种不同的角度（裁剪、翻转、黑白化、模糊化）去观察同一张照片，从而弄清楚它是什么。这就像是通过盯着字典并死记硬背每一个孤立的单词来学习语言。

PhiNet v2 是一种全新的 AI 模型，它试图模仿人类大脑的学习方式。它不再盯着静态照片，而是通过观看视频序列（图像流），并通过预测接下来的内容来学习，而不需要其他模型所依赖的那些人工“技巧”（数据增强）。

灵感来源：大脑的“预测机器”

研究人员基于海马体（大脑的记忆中心）的工作原理构建了这个模型。他们将大脑分解为三个主要部分，并为 AI 分配了与之匹配的部分：

感觉输入（眼睛）：
- 大脑： 内嗅皮层接收视觉信号。
- AI： 一个编码器（Encoder），将视频帧转化为一个紧凑的“摘要”（即对正在发生情况的数学表示）。
预测器（“接下来会发生什么？”中心）：
- 大脑： 海马体的 CA3 区域就像一个水晶球。它观察当前的情况，并猜测一瞬间后会发生什么。
- AI： 一个预测器（Predictor），它获取当前帧的摘要，并预测未来帧的摘要。
误差检查器（“我猜对了吗？”中心）：
- 大脑： CA1 区域将大脑的猜测与实际情况进行对比。如果猜错了，它会发送误差信号来更新记忆。
- AI： 一个损失函数（Loss Function），将 AI 的猜测与实际的未来帧进行对比。如果两者不匹配，AI 就会从错误中学习。

PhiNet v2 有何不同（“V2”升级版）

论文提到了之前的版本 PhiNet v1，它表现不错但存在一些局限性。可以将 PhiNet v1 想象成一个通过看教科书学习、但在现实对话中却手足无措的聪明学生。

PhiNet v2 通过以下三个关键点对这位学生进行了升级：

从教科书到电影： PhiNet v1 是在单张图像（如教科书）上训练的。PhiNet v2 则是在视频（如电影）上训练的。它理解时间是向前流动的，且物体会随时间而变化。
从计算器到超级大脑： 旧版本使用了标准的 “ResNet” 架构（一种常见的旧型 AI 大脑）。新版本使用了 Transformer（正是你正在与之交谈的这类现代聊天机器人背后的技术）。这使得它能更好地理解视频不同部分之间复杂的相互关系。
不再需要“小抄”： 大多数 AI 模型需要沉重的数据增强（扭曲图像）来学习。PhiNet v2 仅通过观察视频的自然流动就能实现鲁棒的学习，就像人类通过观察世界运行的方式进行学习一样。

秘诀：“随机性（Stochastic）”与“变分（Variational）”

标题中提到了“Stochastic”和“Variational”。以下是它们的通俗解释：

Stochastic（随机性/元素之惊奇）： 现实世界是混乱的。一个球每次弹跳的方式可能略有不同，或者一个人的手可能会出人意料地移动。PhiNet v2 承认这种不确定性。它不是试图预测下一帧的精确像素（这几乎是不可能的），而是预测一个可能性的范围，并学会适应这种不确定性。这就像气象预报员说“可能会下雨”，而不是说“会在下午 2:03 准时下雨”。
Variational（变分/学习循环）： 该模型使用了一种称为“变分推理（Variational Inference）”的数学技巧。想象你在猜朋友的秘密密码：你做一个猜测，检查离目标有多近，然后稍微调整你的猜测。PhiNet v2 也在不断进行这个过程，通过不断精炼其内部的“世界地图”，直到它非常擅长预测未来。

结果：效果如何？

研究人员在标准视频任务上测试了 PhiNet v2，例如：

视频分割（Video Segmentation）： 在视频移动过程中追踪特定物体（如人或汽车）。
姿态追踪（Pose Tracking）： 追踪人体关节的运动。

研究发现：

在这些任务上，PhiNet v2 的表现优于其他顶尖模型（如 RSP 和 CropMAE）。
它更加鲁棒：当研究人员在视频中加入“噪声”（如静电干扰或模糊）时，PhiNet v2 不像其他模型那样容易崩溃。这表明它学习的是运动的“本质”，而不仅仅是记忆像素。
它在实现这些目标时，无需像其他模型那样需要一个庞大的 “MAE”（掩码自编码器）模块来提升性能。它是一个更简单、更纯粹的设计，且效果同样出色，甚至更好。

总结

PhiNet v2 是一种全新的 AI 架构，它通过观看视频并预测未来来进行学习，模拟了人类大脑处理时间和记忆的方式。通过将大脑的“预测”电路与现代 Transformer 技术相结合，它创造出了一个高效、对噪声具有鲁棒性、且不需要通过人工图像扭曲来“骗取”学习的系统。它代表了向构建能像我们一样观察和理解世界的计算机迈出的重要一步。

技术摘要：受脑启发性的随机联合嵌入表示学习 (PhiNet v2)

问题陈述

自监督学习 (SSL) 通过 SimCLR、MoCo、DINO 和掩码自编码器 (MAE) 等框架彻底改变了计算机视觉领域。然而，这些方法在很大程度上忽略了来自生物视觉处理系统的见解，特别是人类大脑能够从连续视觉信息流中学习鲁棒表示，而无需依赖重度的数据增强。

现有的脑启发模型（如原始的 PhiNet v1）已取得了进展，通过结合时间预测假设 (Temporal Prediction Hypothesis) 与互补学习系统 (CLS) 理论，实现了跨越。然而，PhiNet v1 存在三个主要局限性：

序列化处理能力不足： 它无法原生处理序列视觉输入（视频）；它通过对静态图像进行数据增强来模拟时间差异。
架构问题： 它依赖 ResNet 骨干网络，而现代神经科学表明，Transformer 架构能更好地模拟海马体模型。
对增强的依赖： 与许多 SSL 方法一样，它依赖于强力的数据增强，这限制了其在学习序列输入时的泛化能力，因为在这些场景下定义有效的增强变得十分困难。

本文旨在解决开发一种能够从序列输入（视频）中学习鲁棒视觉表示的模型的需求，该模型无需强力数据增强，并利用 Transformer 架构和变分推理来架起脑启发机制与概率学习之间的桥梁。

方法论：PhiNet v2

PhiNet v2 是一种基于 Transformer 的架构，旨在通过与内嗅皮层 (EC)、海马体 (CA3 和 CA1) 及新皮层的生物电路对齐，从图像序列（视频）中学习。

1. 生物学解释与架构

该模型将其组件映射到特定的脑区：

内嗅皮层 (EC) / 编码器 $f$ ： 将感觉输入（视频帧 $x_t$ ）编码为低维表示 ( $Z_t$ )。PhiNet v2 使用 Vision Transformer (ViT) 作为编码器。
CA3 区域 / 预测器 $h$ ： 基于时间预测假设，该模块预测未来的神经活动。它根据当前帧 ( $Z_t$ ) 预测未来帧的表示 ( $\hat{Z}_{t+k}$ )。
CA1 区域 / 预测器 $g$ 与损失函数：
- Sim-1 (预测误差)： CA1 将预测信号 $\hat{Z}_{t+k}$ 与实际未来信号（经过噪声 $\epsilon$ 处理）进行比较。这种差异被建模为先验与近似后验之间的概率散度 (KL 散度)，从而驱动快速可塑性。
- Sim-2 (慢速学习)： CA1 向新皮层输出信号。第二个预测器 $g$ 根据预测结果和潜在随机变量 $r$ 生成目标表示 $Y_{t+k}$ 。
新皮层 / 慢速编码器 $f_{long}$ ： 模拟慢速学习的新皮层系统。其参数通过主编码器参数的指数移动平均 (EMA) 进行更新，以确保长期一致性并防止表示崩溃。

2. 概率推导

学习目标源自变分推理。作者旨在最大化编码视频帧的似然概率。通过应用链式法则并引入一个带有潜在变量 $r$ 的均匀混合模型以捕捉随机性，他们推导出了一个证据下界 (ELBO)。

Sim-1 损失 对应于近似后验 $q(r|\hat{Z}_{t+k}, Z^{(\epsilon)}_{t+k})$ 与先验 $p(r|\hat{Z}_{t+k})$ 之间的 KL 散度。
Sim-2 损失 对应于预测表示 $Y_{t+k}$ 与目标表示 $f_{long}(x_{t+k})$ 之间的重构误差。
总目标是正向和反向时间顺序损失的对称和，以促进双向时间一致性。

3. 训练动态与稳定性

为了防止表示崩溃并确保在没有强力数据增强的情况下实现稳定训练，PhiNet v2 采用了特定机制：

停止梯度 (Stop-Gradients, SG)： 对先验路径 (SG-prior) 和慢速编码器 (SG-2) 直接停止梯度传递，迫使模型通过快速路径的误差驱动更新进行学习。
KL 平衡 (KL Balancing)： 在计算 KL 散度期间，对先验和后验项应用偏差。
EMA： 慢速编码器 $f_{long}$ 通过 EMA 更新，使其学习动态与主编码器解耦。
噪声注入： 在未来帧中加入高斯噪声 $\epsilon$ ，以防止快捷学习（例如直接复制像素），尽管模型学习的是表示而非重构像素。

核心贡献

PhiNet v2 架构： 首个基于 Transformer 架构的脑启发视觉表示学习模型，能够处理序列视觉输入。
无增强学习： 该模型通过序列输入学习鲁棒表示，无需依赖现有基础模型（如 MAE、DINO）所要求的强力数据增强和掩码技术。
变分公式化： 提供了一个正式的概率推导，将脑启发建模（时间预测和 CLS）与变分推理联系起来，提供了严谨的数学基础。
性能表现： PhiNet v2 在保持更简单架构（无需辅助 MAE 模块）的同时，实现了与强力预训练方法（DINO、SiamMAE、CropMAE、RSP）相当或更优的性能。

实验结果

作者在 Kinetics-400 数据集上预训练 PhiNet v2，并在下游视频标签传播任务（DAVIS、VIP、JHMDB）上进行评估。

基准性能： PhiNet v2 在所有测试数据集上均优于 RSP、CropMAE 和类 JEPA 基线。
- 在 DAVIS（视频分割）上，PhiNet v2 达到了 60.1 的 J&Fm 分数，而 RSP 为 58.4，CropMAE 为 57.0。
- 在 VIP（部件分割）和 JHMDB（姿态跟踪）上，PhiNet v2 也取得了最高分（分别为 33.1 mIoU 和 73.6 PCK@0.2）。
对噪声的鲁棒性： 在对输入帧添加高斯噪声的实验中，PhiNet v2 展示了比 RSP 更强的鲁棒性，特别是在 DAVIS 数据集上，验证了表示空间学习比像素重构方法对像素级噪声更不敏感的假设。
消融研究：
- EMA： 去除 EMA 会导致表示崩溃和性能下降（26.8 对比 60.1）。
- 对称损失： 使用对称损失可提升 0.4–0.9 个百分点。
- 预测器 $h$ ： 包含预测器 $h$ (CA3) 对于避免崩溃至关重要。
- 批大小 (Batch Size)： 模型在各种批大小（192 到 1536）下均保持稳定，允许在有限硬件（如 V100 GPU）上进行训练。
- 架构： 仅仅将 PhiNet v1 中的 ResNet 替换为 Transformer 而不进行特定的 PhiNet v2 架构调整，会导致性能极差（22.2），凸显了特定设计的必要性。

意义与主张

本文将 PhiNet v2 定位为迈向更具生物合理性的计算机视觉系统的一步。其意义在于：

生物合理性： 它成功地将时间预测假设和 CLS 理论集成到一个现代的基于 Transformer 的框架中，超越了 PhiNet v1 处理静态图像的能力。
高效与简洁： 与需要辅助 MAE 模块来提升性能的 RSP 不同，PhiNet v2 仅通过表示对齐即可实现卓越的结果，消除了对复杂辅助组件和大量超参数调优的需求。
可扩展性： 虽然目前的实验是在较小规模下进行的以确保与现有方法公平比较，但作者指出该架构在本质上与 JEPA 和 DINO 框架相关，这表明其具有扩展到更大规模设置并与 V-JEPA 或 DINOv3 等大规模模型竞争的潜力。

这项工作证明，将神经科学启发的机制与概率学习目标相结合，可以产生鲁棒且达到最先进水平的视频表示，而无需依赖当前主流 SSL 范式中常见的重度数据增强。