🤖 machine learning

The Perception-Physics Paradox: Probing Scientific Alignment with TC-Bench

本文提出“感知 - 物理悖论”以揭示视觉基础模型在科学领域往往依赖视觉相关性而非物理不变性，并通过结构同构提出“科学对齐”方案及新的 TC-Bench 数据集，以证明尽管当前模型具有高预测性能，但在极端条件下仍无法进行正确推理。

原作者： Dingling Yao, Andrea Polesello, Adeel Pervez, Caroline Muller, Francesco Locatello

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Dingling Yao, Andrea Polesello, Adeel Pervez, Caroline Muller, Francesco Locatello

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《感知与物理悖论：利用 TC-BENCH 探测科学对齐》的通俗解释，辅以生动的类比。

核心理念：看起来像 vs. 懂得真相

想象你有一个正在参加天气测验的学生。这位学生极其擅长识别云的图片。如果你给他看一张蓬松白云的照片，他会说：“这是个晴天。”如果你给他看一张黑暗旋转的风暴图，他会说：“这是风暴。”他在测验中得了满分。

但这里有个陷阱：这位学生实际上并不理解风暴的物理原理。 他们只是死记硬背了“深色漩涡 = 风暴”。

这篇论文认为，现代人工智能模型（特别是“视觉基础模型”）就像这位学生。它们在识别事物“看起来”像什么（感知）方面表现出色，但往往无法理解导致这些现象发生的底层“规则”（物理）。作者将这种现象称为感知与物理悖论。

问题所在：“视觉饱和”陷阱

研究人员研究了热带气旋（飓风/台风）。这些风暴遵循一个特定的物理规则：中心气压越低，风力越强。

中等强度风暴： 气压为 1000 百帕的风暴看起来与 980 百帕的风暴不同。人工智能可以轻松区分它们。
强风暴： 当风暴变得极其强烈（气压降至 980 百帕以下）时，云层会形成一个完美、紧密的“风眼”。此时，气压为 915 百帕的风暴看起来与气压为 905 百帕的风暴几乎一模一样。

类比： 想象两辆车分别以 100 英里/小时和 101 英里/小时的速度行驶。在摄像头看来，它们看起来完全一样。如果你的人工智能只是在看图片，它就无法分辨差异。它可能会将两者都猜测为"100 英里/小时”。

论文发现，虽然这些人工智能模型看起来很聪明，平均得分也不错，但当风暴变得非常强烈时，它们会崩溃。它们无法区分“非常强”的风暴和“超级强”的风暴，因为视觉线索已经耗尽。人工智能本质上是在根据平均值进行猜测，而不是基于实际的物理原理。

解决方案：TC-BENCH（压力测试）

为了证明这一点，作者构建了一个名为TC-BENCH的新工具。

它是什么： 一个庞大的全球飓风卫星图像数据库，与真实的科学数据（如确切的气压和风速）配对。
为何特殊： 以前的测试主要关注“平均”风暴。TC-BENCH 旨在专门用那些视觉线索最棘手、最极端、最危险的风暴来对人工智能进行压力测试。
处理流程： 它就像一个工厂，自动从全球各地收集、清洗和整理飓风数据，以便科学家可以反复运行相同的测试而不受偏见影响。

“科学对齐”测试

作者不仅问了“人工智能能猜出风速吗？”，他们提出了一个更深层的问题：“人工智能的内部大脑（其‘潜在空间’）是否真的映射了物理定律？”

他们引入了一个名为科学对齐的概念。把它想象成一张地图：

好地图： 如果你在地图上向北移动一英寸，在现实世界中你也向北移动了一英寸。结构是匹配的。
坏地图： 如果你在地图上向北移动，有时你向北，有时向东，有时却原地不动。这张地图从远处看还可以，但对于导航来说毫无用处。

他们使用了三个具体的“探针”（测试）来检查这张地图：

静态保真度（快照测试）： 人工智能能否看一张单张照片并准确推断出气压？
- 结果： 在强风暴中，人工智能的内部地图变得“模糊”。它无法区分 915 百帕和 905 百帕。
动态连贯性（电影测试）： 如果风暴随时间变化，人工智能的内部地图是否以与现实相符的方式发生变化？
- 结果： 否。当风暴变得强烈时，人工智能对时间的内部表示会“卡住”或崩溃。
流形一致性（逻辑测试）： 人工智能是否理解靠近赤道的风暴需要更强的风力才能拥有与靠近极地的风暴相同的气压？（这是一条真实的物理规则）。
- 结果： 在极端风暴中，人工智能未能通过这项逻辑测试。它忘记了游戏规则。

结论：“看起来对”不等于“就是对的”

该论文得出结论：扩大人工智能模型（使其更大）并不会自动让它们理解科学。

即使是目前最聪明、最强大的人工智能模型，也依赖于“视觉捷径”。它们在识别正常天气的模式方面表现出色，但当天气变得极端且图片看起来相似时，它们对物理的内部理解就会崩溃。

核心启示：
如果你希望将人工智能用于关乎生死的科学决策（例如预测飓风的路径），你不能仅仅因为它“看起来”聪明就信任它。你需要测试其内部逻辑是否真的与物理定律相符。作者提供了工具（TC-BENCH 和探测框架）来做到这一点，结果表明，目前这些模型尚未实现“科学对齐”。

技术摘要：感知–物理悖论：利用 TC-BENCH 探测科学对齐

1. 问题陈述

视觉基础模型（VFMs）在视觉基准测试中展现了强大的零样本性能，促使其被应用于科学领域。然而，作者指出了一个关键局限：在卫星图像上的高预测精度往往源于视觉相关性，而非对底层结构不变性的理解。这种差异被称为感知–物理悖论。

具体而言，模型可能在感知层面表现出良好的泛化能力（例如跨越不同地理区域或机构），却无法保留科学推理所需的物理自由度。在极端物理条件下，如强烈的热带气旋中，视觉线索（如云结构）可能达到饱和，使得物理上截然不同的状态（例如 905 hPa 与 915 hPa 的气压）在视觉上难以区分。视觉基础模型可能将这些不同状态映射到相似的潜在表示中，从而压缩了准确科学推断所需的物理变化。当前依赖平均情况性能或基于感知的分布外（OOD）测试的评估协议，未能检测到这种“潜在坍缩”。

2. 方法论

2.1 科学对齐与结构同构

为了填补这一空白，本文提出了科学对齐作为表示学习的隐式目标。作者将这种对齐的一个可测试方面形式化为结构同构。

定义：若存在一个单射线性映射 $A$ ，使得 $z = Ay + \epsilon_\mu(y)$ ，其中 $y$ 代表物理状态变量， $\epsilon_\mu(y)$ 为一致有界的残差，则称表示 $z = g(x)$ 与物理系统 $S$ 是结构同构的。
推论：该定义并不要求逐坐标解耦，但确保潜在空间在至多线性重参数化的意义上识别物理系统。这意味着潜在几何结构保留了物理状态流形的结构。

2.2 结构对齐探测框架

基于结构同构的推论，作者推导出一组必要条件层级，并将其操作化为结构对齐探测。这些探测用于测试所学表示是否支持特定的物理属性：

静态保真度（ $Q_{stat}$ ）：能否从潜在表示 $z$ 中线性恢复物理状态 $y$ ？（即 $\|y - Lz\| \le \epsilon_{stat}$ ）。
动态一致性（ $Q_{dyn}$ ）：潜在导数是否与物理导数对齐？（即 $\|\dot{y} - L\dot{z}\| \le \epsilon_{dyn}$ ）。
流形一致性（ $Q_{con}$ ）：恢复的变量是否满足已知的物理约束（例如气压 - 风速耦合）？

理论分析（定理 2.1）表明，如果静态保真度和动态一致性在一致有界条件下成立，则该表示支持干预一致性，从而允许在扰动下进行物理上合理的推演。

2.3 TC-BENCH 数据集

为了操作化这些探测，作者引入了TC-BENCH，这是一个面向热带气旋研究的全球性、版本化且可复现的基准数据集。

数据来源：整合了国际最佳路径档案（IBTrACS v4r01）用于元数据（最低中心气压 $P_c$ 、最大持续风速 $V_m$ ），以及 GridSat-B1 用于地球静止红外亮温图像。
范围：覆盖 1980 年至 2024 年，涉及七个气象机构及所有主要盆地。
设计：与以往侧重于平均情况性能的基准测试不同，TC-BENCH 明确包含了极端条件（ $P_c < 980$ hPa）和生命周期转换，以支持“针对物理的压力测试”。

2.4 实验协议

作者使用受限线性探测（ $L \in \mathcal{H}_{lin}$ ）评估了多种冻结的视觉基础模型（包括 DINOv2/3、CLIP、SigLIP 和 MAE）。评估按强度条件分层：

中等条件： $P_c \ge 980$ hPa。
极端条件： $P_c < 980$ hPa。
该协议控制了样本不平衡、探测容量（通过非线性探测）和表示聚合（通过空间 token 均值）等混杂因素。

3. 主要结果

3.1 感知–物理悖论的实际表现

实验揭示了当前视觉基础模型在极端条件下的系统性失效：

静态保真度退化：虽然模型在中等条件下表现良好，但在极端条件下，线性恢复气压（ $P_c$ ）的误差急剧增加。这种“视觉饱和”假设表明，特征达到饱和，使得潜在空间中精细的强度差异变得不可区分。
动态一致性坍缩：在极端条件下，潜在演化与物理时间演化之间的对齐显著退化，在灾难性条件（ $P_c < 920$ hPa）下误差激增。
流形不一致：恢复的气压和风速变量未能尊重物理耦合（例如关于纬度的梯度风平衡约束），在极端条件下，约束违反率从中等条件下的约 20% 上升至约 55%。

3.2 潜在几何分析

对 DINOv3 表示（表现最佳者）进行的几何诊断确认了失效机制：

维度坍缩：在极端条件下，特征协方差的有效维度下降了约 60%。
特征压缩：物理上截然不同的气旋被映射到潜在空间中更狭窄的区域，减少了特征分布。
分辨率丢失：在中等条件下与气压相关的主成分（PC1），在极端条件下失去了随气压的系统性变化。

3.3 结果的鲁棒性

这种失效并非线性探测或静态图像预训练的产物：

非线性探测：增加探测容量（MLP、Transformer）并未解决性能差距。
监督基线：从零开始基于像素数据训练的监督模型在极端条件下实现了更低的误差，证明信号在图像中统计存在，但未被冻结的视觉基础模型表示所捕获。
视频模型：时序预训练（VideoMAE、V-JEPA2）提高了平均性能，但未能消除依赖于条件的退化。

4. 贡献

作为诊断透镜的科学对齐：本文阐述了感知–物理悖论，并将结构同构形式化为一组可证伪的、科学可用性所必需的条件。它将评估重点从感知鲁棒性转移到了物理不变性的结构保留上。
TC-BENCH：一个具有自动化构建流程的全球性、可复现基准数据集，专门设计用于在视觉线索饱和的物理极端条件下对表示进行压力测试。
统一探测框架：一套系统协议（静态保真度、动态一致性、流形一致性），揭示了一种被传统平均情况或分布外评估所忽略的失效模式——依赖于条件的潜在坍缩。

5. 意义与主张

作者将这项工作定位为诊断性而非规范性的。他们并不声称视觉基础模型本质上无法学习物理对齐的表示，也不认为特定任务的训练无法恢复物理信息。相反，本文表明：

当前评估不足：标准指标和基于感知的分布外测试无法针对特定科学查询（特别是在极端条件下）认证对齐性。
扩展并非灵丹妙药：科学对齐并非单纯扩展的自然副产品；模型可能看起来正确，却未能正确推理。
科学的必要条件：所提出的框架提供了一组最小化的可测试条件，用于判断一个表示是否能作为物理系统的有效结构代理。

作者指出，感知–物理悖论很可能可推广到其他高影响力的遥感场景（如野火监测），在这些场景中，观测值在极端条件下对物理上有意义的变化变得局部不敏感。这项工作强调了需要基于查询、物理 grounded 的探测，以确保所学表示能够支持连贯的科学推理。