🤖 machine learning

CORE-MTL: Rethinking Gradient Balancing via Causal Orthogonal Representations

该论文提出了 CORE-MTL，这是一个以因果驱动、以表示为中心的框架，通过将共享表示分解为语义流和残差流，将任务相关结构与伪相关上下文进行解耦，从而通过实现优于现有以优化为中心的方法的泛化能力和降低梯度干扰，提升了多任务学习的效果。

原作者： Chengfeng Wu, Tao Zou, Yanru Wu, Jingge Wang

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Chengfeng Wu, Tao Zou, Yanru Wu, Jingge Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一名学生同时胜任三份不同的工作：开车、画肖像画以及解数学题。

在人工智能的世界里，这被称为多任务学习（Multi-Task Learning, MTL）。目标是拥有一个“大脑”（共享模型），去学习一种能理解这三项工作的通用语言。

问题所在：“嘈杂的教室”

论文指出，目前教授这名学生的方法是有缺陷的。这些方法专注于平衡成绩（梯度）。如果学生的数学成绩下降，老师就会调整教学计划，增加数学的比重；如果绘画成绩下降，就会转向绘画。

但论文认为：“你不能仅仅通过改变评分曲线来纠正一个差生。”

真正的核心问题在于学生到底学到了什么。

有用的东西（语义/Semantics）： 学生学习了汽车的形状、人脸的概念或数学逻辑。这些是实用的且稳定的。
没用的东西（干扰/噪声/伪相关/Nuisance/Spurious Correlations）： 学生还会无意中学习到一些“捷径”。例如，他们可能认为“所有的车都是红色的”，因为教科书里的车全是红色的。或者他们可能认为“所有的人脸都在微笑”，因为数据集里只有开心的脸。

当学生遇到黑色的车或悲伤的面孔（新环境）时，他们会表现得一塌糊涂。因为他们依赖的是“红色”或“微笑”这种捷径，而不是真正的“车”或“脸”的概念。现有的方法试图在不同任务间进行权衡，但它们无法阻止学生去死记硬背这些毫无意义的捷径。

解决方案：CORE-MTL（“双流”大脑）

作者提出了一种构建学生大脑的新方法，称为 CORE-MTL。与其仅仅是在不同任务的成绩间做权衡，不如将教室重新构造成两个独立的流（Stream）：

“语义”流（严肃的学生）： 这个流严格用于学习重要的、通用的规则（如汽车的形状、数学逻辑）。
“残差”流（记录员）： 这个流是一个“垃圾桶”，用来存放所有的垃圾、噪声和无关紧要的细节（如汽车的颜色、背景风景、光照情况）。

黄金法则： 学生只被允许使用“语义”流来回答测试题。“残差”流必须承载所有的垃圾，但绝不允许影响最终答案。

他们如何强制实现这种分离？

你不能只告诉学生“不要学习垃圾”。他们需要一种方式来证明自己确实实现了分离。论文使用了两个巧妙的技巧：

1. “物理”测试（硬约束/Hard Grounding）

对于驾驶或场景理解等任务，作者使用了物理定律。

想象学生正在观察一个 3D 物体。
语义流必须确定其形状（几何结构）。
残差流必须确定其光照与颜色（着色）。
然后，他们被强制使用一个物理公式来重建图像：形状 + 光照 = 图像。
如果学生试图将“光照”放入“形状”流中，他们重建的图像就会出错（例如，阴影悬浮在半空中）。这迫使大脑将形状和光照严格分开。

2. “如果……会怎样？”测试（反事实/Counterfactuals）

这就像是大脑版的“填词游戏”。

老师拿出一张在雨中行驶的汽车照片（残差 = 雨），然后将雨天替换为晴天（残差 = 阳光）。
“语义”流必须在背景发生剧烈变化的情况下，依然能正确识别出汽车。
如果学生在这个测试中失败了，说明他们依赖“雨天”来识别汽车。系统会对他们进行惩罚，直到他们学会忽略雨天而只关注汽车本身。

为什么这种方法更好？

论文声称，通过在脑内物理性地分离“有用的东西”与“垃圾”，可以实现以下目标：

不再有梯度冲突： 你不需要复杂的数学来平衡各项任务，因为任务自然地停止了相互干扰。“语义”流是纯净的，因此数学问题会自动解决。
更好地应对新事物： 因为学生没有死记硬背捷径（如“车是红色的”），所以他们处理黑色汽车、雨天或不同城市的能力比以前强得多。
可扩展性： 当你增加更多任务（驾驶、绘画、数学、烹饪）时，系统不会变得更慢或更混乱。它只会不断地将“垃圾”丢进垃圾桶，并将“好东西”留在纯净的流中。

总结

目前的 AI 试图通过调节每个任务的“音量”（调大数学，调小绘画）来解决多任务学习问题。

CORE-MTL 则说：“不，让我们建一个隔音室。” 把重要的音乐（语义）放在一个房间，把噪音（干扰）放在另一个房间。只让音乐传出来。这样，无论外面的噪音有多大，音乐始终清晰完美。

论文证明了这种方法在标准测试（如驾驶场景和面部属性）以及更关键的——当 AI 被测试于从未见过的环境（如不同的天气条件或不同的城市）时，表现得更为出色。

技术总结：CORE-MTL

问题陈述

多任务学习（MTL）旨在通过在多个相关任务上训练共享编码器来提高样本效率和鲁棒性。然而，MTL 经常遭受**负迁移（negative transfer）**的影响，即优化一个任务会导致其他任务的性能下降，并且在分布偏移（分布外，OOD）下表现出较差的泛化能力。

现有的方法主要在优化层面进行操作，试图通过以下方式协调任务冲突：

梯度平衡： 对梯度进行重加权或投影（例如 GradNorm, PCGrad, STCH）。
架构修改： 将任务路由到骨干特征的特定切片中（例如 MTAN）。

作者认为，这些方法将特征学习视为一个“黑盒”，忽略了共享表示的内部结构。当共享表示将不变的语义因子（任务相关）与伪造的残差因子（干扰变量，如背景或光照）纠缠在一起时，仅靠梯度操纵无法解决由此产生的冲突。这种纠缠导致模型依赖于“由干扰驱动的捷径（nuisance-driven shortcuts）”，从而导致脆弱的 OOD 泛化能力。

方法论：CORE-MTL

作者提出了因果正交表示多任务学习（CORE-MTL），这是一个以表示为中心的框架，将重点从梯度手术转向受因果启发的语义-残差分解。

1. 结构分解

CORE-MTL 将共享编码器的输出 $\Phi_\theta(x)$ 分解为两个不同的流：

语义流 ( $\hat{Z}_s$ )： 捕捉不变的、任务相关的结构（例如几何形状、物体身份）。
残差流 ( $\hat{Z}_r$ )： 吸收与任务无关的干扰变化（例如纹理、照明、背景）。

关键约束： 任务预测器 ( $f_{\phi_t}$ ) 被限制为仅依赖于语义流 $\hat{Z}_s$ 。这种结构上的隔离防止了模型在学习过程中利用干扰信号作为捷径。

2. 训练目标

为了强制执行这种分解并确保各流捕捉到其预期的角色，CORE-MTL 采用了一个由四个部分组成的统一目标函数：

任务监督 ( $L_{task}$ )： 基于 $\hat{Z}_s$ 的每个任务的标准损失。
结构独立性 ( $L_{CKA}$ )： 使用中心化核对齐（Centered Kernel Alignment, CKA）来最小化 $\hat{Z}_s$ 与 $\hat{Z}_r$ 之间的统计依赖性，鼓励它们捕捉互斥的信息。
反事实特征增强 ( $L_{CFA}$ )： 通过重新组合图像的语义流与来自另一幅图像的随机残差向量来合成反事实实例（ $\tilde{x} = D(\hat{Z}_s, \tilde{Z}_r)$ ）。模型被训练在这些合成图像上保持一致的任务预测，从而强制要求 $\hat{Z}_s$ 对干扰变化具有不变性。
通过重构进行落地 ( $L_{rec}$ )： 一个辅助解码器从 $(\hat{Z}_s, \hat{Z}_r)$ $(\hat{Z}_{s}, \hat{Z}_{r})$ 中重构输入。这提供了一个“落地（grounding）”信号，以防止任意的分解。作者实现了两种变体：
- 硬落地（Hard Grounding）： 对于结构化场景，使用显式的物理先验（例如，使用反照率和光照模型的逆向渲染）。
- 软落地（Soft Grounding）： 对于缺乏物理先验的任务，使用通用的卷积解码器，依赖于架构瓶颈和统计约束。

3. 理论保证

论文在线性高斯结构因果模型（Linear-Gaussian SCM）下提供了理论分析：

OOD 下界： 它证明了对于任何在纠缠表示上运行的以优化为中心的方法，都存在一个与纠缠程度 ( $\sin^2 \psi$ ) 成正比且不可避免的 OOD 误差底限。
解耦界限： 相反，CORE-MTL 的解耦架构保证了一个更紧密的 OOD 泛化界限，该界限随“泄漏系数”（语义流对残差因子的敏感度）线性缩放。
梯度正交性： 该框架在理论上诱导了任务损失与残差损失之间的梯度正交性，这是解耦作为一种结构性副产品的产物，从而在表示层面解决了冲突，而非通过事后修正。

核心贡献

MTL 的因果视角： 作者形式化了以优化为中心的方法在潜在 SCM 下的局限性，证明了在纠缠表示上操纵梯度无法消除 OOD 误差。
CORE-MTL 框架： 一个全新的以表示为中心的框架，通过物理或通用落地实现语义-残差分解，从源头上解决负迁移问题。
经验优越性： 大量实验表明，在包括 NYUv2, Cityscapes 在内的分布内（ID）以及 GTA5→Cityscapes, Cityscapes-C, Colored-Cityscapes 等分布外（OOD）基准测试中，该方法均一致优于十种代表性的基线方法（包括 GradNorm, PCGrad, STCH, MTAN）。
可扩展性： 随着任务数量的增加，该方法保持近乎恒定的训练成本，避免了像 PCGrad 这样的梯度手术方法所面临的难以承受的线性扩展问题。

实验结果

分布内 (ID)： 在 NYUv2 和 Cityscapes 上，CORE-MTL 实现了最佳的整体权衡，在分割、深度估计和表面法线预测方面均获得了顶尖性能。
分布外 (OOD)：
- 模拟到现实 (GTA5→Cityscapes)： CORE-MTL 实现了最佳的目标域指标，并且与源域性能相比，性能差距最小。
- 腐蚀鲁棒性 (Cityscapes-C)： 在各种腐蚀（对比度、模糊、雾、噪声）下优于基线，特别是在可见度严重降低的情况下。
- 捷径压力测试 (Colored-Cityscapes)： 在一个源域与目标域之间类别颜色发生置换的基准测试中，CORE-MTL 保持了鲁棒性，证明其并不依赖于伪造的外观相关性。
可扩展性 (CelebA)： 随着任务数量增加（高达 40 个属性），CORE-MTL 保持了高准确率，而梯度手术方法（PCGrad）则面临训练时间爆炸的问题。

重要性与主张

论文声称，共享表示中的纠缠（而非梯度平衡方案本身）是任务干扰和 OOD 失效的主要来源。通过将范式从“事后梯度手术”转向“内在表示解耦”，CORE-MTL：

从结构上解决了任务冲突，允许任务在无需严格梯度修正的情况下自然协同。
为 OOD 泛化提供了更紧密的理论界限。
为多任务学习提供了一个可扩展的解决方案，且随着任务数量的增长依然有效。

作者将这项工作定位为迈向结构感知表示设计以实现鲁棒多任务学习的一步，超越了纯粹以优化为中心的协调。他们也承认了局限性，指出其理论保证依赖于程式化的线性高斯假设，且目前的实例化主要针对密集场景理解任务。