RADAR: Relative Angular Divergence Across Representations
本文介绍了 RADAR，这是一种基于几何原理的指标，通过分析层间表示轨迹中的角度发散和相对距离变化来估计基础模型的跨域可迁移性，并在文本和图像基准测试中展现出具有竞争力的预测性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你是一位厨师，正试图创作一道新菜。你拥有一份绝佳的食谱（你的“目标”数据），但食材不足。于是，你决定从其他厨房借用一些食材（你的“源”数据）来帮忙。
问题在于？并非所有借来的食材都能很好地融合。有时，加入一种新香料反而会让菜肴的味道变差，而非变好。这被称为“负迁移”。通常，要判断一种食材是否适用，你必须烹制整道菜，品尝它；如果味道不好，就将其丢弃并重新尝试。这既缓慢、昂贵，又浪费。
本文介绍了一种名为 RADAR（表示间相对角散度）的新工具。将 RADAR 想象成一位“超级聪明的美食评论家”，它只需品尝一滴生食材，就能立刻告诉你：“是的，这将完美融合”，或者“不，这会毁掉这锅汤”，而无需你烹制整餐。
以下是 RADAR 的工作原理，使用简单的类比说明：
1. “逐层”之旅
大多数旧工具仅在烹饪过程的最后阶段（模型的最终层）查看食材。它们会问：“这两碗汤看起来相似吗？”
RADAR 则不同。它观察食材在厨房中移动的“整个旅程”。想象食材在工厂的一系列房间（层）中穿行。
- 旧工具仅检查最终产品。
- RADAR 观察食材如何从第 1 个房间移动到第 2 个房间，再到第 3 个房间，依此类推。它追踪它们的“路径”。
2. “行走路径”类比
为了理解两组人（来自不同领域的数据）是否兼容，RADAR 观察它们如何在迷宫中行走。
- “组内”行走：想象两个来自同一城镇的朋友在迷宫中行走。他们倾向于沿直线行走，采取高效、直接的路径。他们的步伐是可预测的。
- “跨组”行走：现在，想象一位来自你城镇的朋友和一位来自外国的朋友一起行走。他们是沿直线行走吗？还是走奇怪的弯路、之字形路线，或者感到困惑？
RADAR 测量这些行走的两个方面：
- 角度：他们是朝同一方向行走，还是急剧地转向彼此背离？
- 绕路：他们共同采取的路径是否比其中一人单独行走的直接路径长得多？
如果“外国”朋友相比本地朋友走了一个巨大且令人困惑的绕路，RADAR 会说：“这两者不兼容。”如果它们一起沿直线行走，RADAR 会说：“很好，它们兼容！”
3. “变形”地图
论文指出，不同类型的数据（如文本与图像）生活在不同的“世界”中。
- 文本 就像一张平铺的纸（欧几里得空间）。
- 图像 有时就像地球仪的表面（弯曲空间）。
RADAR 足够智能，知道该使用哪张地图。它可以根据所查看的数据类型，在平铺的纸或地球仪上测量“行走路径”。随后，它生成路径行为方式的统计“指纹”。
4. “交通报告”
最后，RADAR 比较本地群体与外国群体的“交通模式”。
- 如果两者的交通流动都顺畅且相似，它预测为正迁移（新数据将有所帮助）。
- 如果交通模式混乱且完全不同，它预测为负迁移（新数据将造成损害）。
为什么这更好？
- 无需烹制：你无需重新训练整个 AI 模型来测试新数据集是否良好。你只需在冻结的特征上运行这种“品尝测试”。
- 洞察细节：因为它观察的是通过各层的“移动”（旅程），所以它能捕捉到仅关注最终结果的旧工具所忽略的细微差异。
- 无处不在：作者在图像（例如识别不同风格下的猫与狗）和文本（例如理解不同语言中的情感）上测试了它。在两种情况下它都表现良好，尤其是在数据之间的差异清晰或平滑变化时。
局限性
论文承认，RADAR 并非适用于所有情况的魔法。如果数据杂乱、分散且没有清晰的结构（就像每个人都在随机行走的混乱人群），RADAR 可能会感到困惑。当“行走路径”要么非常平滑，要么非常清晰可辨时，它效果最佳。
简而言之：RADAR 是一个几何指南针，它通过观察数据在 AI 大脑中“行走”的方式（在你开始训练之前），来预测混合两种不同类型的数据是有助于 AI 学习还是会造成混淆。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。