Visualizing LLM Latent Space Geometry Through Dimensionality Reduction
本文提出了一个利用降维技术对基于 Transformer 的大语言模型的潜在状态几何结构进行可视化与分析的框架，揭示了诸如注意力输出与 MLP 输出之间的分离、高范数初始状态以及螺旋状位置嵌入等新颖的结构模式。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，像 GPT-2 或 LLaMa 这样的超大规模语言模型（LLM）就像一座高科技的巨型工厂。在这座工厂内部，信息通过一系列被称为“层”（layers）的房间进行流动，而不同的“组件”（components）则是负责处理数据的工人。你正在阅读的这篇论文，本质上是研究人员制造了一副特殊的“X光眼镜”，用来窥视这座工厂内部，观察数据在经过这些房间时呈现出的样子。
以下是他们所做的工作以及发现的简单拆解，使用了日常生活的类比。
问题所在：“黑盒”工厂
我们知道这些 AI 模型非常擅长写故事或回答问题，但我们并不真正了解它们在内部是如何运作的。这就像看到一辆车在高速公路上完美行驶，却完全不知道引擎盖下面发生了什么。研究人员想要绘制这些模型的“内部地理结构”，以理解它们的思考方式。
工具：将 3D 世界压缩成 2D 地图
这些模型内部的数据存在于一个拥有数千个维度的空间中（想象一下一个有 4000 面墙而不是只有 4 面墙的房间）。人类无法直观理解这种空间。因此，研究人员使用了两种数学工具——PCA 和 UMAP，来充当一种“压缩算法”。
- 类比： 想象一个复杂的、多层结构的 3D 雕塑。你无法一次看清它的全貌。这些工具就像是从特定角度拍摄这张雕塑的照片，并将其压平在一张 2D 纸张上。其目的不是丢失形状，而是让它变得足够小，以便我们观察其中的模式。
他们的发现：三大惊喜
1. “第一个 Token”是个大嗓门
当模型开始阅读一个句子时，第一个词（“初始 token”）会获得巨大的能量提升。
- 类比： 想象一个教室，老师提出了一个问题。通常情况下大家都很安静，但第一个举手的学生突然站了起来，大声叫喊并疯狂挥舞手臂，以至于挡住了其他所有人的视线。
- 发现： 在 GPT-2 和 LLaMa 中，第一个词的数学“规模”（或范数/norm）相对于句子的其余部分来说是非常巨大的。即使第一个词并不是一个特殊的“起始”符号，情况也是如此。它太吵了，以至于如果你试图观察整个班级，你就看不见其他学生了。研究人员必须“压低”这个第一名学生的音量，才能看到班级里其他人在做什么。
2. “两支队伍”永不混编
在工厂的每个房间（层）内，都有两种主要的工人类型：注意力机制（Attention）（通过观察其他词来理解上下文）和 MLP（处理词汇本身的含义）。
- 类比： 想象一个舞池。研究人员原以为“注意力”舞者和“MLP”舞者会随机混合在一起。然而，他们发现“注意力”舞者总是待在房间的左侧，而“MLP”舞者总是待在右侧。它们形成了两个截然不同、互不重叠的圆圈。
- 发现： 这是一个全新的发现。此前没有人注意到这两个组件产生的输出在几何上是分离的。它们似乎在模型思维的不同“区域”从事着截然不同的工作。
3. “螺旋”对比“云团”
研究人员观察了模型如何处理词序（位置）。
- GPT-2（螺旋形）： GPT-2 使用的是“学习到”的位置标记。当进行可视化时，第 1 个词、第 2 个词、第 3 个词……等数据的分布呈现出一种优美的、长长的螺旋或螺旋线。
- 类比： 这就像一个弹簧玩具（Slinky）。随着序列的推进，数据在高度可预测的高维螺旋中扭转和旋转。
- LLaMa（云团形）： LLaMa 使用了一种不同的方法，称为 RoPE（旋转位置编码）。
- 类比： 与整齐的螺旋不同，LLaMa 的数据看起来更像是在开头有一个长而细的尾巴，随后逐渐膨胀成一个巨大的、无固定形状的云团。随着句子向后推进，那种整齐的几何模式很快就消失了。
为什么这很重要
研究人员并不是说这能立即修复 AI 或治愈疾病。相反，他们是在说：“我们终于拥有了一张地图。”
通过可视化这些形状——大嗓门的第一个词、分离的两支队伍，以及螺旋与云团——他们为科学家提供了一种讨论 AI 如何运作的新方式。这就像是从猜测汽车引擎如何工作，进化到了真正看到齿轮如何转动。这有助于研究人员理解模型是在以逻辑、有序的方式“思考”，还是仅仅在进行随机猜测。
简而言之： 他们将一个巨大的、不可见的、4000 维的大脑，压缩成了一张 2D 地图，并发现这个大脑拥有极其特定、有序且令人惊讶的内部地理结构，而这是我们以前并不知晓的。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。