TouchAI: Exploring human-AI perceptual alignment in touch through language model representations

以下是论文《TouchAI：通过语言模型表征探索人机触觉感知对齐》的详细技术总结。

1. 问题陈述

本文探讨了人机对齐中的一个关键缺口：具体而言，是感知对齐。尽管在将人工智能与人类价值观、目标及视觉感知对齐方面已取得显著进展，但人工智能与人类触觉感知的对齐仍 largely 未被探索。

• 挑战：与可通过 RGB 值量化的视觉或可通过频率标度量化的听觉不同，触觉是多维的、依赖语境的，且缺乏通用标准。触觉描述词（如“柔软”、“粗糙”）往往是隐喻性的且主观的。
• 核心问题：在海量文本语料上训练的大型语言模型（LLM）是否拥有与人类主观判断相一致的触觉体验内部表征？仅凭触觉的文本描述，LLM 能否理解“丝绸缎比棉质牛仔布更柔软”？
• 风险：随着 AI 系统越来越多地介入物理交互（例如机器人操作、个性化产品推荐），缺乏感知对齐可能导致不可靠或令人沮丧的用户体验。

2. 方法论

作者设计了一种名为**“猜猜是什么纺织品？”**的新型交互任务，以评估人类与 LLM 之间的感知对齐。

A. 系统设计 & 任务流程

• 设置：参与者在受控实验室环境中与定制 AI 系统互动。他们在黑色盒子内（以消除视觉线索）触摸两块纺织品样本：一块是目标（对 AI 未知），另一块是参考（对 AI 已知）。
• 交互：参与者口头描述两种织物之间的触觉差异。
• AI 机制：
  1. 嵌入：系统使用 OpenAI text-embedding-3-small 模型，将 20 种可能的纺织品描述转换为预计算的向量嵌入（$E_{textiles}$）。
  2. 向量搜索：将参与者的比较描述编码为差异向量（$v_{diff}$）。系统使用方向偏移公式将该向量与参考纺织品的向量（$v_{ref}$）结合：
     $$\tilde{v}_{predict} = v_{ref} + \alpha \frac{v_{diff}}{\|v_{diff}\|}$$
     （其中 $\alpha=2$ 为缩放因子）。
  3. 预测：系统计算预测向量与所有 20 种纺织品嵌入之间的余弦相似度，选择相似度最高的 ID 作为其猜测。
  4. 迭代：如果猜测错误，被猜测的纺织品将成为新的参考，过程重复（最多 5 次尝试）。

B. 实验设置

• 参与者：招募了 40 名参与者（非专家，背景多样）进行面对面研究。
• 刺激物：20 种不同的纺织品样本，涵盖四个元类别（天然、动物、再生、合成），包括丝绸缎、棉质牛仔布、羊毛和人造皮革等材料。
• 指标：
  1. 成功率：AI 是否在 5 次尝试内猜对了正确的纺织品？
  2. 有效性：（主观）AI 的猜测在多大程度上符合参与者的口头描述（1–10 分制）？
  3. 相似度：（主观）被猜测的纺织品与实际目标在感知上有多接近（1–10 分制）？
• 分析：研究采用了语言分析（TF-IDF、Sentence-BERT、OpenAI 嵌入）来检查描述的一致性是否影响 AI 性能。此外，还使用了多维尺度分析（MDS）和层次聚类来比较人类感知空间与 AI 语义空间的几何结构。

3. 主要贡献

1. 触觉对齐的首次探索：这是第一项利用交互式比较任务，系统调查人类触觉体验与 LLM 表征之间感知对齐程度的研究。
2. 感官到嵌入空间的映射：作者成功将触觉描述映射到 LLM 嵌入空间并测量了表征相似度，揭示 LLM 表现出依赖于材料的系统性感知偏差。
3. 交互任务设计：本文引入了“猜猜是什么纺织品”框架，该框架反映了现实生活场景（例如挑选衣物或布料），并可适配于其他感官领域（食物、香水）。
4. 偏差的经验证据：该研究提供了定量证据，表明 LLM 并非完全“盲”于触觉，而是高度不一致的：在某些材料（如丝绸）上表现良好，而在其他材料（如牛仔布）上则失败。

4. 关键结果

A. 整体表现

• 低成功率：AI 的成功率为 22.5%（80 个任务中 18 个），在统计上与随机猜测（23.7% 基线）无显著差异。
• 主观评分：
  • 有效性：平均分为 5.27/10（与中性无显著差异）。
  • 相似度：平均分为 4.77/10（显著低于中性）。
  • 相关性：有效性与相似度高度相关（$r=0.758$），表明当 AI 误解描述时，其产生的猜测在感知上也相距甚远。

B. 材料特异性偏差

• 高对齐：丝绸缎达到了100% 的成功率。LLM 的嵌入空间似乎对该材料具有强烈且定义明确的表征，这可能是由于训练数据中丰富的文本关联所致。
• 低对齐：棉质牛仔布、人造皮革和人造毛皮的成功率为 0%。尽管参与者提供了清晰的描述，模型仍无法区分这些材料。
• 混淆矩阵：AI 表现出倾向于预测特定的“流行”纹理（如亚麻平纹或丝绸绉布），而不管实际目标是什么，这表明其偏向于嵌入空间中的某些簇。

C. 人类与 AI 空间几何

• 弱结构对齐：虽然 AI 捕捉到了广泛的类别知识（例如将羊毛归为一组），但它未能复现人类感知到的细粒度感知关系。
• 局部邻居：AI 空间中 30% 的“最近邻居”（最相似的纺织品）与人类感知空间中的匹配。
• 相关性：人类相似度评分与 AI 语义相似度之间的相关性为中等（$r=0.441$），仅解释了约 19.5% 的方差。

D. 不对齐的原因

• 训练数据稀缺：对 WikiText-103 和 BookCorpus 的语料库分析显示，纺织品/触觉术语的出现频率仅为0.0033%–0.0018%，而颜色术语的出现频率为0.15%–0.04%。训练语料中触觉数据的缺乏是对不对齐的主要驱动因素。
• 语言聚类与感知聚类：LLM 基于语言/类别相似性（例如，“棉”和“亚麻”都是天然纤维）对纺织品进行聚类，而非基于感知相似性（它们实际的手感如何）。

5. 意义与影响

• 纯文本模型的局限性：本研究证明，当前的 LLM 无法完全编码“触觉空间”。它们依赖语言关联，而非具身的物理理解。
• 模态特异性对齐：不能假设感知对齐能跨模态泛化。一个在视觉上对齐的模型可能仍然对触觉“视而不见”。
• 多模态基础的需求：为了实现稳健的对齐，未来的 AI 系统必须整合多模态感官数据（视觉、触觉、听觉），而不能仅依赖文本。
• 伦理与安全约束：作者指出，模型中的安全过滤器（例如 GPT-4）有时会因与性内容的关联而阻止触觉描述，从而阻碍研究。这突显了需要更细致的安全机制，以允许合法的感官研究。
• 未来方向：本文呼吁创建大规模、多样化的触觉描述数据集，并开发能够弥合语言与物理感觉之间差距的多模态大语言模型（MLLM）。

总之，TouchAI揭示，虽然 LLM 拥有某些关于触觉的潜在知识，但它们与人类的感知对齐是系统性偏差且不完整的。要在物理世界中实现真正的人机对齐，需要超越基于文本的表征，转向包含具身、多模态的学习。