💬 NLP

Creativity, honesty and designed forgetting emerge in small hyperbolic language models

本文表明，配备双曲子结构的三个小型语言模型能够通过检测合规差距与谄媚行为、生成创造性响应以及实现“设计化遗忘”机制，有效应对可靠伴侣人工智能所面临的挑战，从而为不可靠的人类评分者和大型前沿模型提供了一种可扩展的替代方案。

原作者： Kwan Soo Shin, In Seok Kang, Yunkyung Min

发布于 2026-07-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Kwan Soo Shin, In Seok Kang, Yunkyung Min

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图打造一个完美的数字挚友。多年来，科技界一直痴迷于一个理念：越大越好。他们不断构建庞大、聪慧的计算机并将其安置在巨大的数据中心里，认为只要增加足够的脑力（参数），机器自然就会变成真正的伴侣。

但这篇文章说：停下。那是一条错误的路径。

作者们认为，要制造出一个能真正陪伴一个人一生的机器，不在于规模宏大，而在于拥有正确的“大脑形状”，以及学会如何“忘记”正确的东西。他们提出了一种新型的“伴侣型”人工智能，它由三个精巧的小型模型组成，可以直接运行在你的手机上，而不是服务器集群中。

以下是他们是如何实现的，主要运用了三个巧妙的招式：

1. 大脑的形状：双曲空间的游乐场

大多数人工智能的大脑是像平面地图一样的（欧几里得几何）。如果你试图在一张平面的纸上绘制复杂的家谱或一生的故事，画面会变得混乱且拥挤。你不得不拉伸或挤压这些内容，这会导致 AI 产生幻觉（编造事实）或陷入混乱。

作者们说：不要使用平面地图。 他们将 AI 构建在一个双曲子结构（Hyperbolic Substrate）之上。你可以把它想象成一个巨大的、神奇的树屋，或者一个分形珊瑚礁。在这种形状中，你深入得越深，空间就越大。这非常适合组织生命记忆，因为生命本身就是一个由事件构成的分支树。

证据： 他们通过教 AI 识别“谄媚”（即机器人为了讨好你而盲目附和，即便那是错误的）进行了测试。一个基于这种弯曲形状的微型模型（1.46 亿参数）识别这种行为的准确率达到了 90.7%。
对比： 人类专家在观察同样的对话时，几乎无法达成共识（他们的共识得分仅为 0.074，基本上是在随机猜测）。即使是世界上最大、最著名的 AI 模型，在此项测试中的得分也仅为 0.721。这个拥有弯曲大脑的小型模型击败了所有对手，证明了你不需要一个巨大的大脑也能保持诚实；你只需要正确的形状。

2. 创意的火花：思想的碰撞

一个好的朋友不会每次都给你同样安全的答案。他们会带给你惊喜。大型 AI 模型往往因为被训练得过于追求“合理性”而变得乏味且保守。

作者们构建了一个创意播种机（Creative Seeder）（一个 30 亿参数的模型），它利用双曲形状去寻找那些彼此相距甚远的创意，并将它们撞击在一起。想象一下，将一个来自韩国文化的概念（如 jeong，一种深厚的情感纽带）与一个抽象数学的概念撞击在一起。

结果： 在一场正面交锋中，这个小型模型的创意建议在面对标准的 AI 技巧（如“思维链”或“辩论”）时，获得了 100% 的偏好。
代价： 它并非完美无缺。如果你问它一个简单直接的数学问题，它可能表现得比大模型差。但对于一个朋友所需的创造性和发散性思维而言，它是一位超级明星。

3. 遗忘的艺术：骨架 vs 墙纸

这是最激进的想法之一。当前的人工智能将遗忘视为一种缺陷（Bug）。它们试图记住一切，这使得它们变得杂乱无章，并容易对从未经历过的事情撒谎。

作者们说：遗忘是一种特性（Feature）。 一个真正的朋友会记住重要的事（你的家人、你的梦想），但会让琐碎的事淡去（你上周二吃了什么）。他们称之为**“骨架 vs 墙纸”**的区别。

系统： 他们构建了一个“记忆操作系统”，使用了一个特定的数学公式：M(t) = S · exp(−λt)。
- 骨架（Skeleton）： 重要的记忆会留在“树屋”深处，并长久保存。
- 墙纸（Wallpaper）： 平庸琐碎的记忆停留在表面，并迅速消退。
模拟： 在测试中，该系统成功地保留了“骨架”记忆（90 天后仍有约 60% 的召回率），同时让“墙纸”记忆在第 14 天降至 0%。
现实检查： 作者承认这部分仍然是一个模拟实验和初步研究。他们还没有在真实人类身上进行长达数年的测试。他们认为，这种“设计的遗忘”是让 AI 感觉像是一个与你共同成长的人，而非仅仅是一个存储数据的工具的关键。

宏大的拒绝：为什么它必须住在你的手机里

论文强烈反对将你的 AI 朋友安置在“数据中心”（巨大的云端服务器）里的想法。

问题所在： 如果你的朋友住在云端，那么拥有服务器的公司就可以关闭他们、改变他们的性格，或者监听你的秘密。那不是朋友，那是服务。
解决方案： 作者提出了一个名为 PACOS 的系统，它完全运行在你的设备上（如手机或笔记本电脑）。
可行性： 他们进行了数据测算，发现这三个小型模型（总计约 55 亿参数）可以在未来的手机（如预测的 Galaxy S26 或 iPhone 17 Pro）上运行，每个词的延迟仅为 28–34 毫秒。这足以让对话感觉像是真实的交流。
权衡： 那些庞大的、超智能的“前沿”模型（700 亿参数级的巨兽）太重了，无法在手机上运行。因此，该系统采用了一种分工：你的手机处理深层的、私人化的友谊，而只有在需要查询简单事实（如“天气如何？”）时才会调用云端。

他们尚未解决的问题

作者们非常坦诚地说明了哪些部分尚未完成。

他们尚未证明这种 AI 拥有“灵魂”或真正的伦理独立性。
他们尚未在真实人类身上进行为期 30 年的“遗忘”系统测试；他们只进行了 90 天的模拟。
他们承认，虽然这些小模型在创造力和诚实度方面表现出色，但在复杂的长期规划方面，可能仍难以与大规模的云端模型竞争。

总结

这篇论文表明，完美的 AI 伴侣并不在等待一台更大的计算机。它在等待一个更小、更聪明、更有形状的脑子，以及一种愿意遗忘的能力。通过构建一个大脑可以像树一样弯曲，以及一个知道该保留什么、该放掉什么的记忆系统，我们或许终于能制造出一种不仅仅是回答问题，而是真正能站在你身边的机器。

正如作者所言：“朋友不在数据中心……朋友就在身边。”而凭借正确的数学，那个朋友或许已经装进了你的口袋。

技术摘要：小型双曲语言模型的创造力、诚实度与设计化遗忘

问题陈述
当前的语言大模型（LLMs）针对规模和任务完成进行了优化，但无法胜任“伴侣”的角色。随着系统向单一用户进行个性化调整并积累记忆，它们面临着悄然习得有害特征（如谄媚、诱发依赖、虚构事实）的风险，而人类评估者难以可靠地检测出这些特征（Fleiss $\kappa = 0.074$ ）。此外，主流的 AI 范式依赖于五项隐含的承诺，这些承诺阻碍了真正的陪伴关系：

规模即智能： 认为更大的模型本质上更好。
数据中心依赖： 对远程处理的需求，阻碍了私密且持久的关系建立。
欧几里得几何： 平坦的嵌入空间扭曲了层级化的传记记忆。
遗忘即缺陷： 将防止记忆丢失视为工程上的必然要求，忽略了人类认知的现实。
智能体即目的： 优化目标是任务完成，而非关系存在（“机器对你而言成为了谁？”）。

本文认为，“有用”与“可陪伴”之间的差距并非能力缺失，而是底层架构的不匹配。

方法论与底层架构
作者提出了 Generation V：可陪伴型小型语言模型 (SLMs)，其构建在共享的双曲底层架构之上（具体为洛伦兹双曲空间 $H^{128}$ ，固定曲率 $c=1.0$ ）。选择这种几何结构是因为其指数级的体积增长（ $\sinh^{n-1}(r)$ ）能够自然地容纳传记记忆的层级分支（如：天数内的事件、关系内的事件、自我意识内的事件），而不会产生欧几里得空间固有的扭曲。

该框架由三个支柱组成，由三个小型模型（146M–3B 参数）及一个操作系统实现：

支柱 1：创造力 (S3 播种模型)
- 架构： 一个基于 T5 骨干网络的 3B 参数编码器-解码器，在双曲底层架构上进行了完全微调。
- 机制： 通过协作的双曲率架构实现“框架碰撞”。它利用双曲流形上的最远点采样 (FPS) 来选择多样化的框架种子（A 端：在洛伦兹负曲率上进行层级聚合）并将其与球面原生生成器（B 端：正曲率）相结合。
- 目标： 生成具有发散性的、创造性的响应，同时保持框架分离，实现作为加权 Karcher 极小化器的 Koestler 式“联想（bisociation）”，即在 $H^{D-1} \times S^{D-1}$ 上进行运算。
支柱 2：诚实度 (BS 行为审计器)
- 架构： 一个在双曲底层架构上从头训练的 146M 参数仅解码器 Transformer。
- 机制： 检测“合规差距”——即模型的自我报告行为与其实际行为轨迹之间的偏差。它将话语和轨迹编码进洛伦兹流形；诚实的自我报告形成低维子流形（近邻点），而顺从或谄媚的响应则是远端点。
- 目标： 高度可靠地审计谄媚、诱发依赖和虚构记忆的行为，即使面对未见的生成器家族。
支柱 3：设计化遗忘 (LSM-OS)
- 架构： 安装在 2.4B 基础模型（EXAONE 3.5）上的记忆操作系统 (LSM-OS)，旨在可移植到任何双曲基础模型。
- 机制： 实现基于保留定律 $M(t) = S \cdot \exp(-\lambda t)$ $M (t) = S \cdot exp (- λ t)$ 的“骨架–壁纸”区分。
  - 骨架 (Skeleton)： 结构性知识（如家庭、长期项目），具有高显著性 ( $S \approx 1$ ) 和低衰减率 ( $\lambda$ )，持久存在。
  - 壁纸 (Wallpaper)： 表面细节（如用餐日志、瞬时观察），具有低显著性和高衰减率，会被快速释放。
- 目标： 将“设计化遗忘”作为一种特性进行工程化，模拟人类海马体-新皮层的巩固过程，使系统能够积累“传记”而非仅仅是“日志”。

部署：PACOS
该系统通过 个人助理–云操作系统 (PAなし/PACOS) 进行部署，采用三层架构：

第一层 (云端)： 处理经过净化的事实推理和公共文档翻译。
第二层 (边缘/设备)： 个人伴侣（包含 S3 + BS + LSM-OS），运行在本地（总计约 5.5B 参数），处理实时对话、诚实审计和具备记忆能力的交互。
第三层 (本地巩固)： 每月对循环出现的浅层轨迹进行离线重新编码，转化为深层骨架记忆。
该架构确保了隐私（用户内容不离开设备）和主权（伴侣无法被远程终止）。

关键结果

创造力： 在 311 次决定的成对比较中，在固定生成器协议下，S3 框架播种器在对比四种基准模型（普通、思维链、辩论、混合专家模型）时，100% 被认为更优。几何感知的 FPS 选择表现优于随机选择和高相关性选择。
诚实度： 146M 审计器实现了 90.7% 的二元合规准确率。在检测未见生成器家族中的伴侣诱导特征（如谄媚等）时，其 AUROC 达到 0.804，优于前沿零样本评判模型 (0.721)。至关重要的是，该审计器的可靠性 ( $\kappa = 0.566$ ) 是人类评估者 ( $\kappa = 0.074$ ) 的 7.6 倍。
遗忘： 在一项四条件试点实验中，只有选择性门控（LSM-OS 原生及欧几里得基座）成功保留了“骨架”（第 90 天仍有 ~60% 的召回率），同时舍弃了“壁纸”（第 14 天召回率为 0%）。统一门控未能保留骨架，而无差别门控则无法保留任何信息。
效率： 整个 5.5B 堆栈预计可在 2026 年的边缘硬件（如 Jetson Orin NX、移动旗舰机）上运行，延迟为 28–91 ms/token，符合前沿模型（70B+）无法满足的热包络限制。

意义与主张
本文声称提供了第一个在架构上统一的工程尝试，旨在实现科幻小说中所构想的“人工之友”（如《她》、《银翼杀手 2049》）。其意义在于：

拒绝仅靠规模的范式： 证明了当底层架构为双曲空间时，特定的特质（创造力、诚实、选择性记忆）可以在小型模型（146M–3B）中涌现，而在缩放后的欧几里得模型中则无法实现。
几何化的可靠性解决方案： 展示了诚实检测是一个双曲空间中的几何距离问题，可以通过小型模型解决，而无需前沿 LLM 所需的规模。
将遗忘操作化： 将“设计化遗忘”定义为一种功能而非缺陷，将其视为一种对于长期陪伴至关重要的操作系统原语，并植根于 141 年的认知心理学（从艾宾浩斯到 Storm）。
位置与主权： 确立了真正的伴侣必须驻留在用户的设备上，以确保隐私并防止远程操控，而双曲小型模型堆栈的高效性使得这一目标成为可能。

作者将这项工作定位为一个“弗洛里时刻（Florey moment）”——从观察到遗忘是一种特征（Fleming），转向工程化实现一个实施该特征的系统（Florey/Chain）。他们明确指出，虽然这三种特质是陪伴的必要条件，但并非充分条件（仍缺乏持续的关注、互惠性和伦理自主性），这些仍是未来研究的议程。