AquiLLM: An Architecture for Supporting Tacit Knowledge Capture in Research Groups

想象一群科学家在实验室里共同工作，就像一支在车库里即兴演奏的乐队。他们有他们的乐谱（发表的论文）和他们的乐器（数据），但真正的魔力发生在那些未被记录的混乱时刻：内部笑话、“别碰那个旋钮”之类的警告，以及他们随手创造的巧妙捷径。这被称为隐性知识（tacit knowledge）——即那些你因为实践过而掌握，而非通过阅读获得的知识。通常，当一名乐队成员离开时，这些秘密知识也会随之流失。

为了解决这个问题，科学家们正尝试使用**人工智能（AI）**来充当这些团队的“超级记忆”。把 AI 想象成一个非常快速、非常聪明的图书管理员，他能瞬间读完图书馆里的每一本书。然而，大多数这类“图书管理员”都由大公司拥有。这产生了一个问题：如果你向公司的图书管理员提问，他们可能会保留你的问题副本，用于训练他们的下一个图书管理员；或者他们可能不会向你展示他们是如何找到答案的。对于需要能够核查工作并保持数据私密的科学家来说，这是不可接受的。他们需要一个可以由自己构建、放在自己地下室里、并能完全信任的图书管理员。

这就是 AquiLLM 出现的地方。这是一个全新的开源工具，专为研究小组捕捉那些混乱且难以言说的知识而设计。论文描述了团队如何升级 AquiLLM，使其更像是一个生活在研究小组自己的电脑上的、得力的本地研究助手。它不是将数据发送到云端，而是使用了**检索增强生成（RAG）**技术。把 RAG 想象成一个系统，AI 不仅仅是根据自己的大脑进行猜测；相反，它会先跑到特定的书架旁，抓取所需的精确页面，然后朗读这些页面来回答你的问题。这确保了 AI 始终遵循团队拥有的事实，而不是凭空捏造。

论文作者不仅仅是构建了一个基础版本；他们根据真实的科学家（如天体物理学家）实际需求对它进行了重大改造。他们增加了让系统能够“看到”图像和图表的功能，而不只是阅读文本，并赋予了它一种“记忆”能力，使其能够记住你是谁以及之前聊过什么，而不会混淆不同的项目。他们还确保了系统的模块化，这意味着你可以像更换机器人的大脑或眼睛一样，在不重建整个机器人程序的情况下更换组件。

论文指出，这些升级使系统在处理真实科学中复杂、视觉化和协作性的本质方面表现得更好。然而，作者也谨慎地指出，虽然该系统在查找文档中的事实方面表现出色，但在被要求跨多个不同来源比较信息，或者当“记忆”变得过于拥挤时，仍然会遇到一些困难。他们还没有证明它是完美的，只是展示了它是一个很有前景的步骤，旨在实现尊重隐私并帮助团队保护集体智慧的 AI。

重大升级：从笨拙的机器人到聪明的实验室伙伴

那么，团队究竟对 AquiLLM 做了什么？把原始系统想象成一个虽然乐于助人但略显笨拙的机器人。它会说话，但速度慢，看不见图片，有时还会忘记你五分钟前告诉它的事情。新版本就像是给这个机器人进行了大脑移植、换上了新眼睛并配了一个私人笔记本。

1. “本地大脑”与“本地图书馆”
最大的变化是所有事情都发生在研究小组自己的电脑上。团队通过使用开源权重模型，取代了对昂贵的外部商业服务的使用需求。想象一下，与其为了解决一个问题而去请教一位昂贵且著名的外部顾问，不如你在家里就有一位才华横溢的本地家教。这位家教（AI 模型）是免费使用的，而且你拥有他们记录的所有笔记。团队专门选择了像 Qwen3.6-27B 用于聊天，以及 Qwen3-VL 用于观察图像的模型。他们还将外部搜索工具替换成了本地工具，这意味着 AI 的“搜索引擎”部分也住在研究小组的地下室里，而不是企业的云端。这保证了敏感数据（如未发表的研究或私人笔记）完全不会接触互联网。

2. 赋予 AI “眼睛”（多模态能力）
科学不仅仅关乎文字，还关乎图表、恒星的照片和图解。旧系统在处理这些方面表现挣扎。现在的 AquiLLM 可以“看见”了。它使用了一个多模态模型，可以观察一张图表的图像，理解线条的含义，并像人类一样对其进行讨论。这就像是从一个只能阅读菜单的机器人，升级到了一个可以观察盘中食物并告诉你味道如何的机器人。这对于需要讨论论文中的插图，而无需用文字描述每一个像素点的研究人员来说意义重大。

3. “个人记忆”对比“共享笔记本”
最酷的新功能之一是记忆层。想象你正在和朋友聊天。你不希望每次说“你好”时都要重新解释一遍你的一生。新系统有两种类型的记忆：

• 稳定事实（Stable Facts）： 这就像一张永久身份证。它记得你的名字、你最喜爱的研究课题以及你的语气。
• 情景记忆（Episodic Memory）： 这就像是你近期聊天的日记。如果你昨天询问了一个特定的星团，AI 今天仍会记得那个语境。
  至关重要的是，这种记忆对用户和项目是私有的。它不会与其他人的数据混淆。论文指出，这种记忆是可选的，并且必须手动开启，因为存储过多信息会导致混乱。如果记忆失效，系统会退回到仅依赖文档模式，因此不会导致整个对话崩溃。

4. “技能”与“技能包”
这是一种教导 AI 如何适应特定团队的聪明方法。想象一个新实习生加入实验室。他们需要了解特定的规则：“始终用蓝色绘制数据”或“在运行实验前检查此清单”。在新系统中，这些规则被打包进**技能（Skills）**中。当研究人员开始关于特定项目的对话时，AI 会自动加载该项目的“技能包”。这就像 AI 根据正在交谈的对象戴上不同的帽子。光谱学团队得到一套指令，而光度学团队得到另一套，两者互不干扰。

5. “智能图书管理员”（上下文打包）
AI 对一次能阅读的内容量是有限制的（其“上下文窗口”）。如果你给它一整座图书馆，它可能会感到不知所措。团队添加了一个**显著性感知上下文打包（salience-aware context packing）**系统。可以将它想象成一位极其高效的图书管理员，他准确知道针对你提出的问题，书中的哪些页面是最重要的。系统不是简单地随机截断书的结尾，而是对信息进行排序：“这句话至关重要”、“这张图像相关”、“这条旧的聊天消息可以被总结”。它使用了一个名为 LLMLingua-2 的工具来压缩文本而不丢失含义，从而允许 AI 在不崩溃的情况下，将更多重要信息装入大脑。

现实检验：哪些地方仍然棘手？

作者对该系统目前不能做到的事情非常坦诚。他们并不声称这是一个万能药。

• 它是混合型的： 该系统仍然是新旧代码的混合体。有些部分可以在本地计算机上完美运行，而有些部分仍设置为云端模式。这可能会导致一些奇怪的故障，比如系统根据处于哪种“模式”而表现出不同的行为。
• 记忆延迟： 由于记忆更新是在后台进行的（为了保持聊天速度），所以存在微小的延迟。如果你在告诉 AI 新信息后立即提问，它可能还没来得及“听到”。
• “隐性知识”测试： 团队在天文论文等正式文档上测试了该系统，表现良好。但他们承认，尚未对更混乱的内容进行充分测试，比如 Slack 消息、会议纪要或代码注释。他们认为，捕捉这种非正式的、“隐性”的知识是下一个重大挑战。
• 速度与智能的权衡： 系统很快，但有时必须在速度和准确性之间做出选择。如果计算机显存（VRAM）耗尽，它必须放慢速度或舍弃部分信息。

总结

AquiLLM 是科学研究领域迈出的重要一步。它不再将 AI 视为由大公司拥有的黑箱，而是将其带回研究人员手中。通过使系统实现本地化、多模态和具备记忆能力，它尊重了科学研究的隐私和工作流程。论文表明，虽然它还不完美，但它是一个强大的原型，有助于在研究人员流动过程中，完整地保存研究小组的集体智慧。这虽然不是一个已解决的问题，但它是未来协作科学的一个极具前景的雏形。