TME LLM OS: A Closed-Loop Systems Engineering Architecture for Epistemic Correction in AI Agent Systems Systems Engineering Proposal
本文提出了 TME LLM OS,这是一种闭环系统工程架构,它通过整合结构化审查、溯源追踪和门控执行,在安全发布前解决受限情节内的失配问题,从而将人类的理论-机制-经验(Theoretical-Mechanistic-Experiential)框架应用于强化 AI 智能体的认识论修正。
原始论文采用 CC BY 4.0 许可(https://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
现代人工智能在生成文本、编写代码和规划复杂任务方面已变得异常出色。这些系统通过基于大量过往案例预测下一个词或动作来工作,创造出一种流畅的思想流,往往让人感觉像是人类的思维。然而,一个持久的问题依然存在:当这些系统在早期犯错时,它们往往会变本加厉地坚持错误。它们可以围绕一个错误的假设编织出一个令人信服的故事,不断精炼其内部逻辑,直到这个错误看起来更加确定,同时也离真相越来越远。这是因为生成答案的过程与检查答案的过程并没有紧密结合在一起。系统产生一个结果,然后只有稍后——通常是通过用户指出错误——它才会意识到出了问题。到那时,机器已经继续前行,在不稳固的基础之上构建了一长串推理链。
研究人员现在正在询问,我们是否可以为这些机器构建一种不同类型的架构,一种模仿生物如何处理不确定性和纠错能力的架构。核心思想是将思考的行为与决定说话或行动的行为分离。在人类经验中,存在一个停顿的时刻,我们可以审视自己的想法,将其与事实进行核对,并决定是否准备好分享它们。本文提出了一种系统设计,旨在将这种“停顿”引入机器的操作逻辑中。它建议,对于一个真正的可靠的人工智能代理而言,必须将每一项任务视为一个有界的“片段”(episode),具有清晰的开始、中间的自我检查环节,以及一个严格的闸门,防止任何输出在通过特定的准确性测试之前离开。
这项名为 TME LLM OS 的提案来自独立学者伊兰·坎德(Ilan Kander),它概述了一种组织大型语言模型运行软件的新方法。该名称代表“理论-机械-经验”(Theoretical-Mechanistic-Experiential)框架,该框架区分了信息的原始处理过程与对该信息的自觉意识。作者认为,虽然目前的 AI 系统在处理数据方面非常出色,但它们缺乏一种特定的内部机制,能在错误变成最终行动之前停下来、进行审查并自我纠正。该论文并不声称已经制造出了有意识的机器,也没有试图解决人类思维之谜。相反,它提供了一个具体的工程蓝图,用于构建一个能够实时捕捉自身错误的系统,就像飞行员在起飞前进行清单检查一样,确保不会跳过任何关键步骤。
该提案的核心创新在于“片段”(episode)的概念。在目前的系统中,对话或任务通常只是一个连续的数据流。如果系统在第一句话中犯了错,它可能会试图在第二句话中修复它,但它往往无法回溯并检查错误的原始来源。TME LLM OS 通过为每个任务创建一个专门的工作空间来改变这一点。这个工作空间保存着原始请求、信息的来源以及系统解决问题的尝试历史。当系统生成一个候选答案时,它不会立即发布。相反,它进入一个“反射性延迟”(reflective delay),即一个程序化的停顿,在此期间,系统将自己的输出视为一个待检验的对象。
在停顿期间,系统会执行一系列目前大多数 AI 架构中所缺失的检查。它将信息的来源与其自身的解释分离开来。它会询问证据是否支持该主张,可能缺少哪些信息,以及是否存在其他理解情况的方式。这个过程被称为“二次分割”(secondary segmentation),即系统将其自身的思维过程分解成不同的部分,以观察它们在逻辑上是否契合。如果系统发现其生成的內容与所持有的事实之间存在不匹配,它不会仅仅向前推进。它会循环回溯,收集更多信息,并再次尝试。这个循环会持续进行,直到拟议的答案与已知事实之间的差异落在安全且可接受的范围内。
论文强调,这并不是关于让机器变得更聪明(即掌握更多事实)。机器的基础智能保持不变。改变的是机器使用智能的方式。目前,AI 系统经常遭受作者所称的“过度思考漂移”(overthinking drift)的影响。当一个系统生成的文本在内部逻辑一致但在事实上错误时,就会发生这种情况,因为它已经脱离了原始证据。通过强制系统停下来并将内部思想与外部世界进行对比,TME LLM OS 旨在防止这种漂移。该系统旨在始终牢记任务的“核心关注点”(governing concern),确保所采取的每一步都与原始目标相关,并植根于可靠的数据。
该设计的一个关键部分是区分两种类型的纠错。第一种发生在当前的任务内部,即瞬时纠错。如果系统在写报告时意识到自己使用了错误的数字,它可以立即修正,而无需更改其基本编程。这是一种运行时纠错(runtime correction)。第二种纠错发生在较长的时间跨度内。如果系统在许多不同的任务中反复犯同一种错误,该信息会被保存并用于更新系统的长期记忆或其底层规则。这确保了机器在学习其错误的同时,不会在单次对话中变得不稳定或产生不可预测的行为变化。
该提案还解决了安全与控制的问题。在许多现有系统中,用户必须手动干预才能阻止机器做出危险或错误的举动。TME LLM OS 在架构中内置了一个“受控释放闸门”(controlled release gate)。这个闸门充当最终的检查点。在执行任何代码、采取任何物理行动或发布任何文本之前,系统必须通过最终审查。如果系统无法验证该行动是安全且正确的,它将不会释放输出。相反,它会要求更多信息、为答案添加警告说明,或者将任务移交给人类操作员。这创建了一个内置于机器自身决策过程中的安全网,而不是依赖外部观察者来捕捉每一个错误。
作者谨慎地指出,该系统并不声称能够复制人类意识。论文明确将机器的功能组织与人类的生命体验区分开来。机器并不会“感觉到”需要自我纠正;它只是遵循一套要求其检查工作的规则。目标不是创造一个有生命的机器,而是创造一个可靠的机器。通过将机器的操作组织进一个包含反射与纠错的循环中,该系统变得更加稳健,能够应对目前困扰人工智能的各类错误。
论文将这种新架构与主要技术公司和研究实验室使用的现有系统进行了对比。虽然那些系统拥有强大的推理和规划工具,但它们往往缺乏那种能将信息来源与机器解释区分开来的特定组织结构。TME LLM OS 提出,通过增加这种结构,我们可以改进机器从错误前提中恢复的能力,减少用户不断纠正它们的需求,并降低正确完成任务的总成本。作者认为,衡量成功的真正标准不仅是机器工作的速度有多快,还在于它第一次尝试时得到正确答案的频率,以及它处理复杂任务时的安全性。
最终,这项提案是关于如何构建更好 AI 的一个假设。它表明,人工智能进化的下一步不仅仅是让模型变得更大或更强大,而是让它们的内部过程变得更加严谨。通过引入反射性的停顿和释放的严格闸门,TME LLM OS 旨在创造出不仅有能力而且值得信赖的代理。论文总结道,虽然该系统并未解决意识之谜,但它为构建能够自我纠错、保持现实感并在现实世界中安全运行的机器提供了一条切实可行的路径。这项工作目前仍是一个提案,是一套关于新型机器架构的指令,尚未经过充分测试并与目前正在使用的最先进系统进行对比。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。