Anticipating Innovation Using Large Language Models
本文介绍了 TechToken，这是一种基于 Transformer 的模型，通过分析专利语言中的集体演变来提前数十年检测即将出现的技术组合的早期信号，从而改进创新预测，并在专利相关任务中超越最先进模型。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在试图预测一场惊喜派对。在派对发生的那一刻之前，你无法确切知道谁会出席，或者他们会带来什么礼物。但是，如果你仔细倾听派对前几周发生的对话，你可能会注意到一种模式：人们开始谈论相同的话题，使用类似的玩笑，并围绕相同的想法进行规划。即使还没有人正式发出邀请，这个群体的语言已经发生了转变，为活动做好了准备。
本文认为，创新也是以同样的方式运作的。
核心观点：创新是一种“语言转变”
通常，我们将一项新发明（例如将相机和手机结合在一起的智能手机）视为突然的“尤里卡！”时刻。但作者指出，在两项技术于专利中真正结合之前，发明家们谈论它们的方式就已经开始融合了。
将技术想象成不同的方言。多年来，“电池技术”和“触摸屏技术”可能一直由不同的人群在不同的房间里用完全不同的语言交流。但是，在它们真正被粘合到新产品中之前的数年，这两个房间里的发明家就开始使用相似的词汇、隐喻和句式结构。“邻近可能”（即下一个重大事物）在成为众人的呐喊之前，早已在专利的集体语言中留下了低语。
问题所在：旧地图与新 GPS
以往的方法试图通过查看一张简单的地图来预测这些组合：“这两件事同时出现的频率有多高？”这就像试图通过只数雨滴来预测风暴。这种方法太慢，且错过了风中微妙的变化。
其他方法试图阅读专利文本，但它们将技术代码（例如 IPC 代码，这就像是发明的图书馆目录编号）视为静态标签。它们没有理解，代码的含义会根据其所讲述的故事而改变。
解决方案：TechToken（“翻译”模型）
作者构建了一种名为TechToken的新 AI 工具。以下是其工作原理，使用一个简单的类比：
想象一个图书馆，每本书都有一个特殊的标签（即 IPC 代码）。
- 旧方法： 你收集所有带有“电池”标签的书，阅读它们，然后对“电池”的含义做出一个巨大而模糊的总结。你失去了细微差别。
- TechToken 方法： AI 学习到，“电池”标签实际上是其词汇表中的一个单词，就像“苹果”或“跑”一样。它阅读标签周围的故事。它了解到，在关于电动汽车的故事中，“电池”意味着一件事，而在关于心脏起搏器的故事中，它意味着略有不同的东西。
通过教导 AI 将这些技术代码视为句子中的单词，它能够理解发明的语境。它学会了，当围绕“电池”的语言开始听起来更像围绕“太阳能电池板”的语言时，一种组合即将到来。
他们的发现
- 信号出现得很早： 作者发现，这种“语言融合”发生在实际发明之前的几十年。他们甚至能在两项技术在专利中正式结合之前长达 20 年的时间里看到信号上升。
- 这是一项集体努力： 你无法在单份专利中或通过倾听一位发明家的声音找到这种信号。只有当你倾听成千上万位发明家的整个合唱时，它才会显现。这是世界对技术思考方式的集体转变。
- 效果更好： 当他们将 TechToken 与其他大型 AI 模型（包括像 LLaMA 这样巨大的模型）进行测试时，TechToken 胜出。它能够更准确地预测新的组合，尽管它是一个更小、更高效的模型。这证明了理解技术代码的语境比仅仅拥有一个庞大的事实数据库更重要。
为什么这很重要
该论文得出结论，“邻近可能”并非无声无息。它在我们撰写和谈论发明的方式中留下了可阅读的踪迹。通过倾听发明家的集体语言，我们可以在提交第一份专利之前很久就看到未来的雏形。
简而言之： 创新不仅仅是关于制造新事物；它是关于世界在制造这些事物之前很久，就开始用同一种语言谈论它们。TechToken 是终于学会倾听这场对话的工具。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。