LifeSentence: Language models can encode human life course trajectories from longitudinal panel data
本文介绍了 LifeSentence，这是一个拥有 240 亿参数的语言模型，它通过将大语言模型与纵向面板数据相结合，将生命事件表示为结构化的自然语言记录，从而在预测人类生命结局和揭示社会分层模式方面显著优于传统方法。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，仅凭一份包含其重大人生里程碑的清单——何时开始上学、何时获得第一份工作、何时结婚、何时有了孩子或何时生病——就试图预测一个人完整的人生轨迹。几十年来，科学家们一直试图用标准的数学和统计学来做到这一点，但这就像是试图通过仅仅计算“the”这个词出现的次数来理解一部复杂的长篇小说。你会错过情节、时机以及事件之间的联系。
这篇论文介绍了一种全新的“人生故事 AI”——LifeSentence，它通过将人类的一生视为一本用自然语言编写的书籍，解决了这个问题。
以下是它的工作原理，通过简单的概念进行分解：
1. 问题所在：“数据 vs. 故事”的差距
把传统的生命研究（如本文使用的德国社会经济面板数据）想象成一个巨大的电子表格。它有 65,000 人的行，以及关于他们的工作、婚姻和健康问题的列。
- 旧 AI（深度学习）： 为了从中学习，你通常需要一个像整个互联网一样庞大的图书馆（数百万人的数据）来教计算机什么是“人生”。但我们只有 6,5000 人的数据。这就像试图通过只给孩子看 65,000 个句子来教他们写小说；他们会感到困惑。
- 新方法（LifeSentence）： 研究人员并没有从零开始，而是采用了一个已经阅读了互联网上数万亿词汇的超级聪明 AI（一个“预训练”模型）。这个 AI 已经知道“高中毕业”通常发生在“获得工作”之前，并且“有了孩子”通常会改变一个人的工作时间表。
2. 解决方案：将电子表格转化为故事
研究人员没有向 AI 输入原始数字。相反，他们将每一个生命事件转化成了一个句子。
- 不再是：
事件 ID: 402, 年份: 1998, 年龄: 22 - 而是写成： “在 1998 年，此人在 22 岁时开始了一份全职护士工作。”
通过这样做，AI 可以利用其现有的“世界知识”来理解单词的“含义”（如“护士”或“婚姻”），然后只需学习这些特定的句子如何连接起来形成独特的传记。这就像是给一位经验丰富的编辑一份人生故事的草稿并请他完成这本书，而不是要求一个机器人从头开始发明这个故事。
3. 它能做什么？（18 项任务测试）
研究人员让 LifeSentence 通过了一场严苛的“期末考试”，包含 18 种不同类型的题目，以测试它究竟是真正理解了人生，还是仅仅在瞎猜。
- “下一章”测试： 给定一个人直到 30 岁的历史，它能否猜出接下来会发生什么？
- 结果： 它比之前的任何模型都表现得更好。它正确猜测事件的“类型”以及发生“时间”的准确率约为 35%，这相比旧模型（大约在 10-15% 左右）是一个巨大的飞跃。
- “整本书”测试： 它能否写出一个人从 20 岁到去世的余生？
- 结果： 可以。它创建了现实的人生路径，包括按正确顺序排列的上学、工作、结婚、育儿和退休。旧模型经常陷入循环（例如：“结婚，结婚，结婚”）或者完全遗漏重大事件。
- “侦探”测试： 研究人员秘密地从一段人生故事中删除了几个事件，并要求 AI 找出缺失的部分或识别不属于其中的虚假事件。
- 结果： LifeSentence 在这方面表现出色。它知道“服兵役”通常发生在特定的顺序之后，也知道“离婚”通常不会发生在“结婚”之前。即使没有日期，它也能重建时间线，这证明它理解了人生的“逻辑”，而不仅仅是日期。
4. “神奇”的发现：无需教导的学习
这是最令人惊讶的部分。研究人员并没有告诉 AI 关于“男性通常比女性挣得多”或“大学毕业生赚得更多”之类的社会规则。他们只是向它喂入了原始的故事。
然而，当 AI 生成人生故事时，它自然地重现了这些现实世界的模式：
- 教育溢价： AI 故事中那些读过大学的人，随着时间的推移，自然比那些没读过大学的人赚得更多。
- 母职惩罚： AI 发现，当一个女性的故事中有了孩子，她的收入往往会下降且恢复缓慢，而一个在类似故事中的男性，其收入则会持续上升。
- 性别差距： 它自然地重现了男女之间的工资差距。
它之所以能做到这一点，仅仅是因为它注意到在它阅读的 65,000 个真实故事中，这些事件（大学、性别、生育）总是与特定的收入水平同时出现。它仅仅通过阅读故事就学会了社会的“模式”。
5. 为什么这很重要
LifeSentence 扮演着**“穿越时空的传记作家”**的角色。
- 它是一个预测器： 它能比以往任何时候都更好地预测未来的生命事件。
- 它是一个“假设”机器： 因为它理解自然语言，你可以问它一些奇怪的问题，比如：“给我展示一个这个人 55 岁退休的人生故事，”或者“将这段早期历史与 60 岁时的某种诊断联系起来。”
- 它非常高效： 它仅凭 65,000 人的数据就实现了这些结果，而之前的“超级 AI”方法需要数百万人的数据。它是一个更小、更智能的工具，利用“群体智慧”（预训练）来理解较小的数据集。
简而言之： LifeSentence 是一个将人类生命视为故事进行阅读的工具，它理解情节和角色，并能预测故事可能如何展开，同时仅通过阅读页面就能学习到社会隐藏的规则。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。