Experimentally Validated Digital Twins: Evaluating Workforce Training Programs in the Age of Big Data
本文表明,基于大规模行政数据训练的机器学习模型可以构建“经实验验证的数字孪生体”,从而准确评估劳动力培训项目的效果,其误差率可与随机对照试验相媲美,同时揭示了项目有效性在不同地点和时间段内的显著差异。
原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
几十年来,衡量一个项目是否真正有效的金标准一直是随机对照试验(randomized controlled trial)。在这种方法中,研究人员选取一组人,通过掷硬币的方式决定谁接受新服务,谁不接受,然后比较结果。由于分配是随机的,任何结果上的差异都可以自信地归因于项目本身,而不是因为那些报名参加的人本身更有动力或拥有更好的工作。这种方法已成为现代政策的基石,指导着从教育到职业培训等各个领域的决策。然而,运行这些试验既昂贵又缓慢,而且对于存在的每一个项目来说往往是不可能实现的。因此,许多项目在缺乏严谨证据的情况下运作,使得决策者只能猜测其投资是在提供帮助还是在造成伤害。
传统的替代方案是观察性数据(observational data),即比较那些选择加入项目的人与那些没有加入的人。但历史表明这是一条危险的道路。因为选择加入的人与那些远离项目的人在某些无法被研究者察觉的方面(如内在驱动力或家庭支持)存在差异,简单的比较往往会产生误导性的结果。多年来,共识一直是:如果没有随机试验,你就无法信任这些数字。然而,这篇论文在海量数据的时代重新审视了这一结论。研究人员提出了一个简单的问题:如果我们能够获取每一位美国成年人的完整工作和税务记录,并结合强大的计算机模型,我们能否构建出一个如此精确的“虚拟版本”的人,使其表现得就像一个随机对照组?
由哈佛大学和机遇洞察(Opportunity Insights)组织的经济学家领导的团队,通过使用职业培训项目这一具体案例来测试这个想法。他们收集了一个庞大的数据集,其中包含 3.27 亿美国人的税务记录,追踪了他们从 1999 年到 2025 年的收入情况。他们将这些记录与超过 10 万名参与过各种就业培训计划的人员信息联系起来。研究人员并没有像过去那样试图在小型调查中为每个参与者寻找完美的匹配对象,而是利用机器学习构建了一个复杂的预测模型。该模型通过学习全人口的数据,来预测如果该参与者从未参加过该项目,其收入将会是多少。研究人员将这些预测称为“数字孪生”(digital twins)——即参与者的统计学替身,代表了他们在未接受培训时可能出现的情况。
为了验证这些数字孪生是否有效,研究人员需要一个基准。他们转向了 37 个现有的、在 2000 年至 2019 年间进行的就业培训项目随机试验。这些试验提供了经过实验验证的真实答案,即参与者的实际收入与被随机分配到未参加组的人相比的情况。研究人员随后将他们的数字孪生方法应用于这些相同的群体。他们要求计算机模型根据参与者的过往工作史、人口统计特征以及居住地来预测其收入,然后将这些预测值与随机试验的实际结果进行比较。
结果令人震惊。数字孪生所做的预测与随机试验的结果高度吻向一致,精度极高。计算机估算值与真实实验结果之间的差异非常微小,甚至可以与随机试验本身存在的自然统计噪声相媲美。事实上,数字孪生的估算误差甚至略小于随机试验的误差,这主要是因为计算机模型可以接触到更广泛的数据池进行学习。研究人员发现,过去依赖小型调查和简单数学的方法所产生的误差,比这种方法高出两倍多。成功的关键不仅在于拥有更多数据,还在于使用灵活的计算机模型来处理人类生活的复杂性,例如追踪一个人多年间的收入变化以及跨行业的变动。
在验证了该方法后,研究人员将其用于观察那些从未进行过随机试验的地区和时期的就业培训项目。他们发现,这些项目的成功并非一个固定数值;它因项目所在地和开展年份的不同而产生剧烈波动。例如,一个名为 Year Up United 的特定项目就显示出了巨大的结果差异。在某些城市或某些年份,该项目使参与者的年收入增加了 1al2,000 美元以上;而在其他地点或年份,这一增幅则小得多。这些差异超出了随机偶然的可能性,表明一个项目的有效性在很大程度上取决于当地条件以及该项目在特定时间的运行方式。
研究还揭示了是什么促成了这些项目的成功。收入增长最大的项目不仅仅是教授技能,它们还积极地将参与者安置到实习岗位和特定高薪行业的职位中。研究人员发现,一个项目在将人员安置到这些目标行业工作的能力上越强,其带来的收入增益就越高。此外,这些收益并非暂时性的。即使在项目结束两年后仍能看到显著收入增长的参与者,在十年甚至十五年后依然比其数字孪生赚得更多。即使在 90% 的参与者最终离开最初工作的情况下,这种持续性依然存在。数据表明,这些项目不仅仅是让人获得一份薪水;它们是将人们推向了一条职业阶梯,无论他们最终在哪里工作,这条阶梯都能带来长期的回报。
作者总结道,虽然随机试验仍然是验证这些方法准确性的重要工具,但大数据时代已经改变了项目评估的格局。现在,即使在缺乏正式实验的情况下,构建能够提供可靠、近乎实时的证据(以判断项目是否奏效)的“数字孪生”已成为可能。这种方法允许决策者观察一个项目在特定城市或年份的表现,而不是仅仅依赖于多年前在另一处进行的试验所给出的单一平均值。研究结果表明,通过利用丰富的数据和灵活的模型,我们可以超越关于“观察性数据是否值得信任”的旧有争论,转而利用这些数据去理解使干预措施成功或失败的具体细节。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。