📈 economics
Testing Decision Makers without Counterfactuals
本文研究了外部观察者是否能够仅凭观察到的决策与建议，在决策者与顾问之间识别出信息更优的一方，并证明了虽然评分测试可以在同步决策场景下成功区分信息更优的一方，但在顺序决策场景下不存在此类测试，且任何旨在识别信息更优方的测试都不可避免地会牺牲大量的潜在福利。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一场高风险的游戏节目，两名参赛者——船长（决策者）和顾问（建议者）——正试图证明谁对这座神秘迷雾岛屿了解得更多。
每天，他们必须选择走哪条路径前往岛屿。
- 船长选择一条路径并走下去。观众能看到确切发生的情况（是发现了黄金，还是掉进了坑里？）。
- 顾问向船长低声建议另一条不同的路径。如果船长忽略了建议并选择了另一条路，观众永远不会看到那条路径上会发生什么——它只是一个“如果”的情景，是一条未竟之路的幽灵。
观众想知道：到底谁更聪明？ 谁拥有更好的地图？
这篇论文探讨的是：我们能否设计一个记分板（一种“测试”），仅通过观察船长的实际选择和顾问的建议，就能正确选出胜者，即便我们无法看到顾问那些“幽灵路径”的真实情况？
以下是该论文研究结果的拆解，使用了简单的类比：
1. “同步”游戏：当双方同时发声时
想象一个游戏，船长和顾问在任何人移动之前，同时喊出他们的选择。
- 结果： 是的，我们可以找到聪明的那一个。
- 诀窍： 论文提出了一个特定的记分板。如果他们选择了相同的路径，船长将根据结果的好坏获得积分。如果他们选择了不同的路径，船长则会根据结果受到惩罚（扣分）。
- 为什么有效： 更聪明的人（对岛屿了解更多的人）可以预测对方的动作，并操纵游戏以赢得积分。而没那么聪明的人则会陷入混乱并输掉比赛。
- 代价： 为了在这个记分板游戏中获胜，船长可能会停止做出对岛屿福祉最有利的选择。他们可能会开始为了赢取测试分数而“玩策略游戏”，哪怕这意味着偶尔会走进坑里。
2. “顺序”游戏：当一人对另一人做出反应时
现在，想象一种不同的规则：船长先选一条路径，然后顾问看到后建议另一条替代方案。
- 结果： 不，我们无法找到聪明的那一个。
- 原因： 顾问总能“伪装”。由于顾问在看到船长的选择之后才发言，他们总能建议一条看起来似乎会更好、但实际上可能毫无意义的路径。因为观众从未见过顾问的路径（因为船长没有走那条路），所以顾问永远无法被证明是错的。这个“幽灵路径”过于强大；它允许信息匮乏的人躲在船长的选择背后。
- 例外情况： 在一个非常特定且微小的场景下（“安全路径”对比“冒险路径”），我们确实可以分辨出他们，但前提是顾问必须先说话。如果船长先说话，在这种特定情景下，顾问仍然可以隐瞒真相。
3. 巨大的权衡：正确 vs. 善良
这是论文最关键的警告。
- 困境： 公众有两个目标：
- 识别出最聪明的领导者（以便日后聘用他们）。
- 在今天获得最好的结果（以便岛屿的安全与繁荣）。
- 坏消息： 你无法两者兼得。
- 类比： 想象你在评判一位厨师。你想知道谁是最好的厨师（即“更有见识”的人）。但如果你设置了一个测试，强迫厨师们通过玩游戏来证明自己是最优秀的，他们可能会停止烹饪美味的食物，转而开始烹饪“古怪”的食物，仅仅是为了赢得测试。
- 数学证明： 论文证明，在一个只有两个选项的世界里，如果你设计的测试能够成功识别出最聪明的人，你所能达到的最好结果，也仅仅是让船长的决策表现得不比抛硬币好多少。
- 如果你试图强迫船长做出“好”的决策，测试就会失效，无法识别出聪明的人。
- 如果你强迫测试识别出聪明的人，船长就会做出“坏”的决策来赢得测试。
关于“如果”问题的总结
论文强调了在无法观察到替代方案时，去评判决策的一个根本性缺陷。
- 朱迪亚·珀尔（Judea Pearl）的语录： 论文以珀尔的话开头，他说“如果”推理是不科学的，因为你无法观察到另一种可能性。
- 论文结论： 因为我们无法看到“如果”（顾问未被选择的路径），策略型玩家（船长和顾问）可以操纵记分板。
- 如果他们同时行动，我们可以识破骗子，但船长会表现得很拙劣。
- 如果他们先后行动，骗子可以隐藏得如此之深，以至于我们根本无法识破他们。
简而言之：你可以建立一个寻找最聪明之人的测试，但这样做很可能会让那个人在现实世界中表现得愚蠢。或者，如果他们按照特定的顺序行动，你可能根本无法找到那个聪明的人。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。