🤖 machine learning

Fairness under uncertainty in sequential decisions

本文针对序贯决策中因历史排斥和选择性反馈导致的不平等不确定性问题，提出了一种涵盖模型、反馈与预测不确定性的分类体系，并通过形式化分析与实验证明，通过不确定性感知的探索策略可在保障机构目标的同时降低弱势群体的结果方差，从而为诊断和治理算法公平性风险提供了关键框架。

原作者： Michelle Seng Ah Lee, Kirtan Padh, David Watson, Niki Kilbertus, Jatinder Singh

发布于 2026-04-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Michelle Seng Ah Lee, Kirtan Padh, David Watson, Niki Kilbertus, Jatinder Singh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文探讨了一个非常现实且棘手的问题：当我们在做一系列连续的决定时（比如银行放贷、招聘、医疗诊断），如果我们对某些人的情况“心里没底”（不确定性），而且这种“没底”的程度对不同人群是不一样的，该怎么办？

为了让你轻松理解，我们可以把这篇论文的核心思想想象成**“在一个迷雾笼罩的森林里寻找宝藏”**。

1. 核心场景：迷雾森林与寻宝者

想象你是一位寻宝者（决策者/银行），你的任务是给探险者（申请人）发通行证，让他们去挖宝藏（获得贷款）。

目标：你要尽可能多地找到宝藏（赚钱），同时确保公平，不能因为偏见而漏掉好人。
迷雾（不确定性）：森林里有雾。你只能看到一部分探险者挖到了什么，但对于那些你没发通行证的人，你永远不知道如果他们去了，会不会挖到宝藏。 这就是“反事实”的未知。

2. 问题出在哪里？“被遗忘的角落”

在传统的做法中，寻宝者通常只看那些已经发过通行证的人的表现。

现状：历史上，某些群体（比如少数族裔或贫困人群）因为被歧视，很少被发过通行证。
后果：
- 对于主流群体（以前经常发通行证的人），迷雾很淡，你知道他们大概率能挖到宝藏，所以你很自信。
- 对于边缘群体（以前很少发通行证的人），迷雾非常浓。因为你没给他们机会，你完全不知道他们能不能挖到宝藏。
恶性循环：因为迷雾太浓，寻宝者不敢给边缘群体发通行证（怕亏本）。结果，他们依然没有数据，迷雾更浓了。这就叫**“选择性反馈”导致的“不确定性不平等”**。

3. 论文的三大贡献：给迷雾分类、制定新规则、尝试新地图

这篇论文没有发明一个全新的“魔法算法”，而是做了一件更基础但更重要的事：给“不确定性”画了一张分类地图，并教我们如何聪明地探索。

A. 给不确定性“分门别类”（分类法）

作者把森林里的迷雾分成了几种类型，就像给不同的天气状况贴标签：

世界的不确定性：我们到底想要什么样的公平？（比如，我们要纠正历史遗留的不公吗？）
数据的不确定性：我们的地图（数据）是不是画歪了？（比如，地图里是不是漏画了某些区域？）
测量的不确定性：我们的指南针（特征）准不准？
模型的不确定性：我们的寻宝策略（算法）是不是最优的？
预测的不确定性：对某个人，我们有多大的把握？（边缘群体的迷雾通常更浓）。
反馈的不确定性：这是最关键的——如果我们没发通行证，那个人会成功吗？ 这是一个永远无法直接看到的“平行宇宙”。

B. 提出新策略：不要“盲目猜”，要“有策略地试”

传统的做法是：只要迷雾太浓，就绝对不发通行证。
论文建议的做法是：既然边缘群体的迷雾是因为“没给过机会”才产生的，那我们就应该专门针对这些“迷雾浓”的地方进行“有策略的探索”。

比喻：想象你在玩一个游戏，系统告诉你：“这个区域（边缘群体）的数据很少，所以我不确定。”
- 旧做法：因为不确定，所以我不去那里，只去我知道安全的区域。结果：那个区域永远被遗忘。
- 新做法（不确定性感知探索）：既然那里不确定，我就故意多派几个人去那里试试（给予贷款），哪怕风险稍微高一点。
- 目的：不是为了“施舍”，而是为了消除迷雾。一旦我们知道了他们其实能挖到宝藏，迷雾就散了，以后就能更公平、更准确地做决定。

C. 实验结果：双赢

作者用电脑模拟了这种“有策略的探索”。

结果：他们发现，通过这种专门针对“不确定性高”的群体进行探索，不仅让边缘群体获得了更多机会（更公平），而且寻宝者（银行）赚的钱并没有减少，甚至因为发现了被埋没的宝藏而赚得更多。
关键点：这不需要强行规定“必须给多少人贷款”（这可能会违反法律或显得像歧视），而是通过承认“我不确定”，从而主动去消除这种不确定。

4. 为什么要关心这个？（现实意义）

法律风险：如果算法因为“不敢尝试”而一直拒绝某类人，导致他们永远无法翻身，这可能违反反歧视法。
商业智慧：如果你因为“看不清”而拒绝了一个其实很优质的客户，你不仅失去了客户，还失去了赚钱的机会。
社会公平：很多算法的“偏见”其实不是算法故意作恶，而是因为数据缺失导致的“看不清”。这篇论文告诉我们，承认“看不清”并主动去“看清”，才是解决公平问题的关键。

总结

这就好比一个老师给学生打分。

旧模式：只给那些以前成绩好的学生发试卷，因为知道他们能考好；不给那些以前没机会考试的学生发试卷，因为“怕他们考不好”。结果：差生永远没机会证明自己，老师也永远不知道他们其实很聪明。
新模式（论文建议）：老师意识到“我不知道他们考得怎么样”是因为“没给他们机会”。所以，老师特意给这些学生发一些试卷（探索），哪怕可能会有一些波动。通过这种方式，老师消除了“不知道”的迷雾，最终发现很多差生其实很优秀，既公平了，也挖掘出了更多人才。

这篇论文的核心就是：在充满未知的决策中，不要害怕“不确定性”，而要把“消除不确定性”本身当作一种追求公平和效率的手段。

这篇论文《Fairness under uncertainty in sequential decisions》（序贯决策中的不确定性公平性）由 Michelle Seng Ah Lee 等人撰写，发表于 FAccT '26。文章针对机器学习在序贯决策（Sequential Decision Making）场景中，由于不确定性分布不均而导致的公平性问题，提出了一套分类学框架和缓解策略。

以下是对该论文的详细技术总结：

1. 研究背景与问题定义 (Problem)

核心问题：现有的公平机器学习（Fair ML）研究主要集中在监督学习（静态预测）上，但许多现实应用（如信贷审批、招聘、医疗）是在线且序贯的。在这些场景中，过去的决策会影响未来的数据收集（选择性反馈），且每个决策都是在不确定性下做出的（例如，银行无法知道被拒绝的贷款申请人如果获得贷款是否会违约）。
关键痛点：
- 不确定性分布不均：历史上被边缘化的群体（如少数族裔、低收入人群）往往数据较少（代表性偏差），导致模型对他们的预测不确定性更高。
- 反馈循环：由于“选择性标签”（Selective Labels），决策者只能观察到被批准案例的结果，而忽略了被拒绝案例的潜在结果（反事实结果）。如果模型因为对某群体不确定性高而拒绝他们，会导致该群体数据进一步缺失，形成恶性循环，加剧不平等。
- 法律与治理风险：强化学习（RL）中的探索（Exploration）机制引入随机性，可能在个体层面违反反歧视法律（如给予相似特征的人不同结果），且现有的监督学习公平指标无法捕捉序贯决策中随时间累积的不公平。

2. 方法论与框架 (Methodology)

2.1 不确定性分类学 (Taxonomy of Uncertainty)

作者提出了一个涵盖机器学习全生命周期的不确定性分类框架，将其分为六类，并特别关注后三类在序贯决策中的交互作用：

世界观不确定性 (World)：关于何种不平等应被纠正的主观判断。
数据收集不确定性 (Representation)：训练数据相对于目标人群的偏差（代表性偏差）。
特征工程不确定性 (Measurement)：特征是否能准确测量决策目标。
模型不确定性 (Model Uncertainty)：当前模型参数与“真实”最优策略之间的差距（全局不确定性）。
预测不确定性 (Prediction Uncertainty)：针对特定个体的预测置信度差异（局部不确定性）。边缘化群体通常具有更宽的预测分布。
反馈不确定性 (Feedback Uncertainty)：由于决策导致部分结果不可观测（反事实结果缺失）。这是序贯决策特有的“已知未知”。

2.2 形式化定义

效用函数：作者重新定义了效用函数，不仅包含观测到的收益/损失（已批准贷款的表现），还包含未观测到的收益/损失（被拒绝贷款如果获批可能产生的结果）。
$u = d(y_1 g - (1-y_1)l) + (1-d)((1-y_1)g - y_1 l)$
其中 $d$ 是决策变量， $y_1$ 是潜在结果（是否还款）， $g$ 和 $l$ 分别是收益和损失。
目标：最大化包含反事实项的期望效用，而非仅仅最大化观测到的利润。

2.3 缓解策略与算法

作者提出了一种**不确定性感知探索（Uncertainty-aware Exploration）**机制，旨在通过主动探索“不确定区域”来减少偏差，而不需要显式的公平约束（如 demographic parity）。

基础模型：使用逻辑回归作为基线，利用 Delta 方法计算预测概率的置信区间。
探索策略对比：
1. Naïve Exploration：在不确定区域随机探索。
2. Weighted Exploration：根据预测概率加权采样。
3. Uncertainty-aware Exploration：仅在预测置信区间与决策阈值重叠的区域进行采样（即针对高不确定性个体进行探索）。
4. Counterfactual Utility Maximization：通过端到端优化，直接最大化包含反事实项的可微效用函数。这允许模型在训练时“想象”被拒绝案例的结果，从而调整决策边界。

3. 实验设置与结果 (Experiments & Results)

数据：使用合成数据生成器（基于 Baumann et al. 的框架），模拟了历史偏差、测量偏差和代表性偏差等不同场景。数据包含时间维度（季度），模拟序贯决策过程。
对比方法：Naïve（无探索）、Naïve Exploration、Uncertainty-aware、Prob-weighted、Counterfactual Utility。
主要发现：
1. 公平性提升：在存在历史偏差和测量偏差的情况下，反事实效用最大化（Counterfactual Utility Maximization）和不确定性感知探索显著改善了公平性指标（如选择率差异、FPR/FNR 差异），特别是对于受保护群体（ $A=0$ ）。
2. 效用无损：这些方法在提升公平性的同时，没有牺牲（甚至略微提升了）决策者的总利润。这是因为通过探索被错误拒绝的高价值申请人，银行获得了原本错过的收益。
3. 偏差敏感性：随着测量偏差的增加，传统方法（Naïve）的公平性急剧恶化，而考虑不确定性的方法保持了稳健性。
4. 机制验证：实验证明，仅仅通过考虑“未观测空间”（Unobserved Space）和不确定性，而不引入显式的群体偏好约束，就能有效缓解由反馈循环引起的累积不平等。

4. 主要贡献 (Key Contributions)

不确定性分类学：首次为序贯决策系统提供了一套结构化的不确定性分类词汇（模型、预测、反馈不确定性），帮助从业者、审计师和监管者识别不公平风险的来源。
形式化“不确定性下的公平”：利用反事实逻辑和强化学习技术，将反馈不确定性形式化，揭示了不确定性如何通过选择性反馈在群体间累积并导致系统性排斥。
实证演示：通过模拟实验证明，不确定性感知的探索策略可以在不牺牲机构目标（如预期效用）的前提下，显著改善历史劣势群体的结果。这为无需显式公平约束的公平性设计提供了新路径。
治理与法律视角：讨论了 RL 在现实部署中的法律风险（如随机性导致的个体歧视），并提出通过管理不确定性而非单纯依赖随机探索来平衡合规性与性能。

5. 意义与影响 (Significance)

理论意义：将公平性研究从静态的监督学习扩展到动态的序贯决策领域，强调了“不确定性”本身可能是导致不公平的结构性驱动因素，而不仅仅是噪声。
实践意义：
- 为高风险领域（金融、司法、医疗）的算法审计提供了新工具：不仅要看模型准确率，还要检查不同群体的预测置信度分布和反馈缺失情况。
- 提供了一种“温和”的干预手段：通过调整探索策略来应对数据偏差，比强制性的配额制度（Affirmative Action）在法律和伦理上可能更具可接受性。
政策启示：呼吁监管机构和决策者在设计自动化决策系统时，必须显式地考虑不确定性分布的不平等，并建立相应的治理框架来管理探索过程中的风险。

总结：该论文指出，在序贯决策中，忽视不确定性（特别是对边缘化群体的高不确定性）会导致算法加剧社会不公。通过引入反事实推理和不确定性感知的探索机制，可以在不牺牲经济效益的前提下，有效打破“数据缺失 - 高不确定性 - 被拒绝 - 更缺数据”的恶性循环，实现更公平的序贯决策系统。