🤖 machine learning

Fairness-Aware Mixture-of-Experts via Subgroup Reweighting and Gate Regularization

本文提出了一种端到端的公平性感知混合专家（Fairness-Aware Mixture-of-Experts）框架，该框架通过结合子群重加权与门控熵正则化，以确保专家利用的平衡性并保持具有竞争力的预测性能，从而缓解由路由引起的偏差以及不同人口统计群体间的性能差异。

原作者： Sunhee Hwang

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sunhee Hwang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能领域，计算机正在学习以媲美人类视觉的清晰度来观察世界。它们可以在瞬间识别面孔、分类医学影像并识别物体。然而，随着这些系统从研究实验室走向现实世界的应用，一个隐蔽的缺陷浮出了水面。由于用于教导它们的数据往往反映了人类社会的这种不均衡性，导致生成的模型在某些群体身上的表现优于其他群体。一个系统可能能以极高的准确率识别一名年轻男性的面孔，却在识别老年女性时表现得十分吃力，仅仅是因为训练数据中包含的这类前者的照片要多得多。这并非代码中的漏洞，而是数据本身的反映：当计算机从不均衡的信息“饮食”中学习时，它会产生一种扭曲的世界观。

多年来，研究人员一直试图通过教导计算机忽略年龄或性别等敏感细节，或者通过手动调整数据使其更加均衡来解决这一问题。然而，一项新研究表明，这些传统的修复方法忽略了一个更深层的问题，特别是在使用一种被称为“混合专家模型”（mixture of experts）的特定高级架构时。这种方法旨在提供灵活性，允许模型将不同的输入路由到不同的专业化子网络中，就像医院将患者引导至最合适的专科医生一样。研究人员发现，当数据不平衡时，这种路由系统可能会无意中学习到将特定群体的人群发送给特定的专家，从而有效地隔离了模型的内部逻辑，并强化了它本应解决的偏见。

东洋未来大学的研究员黄顺熙（Sunhee Hwang）致力于诊断并纠正这一隐藏的失效。该研究聚焦于一个名为 FAMoE 的框架，即“公平感知混合专家模型”（Fairness-Aware Mixture-of-Experts）。要理解这个问题，首先必须了解这些模型是如何工作的。混合专家模型并非强迫每一张图像都经过单一且僵化的路径，而是使用一个“门控”（gate）来决定由哪几个内部专家来处理特定的输入。在一个运作良好的系统中，这个门控应该根据图像的视觉内容来进行路由。然而，黄顺熙发现，当训练数据不平衡时——例如，如果年轻男性的照片远多于老年女性——门控就会学会一种捷径。它开始根据照片中人物的敏感属性而非实际任务来进行路由。这种被作者称为“路由诱导偏见”（routing-induced bias）的现象，导致某些专家过度承担了特定的统计特征群体，而其他专家则处于闲置状态，从而创造了一个标准公平性方法无法察觉的新层面的不公平。

为了解决这个问题，团队提出了一个直接作用于训练过程的两部分策略。首先，他们调整了数据样本本身的重要性。通过增加那些稀有属性组合（例如具有特定面部特征的老年女性）的权重，模型被迫关注那些它原本会忽略的群体。这确保了学习信号对每个人都是强有力的，而不仅仅是对多数人而言。其次，或许更为关键的是，他们在门控中加入了一条规则，以防止它变得过于可预测。在标准设置中，门控可能会学会总是将某一类人发送给某一个特定的专家。新方法引入了一种惩罚机制，鼓励门控更均匀地分配决策，确保没有任何一个专家被特定的统计特征群体所垄断。这保持了模型内部路由的平衡，并且重要的是，保持了其可解释性。

该方法的成果在大型面部图像数据集上进行了测试，其目标是在预测某些属性的同时，确保跨性别和年龄组的公平性。研究发现，这种新方法在不牺牲系统整体准确性的情况下，显著缩小了不同群体之间的性能差距。事实上，该模型在实现“公平”与“正确”之间的平衡方面，比许多现有的技术（包括那些依赖复杂多步训练过程的技术）表现得更好。或许最令人瞩目的发现不仅是数字上的提升，更是解决方案的透明度。由于路由机制现在变得平衡了，研究人员实际上可以通过观察门控的决策，来看模型是如何对待不同群体的。在传统模型中，公平性往往是一个黑箱；而在这种模型中，路由分布就像一扇窗户，展示了模型如何分配其资源。

这项工作凸显了一个至关重要的洞察：修复人工智能中的偏见，往往需要观察模型是如何做出决策的，而不只是看它学到了什么。通过解决模型路由信息的方式，研究人员能够防止系统对某些群体产生隐藏的偏好。该研究表明，当你纠正数据不平衡并确保内部路径对所有人保持开放时，模型自然会变得更加公平。它提醒我们，在追求智能系统的过程中，数据在机器中所经过的路径与数据本身同样重要。

技术摘要：通过子集重加权与门控正则化实现公平感知混合专家模型

问题陈述

深度学习模型经常在由敏感属性（如性别、年龄）定义的统计群体间表现出性能差异。这种不公平性通常源于训练数据的不平衡，即特定的目标标签与敏感属性的组合在数据中代表性不足。因此，模型会针对多数子集进行优化，导致在少数交集子集上的欠拟合。

虽然现有的公平性方法通常分为两类，但它们各面临不同的局限性：

两阶段方法将表示学习与预测任务分开学习，这可能导致公平性目标与下游预测之间出现失调。
单阶段方法通常依赖于共享的表示空间。虽然它们同时优化公平性和准确性，但共享空间难以捕捉不同子集的异质特征，往往会在缓解偏差与预测性能之间被迫进行权衡。

此外，作者识别了一种针对混合专家模型（Mixture-of-Experts, MoE）的此前未被充分探索的失效模式，称为路由诱导偏差（routing-induced bias）。在标准的 MoE 架构中，子集不平衡会导致门控网络将路由决策与敏感属性相关联。这导致特定的子集几乎被排他性地路由到少数几个专家，使得其他专家利用率低下。这种偏差对于假设使用单体共享表示的传统公平性方法来说是不可见的。

方法论：FAMoE 框架

作者提出了 FAMoE（公平感知混合专家模型），这是一个旨在诊断并纠正路由诱导偏差的端到端框架。该架构由一个共享骨干编码器、 $N$ 个专家网络和一个门控网络组成。

1. 架构

共享骨干（Shared Backbone）： 从输入图像中提取特征表示 $z$ 。这确保了性能差异可以归因于 MoE 组件而非特征提取的变化。
专家网络（Expert Networks）： 每个专家 $E_i$ 独立处理 $z$ 以生成专家特定的对数几率（logit） $o_i$ 。
门控网络（Gating Network）： 基于 $z$ 计算路由向量 $g$ ，确定每个专家的权重。最终预测是专家输出的加权聚合。

2. 核心组件

为了解决识别出的偏差，FAMoE 集成了两个特定的机制：

子集重加权（Subgroup Reweighting）： 为了对抗数据不平衡，训练过程会根据联合子集 $(y, s)$ 的规模分配与之成反比的权重，其中 $y$ 是目标标签， $s$ 是敏感属性。这是通过加权二元交叉熵损失（ $L_{cls}$ ）实现的，确保了代表性不足的子集在梯度更新中贡献更多。
门控熵正则化（Gate Entropy Regularization）： 为了防止门控网络将路由决策坍缩到特定子集上（这会导致专家垄断），作者在损失函数中引入了一个熵正则化项（ $H(g)$ ）。
- 与侧重于计算效率的常规负载均衡不同，这种正则化专门旨在保持路由分布的可解释性。
- 通过鼓励更高的熵，该方法防止任何单一专家被特定子集所垄断，确保路由权重能够反映出在整个人群中均衡分配专家容量。

总损失函数定义为：
$L = L_{cls} - \lambda_{ent}H(g)$
其中 $\lambda_{ent}$ 控制正则化的强度。

主要贡献

识别路由诱导偏差： 本文识别了 MoE 模型中的一种特定失效模式，即子集不平衡驱动门控网络将路由与敏感属性相关联，从而导致专家利用率倾斜。
FAMoE 框架： 提出了一种结合子集重加权与门径熵正则化的端到端解决方案。该方法在纠正路由偏差的同时，保持了条件计算的灵活性。
通过路由实现可解释性： 作者证明了路由分布是一个可解释的诊断工具。与在“黑盒”共享空间中实现公平性的单体模型不同，FAMoE 允许检查子集是如何分配到各个专家的。
实证验证： 该方法在 CelebA 数据集的多种设置下，展示了在提升公平性-准确性权衡方面的能力。

实验结果

所提方法在 CelebA 数据集上进行了评估，采用了各种目标属性和敏感属性（例如：吸引力、大鼻子 vs 男性、年轻）的二分类任务。

指标： 使用等化赔率（Equalized Odds, EO）、准确率（Accuracy）以及公平-准确性权衡得分（FATS）来衡量性能。
对比： 将 FAMoE 与基准模型（ResNet-18）、标准 MoE 以及最先进的公平性方法（包括像 GRL、MFD 这样的单阶段方法，以及像 FD-VAE、FairCL 这样的两阶段方法）进行了比较。
发现：
- 公平性： 在大多数目标/敏感属性组合中，FAMoE 取得了最低的 FATS 得分（表明其平衡性更好）。例如，在以“男性”作为敏感属性的“吸引力”任务中，FAMoE 的 EO 为 4.1，而标准 MoE 为 13.3，MFD 为 7.4。
- 准确性： 该方法保持了具有竞争力的预测准确性，避免了公平性约束模型中常见的显著性能下降。
- 消融实验： 移除子集重加权或门径熵正则化中的任何一个，都会导致更高的 EO 得分，这证实了这两个组件对于充分缓解偏差和恢复准确性都是必要的。
- 专家利用率： 对门控权重的分析显示，标准 MoE 表现出明显的偏斜（某些专家被特定子集主导），而 FAMoE 则产生了更平衡的路由权重分布。

意义与主张

本文认为，解决 MoE 中的公平性问题不仅仅需要标准的表示学习；它还需要对专家利用率进行显式管理。这项工作的意义在于：

纠正特定的失效模式： 它解决了路由诱导偏差，这是一个存在于条件路由中的问题，而基于共享表示的现有公平性方法无法检测或修复此问题。
增强可解释性： 通过正则化路由分布，模型提供了一个透明的子集级行为视图。这种“路由级可解释性”提供了单体模型所缺乏的关于公平性机制的洞察。
整体优化： 该框架表明，通过共同应对数据不平衡和路由动态，可以实现比解耦或单阶段方法更优的公平性-准确性权衡。

作者得出结论，显式考虑专家利用率不仅对于提高公平性指标至关重要，而且对于使模型的决策过程更加透明和可解释也至关重要。