💻 computer science

DishSeg24k: A Large-Scale Benchmark for Food Segmentation with Stochastic Expert Decoding

本文介绍了 DishSeg24k，这是一个包含 24,096 张图像和 278 个细粒度类别的大规模食物分割基准数据集，以及 FEAST，一种新型 Transformer 模型，该模型利用强化学习引导的混合专家机制（Mixture-of-Experts）和随机专家解码，在复杂的长尾餐饮场景中实现了最先进的性能。

原作者： Yilin Wang, Haochen Shi, Guanyu Chen, Weiqing Min, Jinkai Zheng, Chenggang Yan, Shuqiang Jiang

发布于 2026-08-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yilin Wang, Haochen Shi, Guanyu Chen, Weiqing Min, Jinkai Zheng, Chenggang Yan, Shuqiang Jiang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教会一个机器人通过它的眼睛来理解世界。这个被称为“计算机视觉”的领域，就像是赋予机器一种视觉能力，但带有一个转折：机器人不仅仅是识别出“那里有一只猫”，它还需要在每一部分周围画出完美的轮廓，将耳朵与尾巴分开，再将尾巴与它坐着的垫子分开。这被称为图像分割（image segmentation）。它是自动驾驶汽车识别道路边界与人行道边界，或是医疗扫描仪发现微小肿瘤背后的超能力。然而，尽管机器人在识别汽车和猫方面已经做得相当出色，但在面对一个混乱且美味的问题时，它们仍然感到棘手：食物。

为什么食物对机器人来说如此困难？因为一盘晚餐并不像一辆汽车那样规整；它是一个混乱的拼图游戏。想象一下，一个托盘里盛着米饭、炒牛肉和西红柿，它们挤在一起。米饭接触着牛肉，牛肉接触着西红柿，而且它们都共用同一个盘子。对机器人来说，这只是一个巨大的棕色和红色组成的团块。如果机器人无法分辨牛肉在哪里结束、米饭从哪里开始，它就无法告诉你你吃了多少蛋白质，或者这顿饭花了多少钱。这就是**食物分割（food segmentation）**的挑战：教计算机理清一盘混乱的晚餐，弄清楚每一件食物究竟属于哪个菜肴，并即使在食物堆叠得很高且看起来极其相似的情况下，也能在它们周围画出一条完美的线。

正是在这里，一项新的研究应运而生，它致力于解决世界上最混乱的餐桌问题。由 Yilin Wang 及其同事领导的研究人员意识到，现有的计算机程序之所以失败，是因为它们是在那些单件食物静置于白色桌面上的整洁、完美的照片上进行训练的。然而，现实生活却是一个拥挤的自助餐。为了解决这个问题，他们构建了一个庞大的新训练库，名为 DishSeg24k。这不仅仅是几张照片；它是一个包含 24,096 张图像、112,281 个独立食物项目以及 278 种不同菜肴的集合，所有这些都是在真实的餐厅和食堂中拍摄的。他们甚至加入了一份冗长的稀有地区特色菜清单，以确保机器人不仅能识别米饭或面条等最常见的食物。

但仅仅拥有一个优秀的图书馆是不够的；机器人需要一种新的思考方式。作者提出了一种名为 FEAST（食物专家自适应分割 Transformer）的新方法。把旧的教导机器人的方式想象成一份死板的、循序渐进的说明书：“第一步：观察红色斑点。第二步：假设它是西红柿。”如果机器人在第一步犯了错，它就会陷入僵局。然而，FEAST 将这个过程视为一场由专家团队进行的“二十个问题”游戏。机器人不再遵循单一的直线路径，而是会问自己：“如果这个红点其实是西红柿酱，或者也许是一块牛肉呢？”它会探索不同的可能性，就像侦探尝试不同的理论一样。

为了实现这一点，研究人员在机器人的大脑里配备了一个“专家团队”。想象一群专家：其中一位擅长识别液体酱汁，另一位是脆爽口感的专家，第三位则知道如何处理重叠的盘子。当机器人看到一堆混乱的食物时，它不仅仅是选择一名专家，而是让一个聪明的管理者决定在特定时刻该听取哪些专家的意见。这被称为**混合专家（Mixture-of-Experts, MoE）系统。为了确保这个团队保持平衡，而不是所有人都仅仅认同最常见的食物（如米饭），研究人员使用了受强化学习（Reinforcement Learning）**启发的技巧。这就像教练在团队正确分离出一个棘手的边界时给他们一个击掌（奖励），并在他们感到困惑时温柔地提醒“再试一次”，帮助他们在实时过程中从错误中学习。

结果令人印象深刻。在测试了他们这个新的、混乱的数据集后，这种“专家团队”方法以显著优势超越了以往的最佳方法。在其中一个关键衡量标准中，它将分离食物项目的准确度提高了 3.21%，在另一个标准中提高了 3.68%，在第三个标准中提高了 4.00%。研究人员还在一个较旧且较小的数据集 FoodSeg103 上测试了他们的方法，其表现依然优于竞争对手，这表明这种新的思维方式也可以适用于其他类型的混乱图像。

简而言之，这篇论文不仅仅是给了我们一本更大的食物相册；它还给了机器人一种更聪明、更灵活的方式来观察混乱的晚餐。通过将大规模、真实的数据库与能够探索不同可能性并向专业专家学习的决策系统相结合，作者展示了一条通往让计算机真正理解现实世界中复杂且美味的混沌状态的充满希望的路径。

技术摘要：DishSeg24k 与 FEAST

问题陈述

食物分割对于智能餐饮、饮食评估和食物推荐系统至关重要。然而，现有的基准测试和方法未能解决真实用餐场景中独特的复杂性。作者确定了当前方法难以应对的三个主要挑战：

高密度菜品重叠（Dense Inter-dish Overlap）： 真实的餐食通常涉及多个盛放在共享容器或隔板托盘中的菜品，产生了空间上的重叠与相邻，使得划定单个掩码（mask）变得困难。
细粒度类别相似性（Fine-grained Class Similarity）： 不同类别的菜品往往共享共同的食材（例如，“西红柿炒鸡蛋”和“西红柿炒牛肉”都含有西红柿），这导致即使边界清晰，局部视觉特征也难以区分。
极端的长尾分布（Extreme Long-tail Distributions）： 自然消费频率遵循严重的长尾模式，即常见的主食占据了训练数据的大部分，而罕见的地域特色菜品实例极少，从而使模型向高频类别产生偏差。

包括基于 CNN 的架构和基于查询（query-based）的 Transformer（如 Mask2Former）在内的现有方法，依赖于确定性解码。这抑制了假设的多样性，并限制了在模糊场景下的鲁棒性。此外，标准的混合专家模型（Mixture-of-Experts, MoE）方法在长尾分布下经常遭受“专家崩溃（expert collapse）”的影响，即少数专家占据主导地位，而其他专家未被充分利用。

方法论：FEAST

为了应对这些挑战，作者提出了 FEAST（食物专家自适应分割 Transformer），该框架将基于查询的解码重新表述为一个由强化学习（RL）引导的随机顺序决策过程。

1. 用于查询精炼的 MDP 公式化

FEAST 将 $K$ 个解码层中对象查询（object queries）的渐进式更新建模为一个有限时界马尔可夫决策过程（MDP）：

状态 ( $S$ )： 给定解码层中的对象查询集合。
动作 ( $A$ )： 查询嵌入空间中的连续语义偏移。
转移（Transition）： 一个确定性的残差更新，其中新查询是当前查询与动作之和（ $q_{k+1} = q_k + a_k$ ）。
目标： 学习一种随机策略，允许查询在收敛之前探索多个可能的语义假设，而不是遵循单一的确定性轨迹。

2. 随机 MoE 策略网络

解码器中的标准前馈网络（FFN）被替换为 MoE 模块，以处理异构的食物纹理：

架构： 由一个共享专家（捕捉任务无关的原语）和 $E_r$ 个路由专家（专注于特定类别的模式）组成。
解耦路由： 路由器使用停止梯度（stop-gradient）算子将查询分配给专家，以防止路由梯度将查询特征偏向于路由器特定的特征而非任务相关的特征。
随机采样： 策略网络输出动作的高斯分布，允许在训练期间进行探索。在推理阶段，则使用均值。

3. 解耦双评论家优化（Decoupled Dual-Critic Optimization）

为了在长尾分布下稳定训练并防止专家崩溃，FEAST 引入了一个具有两个独立评论家（critics）的双奖励结构：

任务奖励 ( $r_{task}$ )： 评估掩码质量（Dice）和分类置信度的增量改进。它通过类别频率的平方根倒数进行加权，以解决长尾偏差问题。
结构奖励 ( $r_{struct}$ )： 评估路由器的负载均衡效率（专家激活的熵和均匀度），该评估独立于掩码质量。它作为一个打破僵局的机制，旨在鼓励多样化的专家使用，而不干扰分割质量。
优化： 查询策略通过针对冻结的参考策略（预训练的 Mask2Former）进行 KL 正则化的策略梯度进行优化；而路由策略则通过使用结构优势（structure advantage）的 REINFORCE 进行优化。

核心贡献

DishSeg24k 数据集： 一个大规模基准数据集，包含 24,096 幅图像、112,281 个实例和 278 个细粒度类别。它构建自真实的用餐场景（包括中式和西式风格），具有高实例密度、严重的菜品间重叠以及长尾分布特征。该数据集包含严格的多阶段质量控制和层次化标注。
FEAST 框架： 一种新型解码器架构，将查询更新视为经由 RL 优化的 MDP。它集成了一个 MoE 解码器和解耦的双评论家方案，旨在同时提升不确定性感知掩码精炼和结构感知专家路由的能力。
全面评估： 在 DishSeg24k 上进行了广泛实验，将 FEAST 与 13 种代表性方法（包括基于 CNN、逐像素 Transformer 和基于查询的模型）进行对比，并在 FoodSeg103 数据集上进行了验证以证明其泛化能力。

实验结果

DishSeg24k 上的表现

FEAST 在所提出的基准测试中达到了最先进的性能：

ResNet-50 主干网络： FEAST 在 mIoU、mDice 和 mAcc 指标上分别超过最强基线（Mask2Former）3.21%、3.68% 和 4.00%。
Swin-B 主干网络： FEAST 实现了 55.07% mIoU、74.26% mDice 和 63.36% mAcc。
消融研究：
- MoE 解码器提供了最大的单项增益（+3.03% mIoU）。
- RL 引导对于将随机扰动转化为受控探索至关重要，从而带来了最终的性能提升。
- 双评论家优化被证明是必要的；部分 RL 配置并不稳定，而联合配置相比仅有 MoE 的基线提升了性能。
- 当专家数量为 4 时达到最优性能；增加到 8 个专家会导致性能下降，原因是信号碎片化。

FoodSeg103 上的泛化性

FEAST 在 FoodSeg103 数据集（食材级标注）上进行了验证：

使用 ResNet-50 时，其 mIoU 比 Mask2Former 提高了 1.47%。
使用 Swin-B 时，其 mIoU 比 FDSNet 提高了 2.92%。
这些结果证实，RL 引导的 MoE 解码策略能够泛化到 DishSeg24k 特定的挑战之外。

意义

本文声称，处理食物分割中的语义纠缠不仅需要更强的表示能力，还需要动态推理。通过从确定性的查询精炼转向随机的、由 RL 引导的过程，FEAST 有效地管理了由菜品重叠和细粒度类别相似性引起的歧义。DishSeg24k 的引入为未来的研究提供了一个必要的试验场，因为现有的基准测试无法捕捉真实用餐场景中的组合复杂性。这项工作表明，将面向任务的精炼与面向结构的路由解耦，是训练在长尾、高度重叠的数据分布上具有鲁棒性的模型的有效策略。