💻 computer science

DishSeg24k: A Large-Scale Benchmark for Food Segmentation with Stochastic Expert Decoding

Cet article introduit DishSeg24k, un benchmark à grande échelle pour la segmentation de la nourriture comprenant 24 096 images et 278 catégories fines, ainsi que FEAST, un nouveau modèle transformer qui exploite un mélange d'experts guidé par l'apprentissage par renforcement et un décodage d'experts stochastique pour atteindre des performances de pointe dans des scénarios de restauration complexes et à longue traîne.

Auteurs originaux : Yilin Wang, Haochen Shi, Guanyu Chen, Weiqing Min, Jinkai Zheng, Chenggang Yan, Shuqiang Jiang

Publié 2026-08-07

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yilin Wang, Haochen Shi, Guanyu Chen, Weiqing Min, Jinkai Zheng, Chenggang Yan, Shuqiang Jiang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot à comprendre le monde à travers ses yeux. Ce domaine, appelé vision par ordinateur, est comme donner à une machine la capacité de voir, mais avec une nuance : au lieu de simplement reconnaître qu'« il y a un chat », le robot doit dessiner un contour parfait autour de chaque partie de ce chat, séparant son oreille de sa queue, et sa queue du tapis sur lequel il est assis. C'est ce qu'on appelle la segmentation d'image. C'est le super-pouvoir qui permet aux voitures autonomes de savoir où la route s'arrête et où le trottoir commence, ou aux scanners médicaux de repérer une minuscule tumeur. Mais alors que les robots deviennent plutôt doués pour repérer des voitures et des chats, ils sont toujours en difficulté face à un problème salissant et délicieux : la nourriture.

Pourquoi la nourriture est-elle si difficile pour un robot ? Parce qu'une assiette de dîner n'est pas comme une voiture ; c'est un puzzle chaotique. Imaginez un plateau avec du riz, du bœuf sauté et des tomates, tous entassés ensemble. Le riz touche le bœuf, le bœuf touche les tomates, et ils partagent tous la même assiette. Pour un robot, c'est juste une énorme masse brune et rouge. Si le robot ne peut pas dire où le bœuf s'arrête et où le riz commence, il ne peut pas vous dire quelle quantité de protéines vous avez consommée ou combien votre repas vous a coûté. C'est le défi de la segmentation de la nourriture : apprendre à un ordinateur à démêler un dîner désordonné, à déterminer exactement quelle partie appartient à quel plat, et à dessiner une ligne parfaite autour de celui-ci, même lorsque les plats sont empilés et semblent suspectement similaires.

C'est là qu'intervient une nouvelle étude, s'attaquant aux tables les plus désordonnées du monde. Les chercheurs, dirigés par Yilin Wang et ses collègues, ont réalisé que les programmes informatiques existants échouaient parce qu'ils étaient entraînés sur des photos nettes et parfaites de plats uniques posés seuls sur une table blanche. La vraie vie, cependant, est un buffet bondé. Pour corriger cela, ils ont construit une nouvelle bibliothèque d'entraînement massive appelée DishSeg24k. Ce n'est pas seulement quelques photos ; c'est une collection de 24 096 images contenant 112 281 articles alimentaires distincts et 278 types différents de plats, tous capturés dans de vrais restaurants et cantines désordonnés. Ils ont même inclus une longue liste de spécialités régionales rares pour s'assurer que le robot n'apprenne pas seulement à reconnaître les aliments les plus courants comme le riz ou les nouilles.

Mais avoir une excellente bibliothèque ne suffit pas ; le robot a besoin d'une nouvelle façon de penser. Les auteurs ont proposé une nouvelle méthode appelée FEAST (Food Expert-Adaptive Segmentation Transformers). Pensez à l'ancienne façon d'enseigner à un robot comme à un manuel d'instructions rigide et étape par étape : « Étape 1 : Regardez la tache rouge. Étape 2 : Supposez que c'est une tomate. » Si le robot fait une erreur à l'étape 1, il est coincé. FEAST, cependant, traite le processus comme une partie de « 20 questions » jouée par une équipe d'experts. Au lieu de suivre un chemin unique et droit, le robot se demande : « Et si cette tache rouge était en fait de la sauce tomate, ou peut-être un morceau de bœuf ? » Il explore différentes possibilités, tel un détective testant différentes théories.

Pour faire fonctionner cela, les chercheurs ont donné au robot une « équipe d'experts » à l'intérieur de son cerveau. Imaginez un groupe de spécialistes : l'un est excellent pour repérer les sauces liquides, un autre est un expert des textures croquantes, et un troisième sait comment gérer les assiettes qui se chevauchent. Lorsque le robot voit un tas de nourriture confus, il ne choisit pas simplement un expert ; il laisse un gestionnaire intelligent décider quels experts écouter pour ce moment précis. C'est ce qu'on appelle un système de Mélange d'Experts (MoE - Mixture-of-Experts). Pour s'assurer que cette équipe reste équilibrée et ne se contente pas de tous être d'accord sur l'aliment le plus commun (comme le riz), les chercheurs ont utilisé une technique inspirée de l'Apprentissage par Renforcement. C'est comme un entraîneur donnant un « tape sur l'épaule » (une récompense) à l'équipe lorsqu'elle sépare correctement une limite difficile, et un doux « réessaie » lorsqu'elle est confuse, l'aidant ainsi à apprendre de ses erreurs en temps réel.

Les résultats sont impressionnants. Testée sur leur nouveau jeu de données désordonné, cette approche par « équipe d'experts » a battu les meilleures méthodes précédentes par une marge significative. Elle a amélioré la précision de la séparation des aliments de 3,21 % dans une mesure clé, de 3,68 % dans une autre, et de 4,00 % dans une troisième. Les chercheurs ont également testé leur méthode sur un ancien jeu de données plus petit appelé FoodSeg103, et elle est restée plus performante que la concurrence sur ce dataset également, suggérant que cette nouvelle façon de penser pourrait fonctionner pour d'autres types d'images désordonnées.

En bref, ce document ne nous donne pas seulement un plus grand album photo de nourriture ; il donne aux robots une façon plus intelligente et plus flexible de regarder un dîner désordonné. En combinant un ensemble de données massif et réaliste avec un système de prise de décision capable d'explorer différentes possibilités et d'apprendre grâce à une équipe d'experts spécialisés, les auteurs ont montré une voie prometteuse vers des ordinateurs capables de véritablement comprendre le chaos complexe et délicieux d'un repas du monde réel.

Résumé technique : DishSeg24k et FEAST

Énoncé du problème

La segmentation de la nourriture est cruciale pour l'alimentation intelligente, l'évaluation diététique et les systèmes de recommandation alimentaire. Cependant, les benchmarks et les méthodes existants ne parviennent pas à traiter les complexités uniques des scènes de restauration réelles. Les auteurs identifient trois défis primaires auxquels les approches actuelles sont confrontées :

Chevauchement dense entre les plats : Les repas réels impliquent souvent plusieurs plats servis dans des contenants partagés ou des plateaux compartimentés, créant des chevauchements spatiaux et des adjacences qui rendent difficile la délimitation des masques individuels.
Similarité de classe à grain fin : Différentes classes de plats partagent souvent des ingrédients communs (par exemple, la tomate dans les « œufs brouillés à la tomate » et le « bœuf sauté à la tomate »), ce qui conduit à des caractéristiques visuelles localement indiscernables même lorsque les limites sont claires.
Distribution à queue longue extrême : Les fréquences de consommation naturelles suivent un schéma de queue longue sévère où les aliments de base courants dominent les données d'entraînement tandis que les spécialités régionales rares ont peu d'instances, biaisant les modèles vers les classes fréquentes.

Les méthodes existantes, y compris les architectures basées sur les CNN et les Transformers basés sur les requêtes (par exemple, Mask2Former), reposent sur un décodage déterministe. Cela supprime la diversité des hypothèses et limite la robustesse dans les scènes ambiguës. De plus, les approches classiques de mélange d'experts (Mixture-of-Experts, MoE) souffrent souvent d'un « effondrement des experts » sous des distributions à queue longue, où quelques experts dominent tandis que d'autres sont sous-utilisés.

Méthodologie : FEAST

Pour relever ces défis, les auteurs proposent FEAST (Food Expert-Adaptive Segmentation Transformers), un cadre qui reformule le décodage basé sur les requêtes en un processus de décision séquentiel stochastique guidé par l'apprentissage par renforcement (RL).

1. Formulation MDP pour le raffinement des requêtes

FEAST modélise la mise à jour progressive des requêtes d'objets à travers $K$ couches de décodeur comme un processus de décision de Markov (MDP) à horizon fini :

État ( $S$ ) : L'ensemble des requêtes d'objets à une couche de décodeur donnée.
Action ( $A$ ) : Un décalage sémantique continu dans l'espace d'embedding de la requête.
Transition : Une mise à jour résiduelle déterministe où la nouvelle requête est la somme de la requête actuelle et de l'action ( $q_{k+1} = q_k + a_k$ ).
Objectif : Apprendre une politique stochastique qui permet aux requêtes d'explorer plusieurs hypothèses sémantiques plausibles avant de converger, plutôt que de suivre une trajectoire déterministe unique.

2. Réseau de politique MoE stochastique

Le réseau de propagation vers l'avant (Feed-Forward Network, FFN) standard dans le décodeur est remplacé par un module MoE pour gérer les textures de plats hétérogènes :

Architecture : Composée d'un expert partagé (capturant les primitives indépendantes de la tâche) et de $E_r$ experts routés (spécialisés dans les motifs spécifiques aux catégories).
Routage découplé : Un routeur assigne les requêtes aux experts en utilisant un opérateur de stop-gradient pour empêcher les gradients de routage de biaiser les caractéristiques de la requête vers des caractéristiques liées au routeur plutôt qu'à la tâche.
Échantillonnage stochastique : La politique réseau produit une distribution gaussienne sur les actions, permettant l'exploration pendant l'entraînement. À l'inférence, la moyenne est utilisée.

3. Optimisation par double critique découplée

Pour stabiliser l'entraînement sous des distributions à queue longue et prévenir l'effondrement des experts, FEAST introduit une structure de récompense double avec deux critiques indépendants :

Récompense de tâche ( $r_{task}$ ) : Évalue les améliorations incrémentielles de la qualité du masque (Dice) et de la confiance de classification. Elle est repondérée par l'inverse de la racine carrée de la fréquence de la classe pour traiter le biais de la queue longue.
Récompense de structure ( $r_{struct}$ ) : Évalue l'efficacité de l'équilibrage de charge du routeur (entropie et uniformité de l'activation des experts) indépendamment de la qualité du masque. Cela agit comme un facteur de départage pour encourager une utilisation diversifiée des experts sans interférer avec la qualité de la segmentation.
Optimisation : La politique de requête est optimisée via le gradient de politique avec une régularisation KL par rapport à une politique de référence gelée (Mask2Former pré-entraîné), tandis que la politique de routage est optimisée via REINFORCE en utilisant l'avantage de structure.

Principales contributions

Jeu de données DishSeg24k : Un benchmark à grande échelle comprenant 24 096 images, 112 281 instances et 278 catégories fines. Il est construit à partir de scènes de restauration réelles (incluant des styles chinois et occidentaux) et présente une densité d'instances élevée, un chevauchement inter-plats sévère et une distribution à queue longue. Le jeu de données inclut un contrôle de qualité multi-étapes rigoureux et un étiquetage hiérarchique.
Cadre FEAST : Une nouvelle architecture de décodeur qui traite les mises à jour de requêtes comme un MDP optimisé par RL. Il intègre un décodeur MoE avec un schéma de double critique découplée pour améliorer simultanément le raffinement de masque conscient de l'incertitude et le routage d'expert conscient de la structure.
Évaluation complète : Expérimentations approfondies sur DishSeg24k comparant FEAST à 13 méthodes représentatives (basées sur les CNN, les Transformers par pixel et les modèles basés sur les requêtes), ainsi qu'une validation sur le jeu de données FoodSeg103 pour démontrer la généralisabilité.

Résultats expérimentaux

Performance sur DishSeg24k

FEAST atteint des performances de pointe sur le benchmark proposé :

Backbone ResNet-50 : FEAST surpasse la base la plus forte (Mask2Former) de 3,21 % mIoU, 3,68 % mDice et 4,00 % mAcc.
Backbone Swin-B : FEAST atteint 55,07 % mIoU, 74,26 % mDice et 63,36 % mAcc.
Études d'ablation :
- Le décodeur MoE a fourni le gain individuel le plus important (+3,03 % mIoU).
- Le guidage par RL était essentiel pour convertir la perturbation stochastique en exploration contrôlée, apportant le gain de performance final.
- L'optimisation par double critique s'est révélée nécessaire ; les configurations RL partielles étaient instables, tandis que la configuration conjointe a amélioré la performance par rapport à la base MoE seule.
- La performance optimale a été atteinte avec 4 experts ; passer à 8 experts a réduit la performance en raison de la fragmentation du signal.

Généralisation sur FoodSeg103

FEAST a été validé sur le jeu de données FoodSeg103 (annotations au niveau des ingrédients) :

Avec ResNet-50, il améliore le mIoU de 1,47 % par rapport à Mask2Former.
Avec Swin-B, il améliore le mIoU de 2,92 % par rapport à FDSNet.
Ces résultats confirment que la stratégie de décodage MoE guidée par RL se généralise au-delà des défis spécifiques de DishSeg24k.

Signification

L'article affirme que la gestion de l'enchevêtrement sémantique dans la segmentation de la nourriture nécessite non seulement des représentations plus fortes, mais aussi une inférence dynamique. En s'éloignant du raffinement de requête déterministe vers un processus stochastique guidé par le RL, FEAST gère efficacement l'ambiguïté causée par le chevauchement inter-plats et la similitude de classe à grain fin. L'introduction de DishSeg24k fournit un banc d'essai nécessaire pour les recherches futures, car les benchmarks existants ne parviennent pas à capturer la complexité compositionnelle des scènes de restauration authentiques. Ce travail suggère que le découplage du raffinement orienté vers la tâche et du routage conscient de la structure est une stratégie viable pour entraîner des modèles robustes sur des distributions de données à queue longue et hautement chevauchantes.