Technische Samenvatting: DishSeg24k en FEAST

Probleemstelling

Voedselsegmentatie is cruciaal voor intelligente catering, dieetbeoordeling en voedingsaanbevelingssystemen. Bestaande benchmarks en methoden laten echter na om de unieke complexiteiten van echte eetscènes aan te pakken. De auteurs identificeren drie primaire uitdagingen waar huidige benaderingen moeite mee hebben:

1. Dichte inter-gerecht overlap: Echte maaltijden bevatten vaak meerdere gerechten die geserveerd worden in gedeelde containers of compartimenten, wat zorgt voor ruimtelijke overlappingen en nabijheden die het afbakenen van individuele maskers moeilijk maken.
2. Fijnmazige klasse-gelijkenis: Verschillende gerechtklassen delen vaak gemeenschappelijke ingrediënten (bijv. tomaat in zowel "roerei met tomaat" als "gebakken rundvlees met tomaat"), wat leidt tot lokaal ononderscheidbare visuele kenmerken, zelfs wanneer de grenzen duidelijk zijn.
3. Extreme long-tail distributies: Natuurlijke consumptiefrequenties volgen een ernstig long-tail patroon waarbij veelvoorkomende basisproducten de trainingsdata domineren, terwijl zeldzame regionale specialiteiten slechts enkele instanties hebben, wat modellen bevoordeelt richting frequente klassen.

Bestaande methoden, inclusief CNN-gebaseerde architecturen en query-gebaseerde Transformers (bijv. Mask2Former), vertrouwen op deterministische decodering. Dit onderdrukt de diversiteit van hypothesen en beperkt de robuustheid in ambigue scènes. Bovendien lijden standaard Mixture-of-Experts (MoE) benaderingen vaak onder "expert collapse" onder long-tail distributies, waarbij een paar experts domineren terwijl anderen onderbenut blijven.

Methodologie: FEAST

Om deze uitdagingen aan te pakken, stellen de auteurs FEAST voor (Food Expert-Adaptive Segmentation Transformers), een framework dat query-gebaseerde decodering herformuleert als een stochastisch sequentieel beslissingsproces geleid door Reinforcement Learning (RL).

1. MDP Formulering voor Query Verfijning

FEAST modelleert de progressieve update van object-queries over $K$ decoderlagen als een eindig-horizontaal Markov Decision Process (MDP):

• Toestand ($S$): De set object-queries op een gegeven decoderlaag.
• Actie ($A$): Een continue semantische verschuiving in de query-embeddingruimte.
• Transitie: Een deterministische residuele update waarbij de nieuwe query de som is van de huidige query en de actie ($q_{k+1} = q_k + a_k$).
• Doelstelling: Om een stochastisch beleid te leren dat queries in staat stelt om meerdere plausibele semantische hypothesen te verkennen voordat ze convergeren, in plaats van een enkel deterministisch traject te volgen.

2. Stochastische MoE Policy Netwerk

Het standaard Feed-Forward Network (FFN) in de decoder wordt vervangen door een MoE-module om heterogene voedseltexturen aan te pakken:

• Architectuur: Bestaat uit één gedeelde expert (die taak-agnostische primitieven vangt) en $E_r$ gerouteerde experts (gespecialiseerd in categorie-specifieke patronen).
• Ontkoppelde Routing: Een router wijst queries toe aan experts met behulp van een stop-gradient operator om te voorkomen dat routing-gradiënten de query-features naar router-specifieke in plaats van taak-relevante kenmerken sturen.
• Stochastische Sampling: Het policy netwerk geeft een Gaussische distributie over acties, wat exploratie tijdens de training mogelijk maakt. Tijdens de inferentie wordt het gemiddelde gebruikt.

3. Ontkoppelde Dual-Critic Optimalisatie

Om de training te stabiliseren onder long-tail distributies en expert collapse te voorkomen, introduceert FEAST een duale reward-structuur met twee onafhankelijke critics:

• Taak Reward ($r_{task}$): Evalueert incrementele verbeteringen in maskerkwaliteit (Dice) en classificatievertrouwen. Deze wordt hergewogen door de inverse wortel van de klassefrequentie om de long-tail bias aan te pakken.
• Structuur Reward ($r_{struct}$): Evalueert de load-balancing efficiëntie van de router (entropie en uniformiteit van expert-activatie) onafhankelijk van de maskerkwaliteit. Dit fungeert als een tiebreaker om divers gebruik van experts aan te moedigen zonder de segmentatiekwaliteit te verstoreen.
• Optimalisatie: De query policy wordt geoptimaliseerd via policy gradient met KL-regularisatie tegen een bevroren referentiebeleid (pre-trained Mask2Former), terwijl de routing policy wordt geoptimaliseerd via REINFORCE met de structuur-advantage.

Belangrijkste Bijdragen

1. DishSeg24k Dataset: Een grootschalige benchmark bestaande uit 24.096 afbeeldingen, 112.281 instanties en 278 fijnmazige categorieën. Het is geconstrueerd uit real-world eetscènes (inclusclusief Chinese en Westerse stijlen) en kenmerkt zich door een hoge instantiedichtheid, ernstige inter-gerecht overlap en een long-tail distributie. De dataset bevat strikte meerfasige kwaliteitscontrole en hiërarchische labeling.
2. FEAST Framework: Een nieuwe decoderarchitectuur die query-updates behandelt als een door RL geoptimaliseerde MDP. Het integreert een MoE-decoder met een ontkoppeld dual-critic schema om gelijktijdig de onzekerheidsbewuste maskerverfijning en de structuurbewuste expert-routing te verbeteren.
3. Uitgebreide Evaluatie: Uitgebreide experimenten op DishSeg24k waarbij FEAST wordt vergeleken met 13 representatieve methoden (CNN-gebaseerd, per-pixel Transformers en query-gebaseerde modellen), samen met validatie op de FoodSeg103 dataset om generaliseerbaarheid aan te tonen.

Experimentele Resultaten

Prestaties op DishSeg24k

FEEST bereikt state-of-the-art prestaties op de voorgestelde benchmark:

• ResNet-50 Backbone: FEAST presteert beter dan de sterkste baseline (Mask2Former) met 3.21% mIoU, 3.68% mDice en 4.00% mAcc.
• Swin-B Backbone: FEAST bereikt 55.07% mIoU, 74.26% mDice en 63.36% mAcc.
• Ablatie Studies:
  • De MoE-decoder leverde de grootste individuele winst (+3.03% mIoU).
  • RL-sturing was essentieel om stochastische perturbatie om te zetten in gecontroleerde exploratie, wat de uiteindelijke prestatieverbetering opleverde.
  • De dual-critic optimalisatie bleek noodzakelijk; gedeeltelijke RL-configuraties waren instabiel, terwijl de gezamenlijke configuratie de prestaties verbeterde ten opzichte van de MoE-only baseline.
  • Optimale prestaties werden bereikt met 4 experts; het verhogen naar 8 experts verminderde de prestaties door signaalfragmentatie.

Generalisatie op FoodSeg103

FEAST werd gevalideerd op de FoodSeg103 dataset (ingrediënt-niveau annotaties):

• Met ResNet-50 verbeterde het de mIoU met 1.47% ten opzichte van Mask2Former.
• Met Swin-B verbeterde het de mIoU met 2.92% ten opzichte van FDSNet.
  Deze resultaten bevestigen dat de RL-gestuurde MoE-decoderingstrategie generaliseert buiten de specifieke uitdagingen van DishSeg24k.

Betekenis

Het artikel beweert dat het aanpakken van semantische verstrengeling in voedselsegmentatie niet alleen sterkere representaties vereist, maar ook dynamische inferentie. Door af te stappen van deterministische query-verfijning naar een stochastisch, door RL gestuurd proces, beheert FEAST effectief de ambiguïteit veroorzaakt door inter-gerecht overlap en fijnmazige klasse-gelijkenis. De introductie van DishSeg24k biedt een noodzakelijk testveld voor toekomstig onderzoek, aangezien bestaande benchmarks falen om de compositionele complexiteit van authentieke eetscènes te vangen. Het werk suggereert dat het ontkoppelen van taakgeoriënteerde verfijning van structuurbewuste routing een levensvatbare strategie is voor het trainen van robuuste modellen op long-tail, sterk overlappende datadistributies.