💻 computer science

DishSeg24k: A Large-Scale Benchmark for Food Segmentation with Stochastic Expert Decoding

이 논문은 24,096장의 이미지와 278개의 세밀한 카테고리를 특징으로 하는 대규모 음식 분할 벤치마크인 DishSeg24k와, 복잡하고 롱테일(long-tail) 분포를 가진 식사 시나리오에서 최첨단 성능을 달配合하기 위해 강화 학습 기반의 전문가 혼합(Mixture-of-Experts) 및 확률적 전문가 디코딩(stochastic expert decoding)을 활용하는 새로운 트랜스포머 모델인 FEAST를 소개한다.

원저자: Yilin Wang, Haochen Shi, Guanyu Chen, Weiqing Min, Jinkai Zheng, Chenggang Yan, Shuqiang Jiang

게시일 2026-08-07

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yilin Wang, Haochen Shi, Guanyu Chen, Weiqing Min, Jinkai Zheng, Chenggang Yan, Shuqiang Jiang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 눈을 통해 세상을 이해하는 법을 가르치고 있다고 상상해 보세요. 컴퓨터 비전이라 불리는 이 분야는 기계에게 보는 능력을 부여하는 것과 같지만, 한 가지 차이점이 있습니다. 단순히 "고양이가 있다"라고 인식하는 것을 넘어, 로봇은 고양이의 귀와 꼬리, 그리고 꼬리와 카펫의 경계를 구분하여 모든 부위의 완벽한 윤곽선을 그려낼 수 있어야 합니다. 이것을 **이미지 세그멘테이션(image segmentation)**이라고 부릅니다. 이는 자율주행 자동차가 도로의 끝과 보도의 시작을 알게 하거나, 의료 스캐너가 아주 작은 종양을 찾아내는 데 쓰이는 초능력과 같습니다. 하지만 로봇들이 자동차나 고양이를 포착하는 데는 꽤 능숙해졌지만, 여전히 매우 복잡하고 맛있는 문제에 직면해 있습니다. 바로 '음식'입니다.

왜 음식은 로봇에게 그토록 어려울까요? 접시에 담긴 저녁 식사는 자동차처럼 정형화되어 있지 않기 때문입니다. 밥, 소고기 볶음, 토마토가 한데 뒤섞여 있는 쟁반을 상상해 보세요. 밥은 소고기에 닿아 있고, 소고기는 토마토와 맞닿아 있으며, 이들은 모두 같은 접시 위에 놓여 있습니다. 로봇에게 이것은 그저 갈색과 붉은색이 뒤섞인 거대한 덩어리로 보일 뿐입니다. 만약 로봇이 소고기가 어디서 끝나고 밥이 어디서 시작되는지 구분하지 못한다면, 당신이 단백질을 얼마나 섭취했는지 혹은 식사 비용이 얼마인지 알려줄 수 없습니다. 이것이 바로 **음식 세그멘테이션(food segmentation)**의 과제입니다. 즉, 컴퓨터에게도란한 저녁 접시를 파헤치고, 각 조각이 정확히 어떤 음식에 속하는지 파악하며, 음식이 높게 쌓여 있거나 서로 매우 비슷하게 생겼더라도 완벽한 선을 그려내도록 가르치는 일입니다.

여기서, 세상에서 가장 어지러운 식탁 문제를 해결하려는 새로운 연구가 등장합니다. Yilin Wang과 동료들이 이끄는 연구진은 기존의 컴퓨터 프로그램들이 깔끔하고 완벽한 사진, 즉 흰 테이블 위에 단일 요리가 놓인 사진들로 학습되었기 때문에 실패한다는 점을 깨달았습니다. 하지만 실제 생활은 북적이는 뷔페와 같습니다. 이를 해결하기 위해 그들은 DishSeg24k라는 거대하고 새로운 학습 라이브러리를 구축했습니다. 이것은 단순한 몇 장의 사진이 아닙니다. 실제 식당과 구내식당의 혼란스러운 현장에서 촬영된 24,096장의 이미지와 112,281개의 개별 음식 아이템, 그리고 278가지의 서로 다른 요리 유형을 담고 있는 컬렉션입니다. 그들은 로봇이 밥이나 면처럼 흔한 음식만 인식하는 데 그치지 않도록, 희귀한 지역 특산물 목록까지 포함했습니다.

하지만 훌륭한 라이브러리를 갖추는 것만으로는 충분하지 않습니다. 로봇에게는 새로운 사고방식이 필요합니다. 저자들은 FEAST(Food Expert-Adaptive Segmentation Transformers)라고 불리는 새로운 방법을 제안했습니다. 기존의 방식이 로봇에게 "1단계: 빨간 점을 본다. 2단계: 그것을 토마토라고 가정한다"와 같이 딱딱하고 단계적인 지침서를 주는 것이었다면, FEAST는 전문가 팀이 벌이는 '스무 고개' 게임과 같습니다. 로봇은 하나의 정해진 경로를 따르는 대신, "이 빨간 점이 사실은 토마토 소스일까, 아니면 소고기 조각일까?"라며 스스로 질문을 던집니다. 마치 탐정이 다양한 가설을 시험해보듯 여러 가능성을 탐색하는 것입니다.

이것이 가능하도록 연구진은 로봇의 뇌 속에 '전문가 팀'을 넣어주었습니다. 전문가 그룹을 상상해 보세요. 한 명은 액체 소스를 찾아내는 데 뛰어나고, 다른 한 명은 바삭한 질감을 전문으로 하며, 세 번째 전문가는 겹쳐진 접시를 다루는 데 능숙합니다. 로봇이 혼란스러운 음식 더미를 볼 때, 단순히 한 명의 전문가를 선택하는 것이 아니라, 그 특정 순간에 어떤 전문가의 말을 들을지 결정하는 똑똑한 매니저를 배치합니다. 이것을 혼합 전문가(Mixture-of-Experts, MoE) 시스템이라고 합니다. 또한, 이 팀이 균형을 유지하고 모든 의견이 가장 흔한 음식(예: 밥)에만 쏠리지 않도록, 연구진은 **강화 학습(Reinforcement Learning)**에서 영감을 얻은 기술을 사용했습니다. 이는 마치 코치가 팀이 까다로운 경계선을 정확히 분리해냈을 때 하이파이브(보상)를 해주고, 혼란스러워할 때는 "다시 해봐"라고 부드럽게 격려하며 실시간으로 실수를 통해 배우도록 돕는 것과 같습니다.

결과는 인상적입니다. 그들의 새로운 혼란스러운 데이터셋으로 테스트했을 때, 이 '전문가 팀' 접근 방식은 이전의 최고 방법들을 상당한 차이로 앞질렀습니다. 이 방식은 핵심적인 한 측정 지표에서 3.21%, 다른 지표에서 3.68%, 그리고 또 다른 지표에서 **4.00%**의 정확도 향상을 보여주었습니다. 연구진은 또한 더 작고 오래된 데이터셋인 FoodSeg103에서도 이 방법을 테스트했는데, 여에서도 경쟁 모델보다 우수한 성능을 보였습니다. 이는 이 새로운 사고방식이 다른 종류의 복잡한 이미지에도 적용될 수 있음을 시사합니다.

요약하자면, 이 논문은 단순히 더 큰 음식 사진첩을 제공하는 것이 아니라, 로봇에게 복잡하고 맛있는 저녁 식사를 바라보는 더 똑똑하고 유연한 방법을 제시합니다. 방대한 양의 현실적인 데이터셋과, 다양한 가능성을 탐색하고 전문화된 전문가 팀으로부터 배울 수 있는 의사결정 시스템을 결 сочета함으로써, 저자들은 컴퓨터가 실제 세상의 복잡하고 맛있는 혼돈을 진정으로 이해할 수 있는 유망한 길을 보여주었습니다.

기술 요약: DishSeg24k 및 FEAST

문제 정의

음식 분할(Food segmentation)은 지능형 외식 서비스, 식단 평가 및 음식 추천 시스템에 있어 매우 중요합니다. 그러나 기존의 벤치마크와 방법론들은 실제 식사 장면의 고유한 복잡성을 해결하지 못하고 있습니다. 저자들은 현재의 접근 방식들이 어려움을 겪는 세 가지 주요 과제를 다음과 같이 식별했습니다:

밀집된 음식 간 중첩(Dense Inter-dish Overlap): 실제 식사는 종종 공유 용기나 칸이 나누어진 트레이에 담긴 여러 음식을 포함하며, 이는 공간적 중첩과 인접성을 생성하여 개별 마스크를 구분하기 어렵게 만듭니다.
미세한 클래스 유사성(Fine-grained Class Similarity): 서로 다른 음식 클래스들이 공통된 재료(예: "토마토 달걀 볶음"과 "토마토 소스를 곁들인 소고기 볶음" 모두에 들어가는 토마토)를 공유하는 경우가 많아, 경계가 명확하더라도 국소적으로 구분이 불가능한 시각적 특징을 가질 수 있습니다.
극심한 롱테일 분포(Extreme Long-tail Distributions): 자연적인 소비 빈도는 흔한 주식이 데이터를 지배하고 희귀한 지역 특산물은 사례가 적은 심각한 롱테일 패턴을 따르며, 이는 모델이 빈도가 높은 클래스에 편향되게 만듭니다.

Mask2Former과 같은 CNN 기반 아키텍처 및 쿼리 기반 트랜스포머를 포함한 기존 방법들은 결정론적 디코딩(deterministic decoding)에 의존합니다. 이는 가설의 다양성을 억제하고 모호한 장면에서의 강건성을 제한합니다. 또한, 표준 혼합 전문가(Mixture-of-Experts, MoE) 접근 방식은 롱테일 분포 하에서 일부 전문가가 지배적이고 나머지는 제대로 활용되지 못하는 "전문가 붕괴(expert collapse)" 현상을 겪는 경우가 많습니다.

방법론: FEAST

이러한 과제를 해결하기 위해 저자들은 FEAST(Food Expert-Adaptive Segmentation Transformers)를 제안합니다. 이 프레임워크는 쿼리 기반 디코딩을 강화 학습(Reinforcement Learning, RL)에 의해 유도되는 확률적 순차 결정 과정(stochastic sequential decision process)으로 재구성합니다.

1. 쿼리 정교화를 위한 MDP 공식화

FEAST는 $K$ 개의 디코더 레이어에 걸친 객체 쿼리의 점진적 업데이트를 유한 시계열 마르코프 결정 과정(MDP)으로 모델링합니다:

상태 (State, $S$ ): 특정 디코더 레이어에서의 객체 쿼리 집합.
행동 (Action, $A$ ): 쿼리 임베딩 공간에서의 연속적인 의미론적 변화(semantic shift).
전이 (Transition): 새로운 쿼리가 현재 쿼리와 행동의 합이 되는 결정론적 잔차 업데이트( $q_{k+1} = q_k + a_k$ ).
목표: 쿼리가 단일한 결정론적 궤적을 따르는 대신, 하나의 수렴 전까지 여러 가능한 의미론적 가설을 탐색할 수 있도록 하는 확률적 정책을 학습하는 것입니다.

2. 확률적 MoE 정책 네트워크

디코더의 표준 피드 포워드 네트워크(FFN)는 이질적인 음식 질감을 처리하기 위해 MoE 모듈로 대체됩니다:

아키텍처: 하나의 공유 전문가(작업 불가지론적 프리미티브 캡처)와 $E_r$ 개의 라우팅된 전문가(카테 category-specific 패턴 전문화)로 구성됩니다.
분리된 라우팅(Decoupled Routing): 라우터는 스톱-그레디언트(stop-gradient) 연산자를 사용하여 쿼리를 전문가에게 할당하며, 이는 라우팅 그래디언트가 쿼리 특징을 라우터 특정 특징이 아닌 작업 관련 특징 쪽으로 편향시키는 것을 방지합니다.
확률적 샘플링: 정책 네트워크는 행동에 대한 가우시안 분포를 출력하여 훈련 중 탐색을 허용합니다. 추론 시에는 평균값이 사용됩니다.

3. 분리된 이중 크리틱 최적화 (Decoupled Dual-Critic Optimization)

롱테일 분포 하에서 훈련을 안정화하고 전문가 붕괴를 방지하기 위해, FEAST는 두 개의 독립적인 크리틱을 가진 이중 보상 구조를 도입합니다:

작업 보상 ( $r_{task}$ ): 마스크 품질(Dice) 및 분류 신뢰도의 점진적 개선을 평가합니다. 롱테일 편향을 해결하기 위해 클래스 빈도의 역 제곱근에 의해 가중치가 재조정됩니다.
구조 보상 ( $r_{struct}$ ): 마스크 품질과는 독립적으로 라우터의 부하 분산 효율성(전문가 활성화의 엔트로피 및 균일성)을 평가합니다. 이는 분할 품질을 방해하지 않으면서 다양한 전문가 사용을 장려하는 타이브레이커(tiebreaker) 역할을 합니다.
최적화: 쿼리 정책은 동결된 참조 정책(사전 훈련된 Mask2Former)에 대한 KL 정규화를 통해 정책 경사법(policy gradient)으로 최적화되며, 라우팅 정책은 구조적 이점을 사용하여 REINFORCE를 통해 최적화됩니다.

주요 기여

DishSeg24k 데이터셋: 24,096개의 이미지, 112,281개의 인스턴스, 278개의 미세한 카테고리로 구성된 대규모 벤치마크입니다. 이는 실제 식사 장면(중식 및 양식 포함)으로부터 구축되었으며 높은 인스턴스 밀도, 심각한 음식 간 중첩, 그리고 롱테일 분포를 특징으로 합니다. 이 데이터셋은 엄격한 다단계 품질 관리와 계층적 레이블링을 포함합니다.
FEAST 프레임워크: 쿼리 업데이트를 RL로 최적화된 MDP로 취급하는 새로운 디코더 아키텍처입니다. 불확실성을 고려한 마스크 정교화와 구조 인지적 전문가 라우팅을 동시에 개선하기 위해 MoE 디코더와 분리된 이중 크리틱 체계를 통합합니다.
포괄적 평가: DishSeg24k에서 13개의 대표적인 방법(CNN 기반, 픽셀 단위 트랜스포머, 쿼리 기반 모델)과 비교하여 FEAST의 성능을 광범로하게 평가하였으며, 일반화 능력을 입증하기 위해 FoodSeg103 데이터셋에서도 검증을 수행했습니다.

실험 결과

DishSeg24k에서의 성능

FEAST는 제안된 벤치마크에서 최첨단(SOTA) 성능을 달립니다:

ResNet-50 백본: FEAST는 가장 강력한 베이스라인인 Mask2Former보다 3.21% mIoU, 3.68% mDice, 4.00% mAcc 우수합니다.
Swin-B 백본: FEAST는 55.07% mIoU, 74.26% mDice, 63.36% mAcc를 달성합니다.
절제 연구(Ablation Studies):
- MoE 디코더가 가장 큰 개별 이득(+3.03% mIoU)을 제공했습니다.
- RL 가이드는 확률적 섭동을 통제된 탐색으로 전환하는 데 필수적이었으며, 최종적인 성능 향상을 이끌어냈습니다.
- 이중 크리틱 최적화는 필수적인 것으로 나타났습니다. 부분적인 RL 설정은 불안정했으나, 결합된 설정은 MoE 전용 베이스라인보다 성능을 개선했습니다.
- 4개의 전문가를 사용할 때 최적의 성능을 보였으며, 8개로 늘리면 신호 파편화로 인해 성능이 감소했습니다.

FoodSeg103에서의 일반화

FEAST는 재료 수준의 주석이 있는 FoodSeg103 데이터셋에서 검증되었습니다:

ResNet-50을 사용했을 때, Mask2Former 대비 mIoU를 1.47% 개선했습니다.
Swin-B를 사용했을 때, FDSNet 대비 mIoU를 2.92% 개선했습니다.
이러한 결과는 RL 가이드 MoE 디코딩 전략이 DishSeg24k의 특정 과제를 넘어 일반화될 수 있음을 확인시켜 줍니다.

의의

본 논문은 음식 분할에서 의미론적 얽힘(semantic entanglement)을 다루기 위해서는 더 강력한 표현력뿐만 아니라 **동적 추론(dynamic inference)**이 필요하다고 주장합니다. 결정론적 쿼리 정교화에서 벗어나 확률적이고 RL로 유도되는 과정을 도입함으로써, FEAST는 음식 간 중첩 및 미세한 클래스 유사성으로 인한 모호성을 효과적으로 관리합니다. DishSeg24k의 도입은 기존 벤치마크가 실제 식사의 구성적 복잡성을 포착하지 못한다는 점에서 향러 연구를 위한 필수적인 테스트베드를 제공합니다. 이 연구는 작업 지향적 정교화와 구조 인지적 라우팅을 분리하는 것이 롱테일 및 고중첩 데이터 분포에서 강건한 모델을 훈련하기 위한 유효한 전략임을 시사합니다.