Ingredient-Level Food Image Segmentation for Nutrition Awareness

기술 요약: 영양 인식을 위한 식재료 단위 음식 이미지 세그멘테이션

문제 정의
현재의 음식 인식 시스템은 주로 이미지를 단일 요리 라벨(예: "샐러드")로 할당하는 분류 작업으로 취급합니다. 이러한 접근 방식은 여러 식재료가 포함된 식단의 내부 시각적 구조를 가립니다. 영양 인식을 위해서는 단일 라벨만으로는 밥, 채소, 고기 또는 소스와 같은 구성 요소의 공간적 분포를 구분하기에 불충분합니다. 상세한 칼로리 및 영양 성분 추적은 일상적인 사용에 너무 시간이 많이 걸릴 수 있지만, 시각적 접시 기반 가이드(건강한 식단 접시와 유사)는 대략적인 시각적 비율을 사용하는 실용적인 대안을 제공합니다. 그러나 기존의 컴퓨터 비전 방식은 픽셀 수준에서 가시적인 식재료를 분리할 만큼의 정밀도가 부족한 경우가 많습니다. 본 연구는 모든 픽셀에 대해 식재료 클래스를 예측하여 가시적 구성 요약을 생성하는 것을 목표로, FoodSeg103 데이터셋에 대한 식재료 단위 의미론적 세그멘테이션(ingredient-level semantic segmentation) 과제를 다룹니다.

방법론
본 연구는 FoodSeg103 데이터셋(104개의 클래스 ID 및 배경 포함, 4,983개의 훈련 이미지 및 2,135개의 테스트 이미지로 구성)에 대해 SegFormer 변형 모델을 미세 조정(fine-tuning)하는 데 중점을 둡니다.

• 모델: 모델 용량의 효과를 격리하기 위해 엄격하게 통제된 설정 하에서 두 가지 변형 모델을 평가했습니다:
  • SegFormer-B0 (MiT-B0): 작은 규모의 베이스라인 모델.
  • SegFormer-B1 (MiT-B1): 더 큰 규모의 최종 모델.
  • 두 모델 모두 새롭게 초기화된 104개 클래스 출력 레이어를 갖춘, ImageNet으로 사전 학습된 Mix Transformer (MiT) 백본을 사용합니다.
• 훈련 설정: 공정한 비교를 위해 두 모델은 동일한 하이퍼파라미터와 데이터 분할을 공유했습니다. 주요 설정으로는 입력 크기 512×512, 배치 크기 8, AdamW 옵티마이저, 학습률 6e-5, 40 에포크(epoch)가 포함됩니다.
• 전처리: 이미지와 마스크의 크기를 512×512로 조정했습니다. RGB 이미지에는 쌍선형 보간법(bilinear interpolation)을 사용하였고, 세그멘테이션 마스크에는 이산적인 클래스 ID를 보존하기 위해 최근접 이웃 보간법(nearest-neighbor interpolation)을 적용했습니다. 데이터 증강에는 무작위 스케일링, 크롭, 수평 뒤집기 및 가벼운 색상 지터링(color jitter)이 포함되었습니다.
• 평가: 모델은 검증 평균 IoU(mean Intersection over Union)가 가장 높은 모델을 기준으로 선택되었습니다. 최종 평가는 원래 마스크 해상도에서 별도로 분리된 테스트 세트를 통해 수행되었습니다. 평가지표로는 픽셀 정확도, 평균 IoU, 배경을 제외한 평균 IoU, 평균 클래스 정확도가 포함됩니다.
• 가시 영역 모듈(Visible-Area Module): 포스트 프로세싱 단계에서는 예측된 마스크를 "가시적 식재료 영역 요약"으로 변환합니다. 이는 각 식재료 클래스에 할당된 비배경 픽셀의 비율($P_c = \frac{N_c}{N_{food}} \times 100$)을 계산하여 2D 구성 개요를 제공합니다.

주요 기여

1. 재현 가능한 파이프라인: FoodSeg103에서 SegFormer를 사용한 식재료 단위 세그멘테이션을 위한 미세 조정 파이프라인을 구축했습니다.
2. 통제된 비교: 데이터 분할, 훈련 일정 및 평가 코드를 동일하게 유지함으로써 SegFormer-B0와 B1 사이의 직접적인 비교를 제공하고, 모델 용량 증가에 따른 영향을 입증했습니다.
3. 포괄적 평가: 상세한 클래스별 IoU 분석을 포함하여, 원래 마스크 해상도에서 별도로 분리된 테스트 메트릭을 보고했습니다.
4. 해석 가능한 출력: 밀집된 세그멘테이션 마스크를 읽기 쉬운 2D 구성 요약으로 변환하는 모듈을 개발하여, 수동 식재료 기록의 시각적 대안을 제시했습니다.

결과
2,135개의 이미지로 구성된 테스트 세트에서 SegFormer-B1이 모든 지표에서 B0 베이스라인을 능가했습니다:

• 픽셀 정확도(Pixel Accuracy): 0.7709 (B0)에서 0.7929 (B1)로 증가했습니다.
• 평균 IoU (Mean IoU): 0.2521 (B0)에서 0.3204 (B1)로 개선되었으며, 이는 0.0683의 절대적 이득입니다.
• 평균 클래스 정확도 (Mean Class Accuracy): 0.3590에서 0.4378로 상승했습니다.

클래스별 분석:

• 높은 성능: 모델은 시각적으로 뚜렷하거나 크기가 큰 식재료에서 가장 좋은 성능을 보였으며, 브로콜리(0.8339), 옥수수(0.8279), 그린 빈(0.7829)에서 높은 IoU를 달려냈습니다.
• 낮은 성능: 모델은 에그타르트, 푸딩, 차(tea), 햄버거와 같이 희귀하거나 작거나 모호한 클래스에서 0.0의 IoU를 기록하며 어려움을 겪었습니다. 이는 클래스 불균형, 중첩, 클래스 내 변동성 등 알려진 음식 세그멘테이션의 과제와 일치합니다.
• 정성적 결과: B1이 그라운드 트루스(ground truth)에 더 가까운 마스크를 생성했으나, 두 모델 모두 혼합된 음식, 얇은 영역 및 불분명한 경계 처리에 어려움을 겪었습니다.

의의 및 한계
본 논문은 이 작업을 완전한 영양 추정 시스템이라기보다 식재료 세그멘테이션 및 가시적 구성 분석을 위한 **개념 증명(proof of concept)**으로 위치시킵니다.

• 의의: 본 연구의 주요 가치는 해석 가능성에 있습니다. 시스템은 복잡한 픽셀 수준의 예측을 식사 구성(예: "당근 61.8%, 쌀 20.0%")에 대한 간단한 시각적 요약으로 변환합니다. 이는 지속적인 수동 계량이나 기록의 필요성을 줄일 수 있는, 접시 기반 가이드와 유사한 "1차적" 영양 인식 신호 역할을 합니다.
• 주장의 겸손함: 저자들은 본 시스템이 칼로리, 영양 성분, 음식 질량, 부피, 밀도 또는 실제 섭취량을 직접 추정하는 것이 아님을 명시적으로 밝힙了. 단일 RGB 이미지는 깊이와 밀도 정보를 결여하고 있기 때문입니다.
• 한계:
  • 본 연구는 두 가지 SegFormer 변형만을 비교하였으며, FCN, DeepLabV3+, U-Net 또는 BEiT와 같은 다른 아키텍처와의 벤치마킹은 수행하지 않았습니다.
  • 실험 설정의 특수성으로 인해 발표된 FoodSeg103 벤치마크 수치와 직접 비교할 수 없습니다.
  • 희귀하거나 작은 클래스에 대한 성능은 여전히 낮습니다.
  • 가시 영역 출력은 2D 이미지 면적에 국한되며, 이는 실제 영양적 질량과 동일하지 않습니다.

결론적으로, 본 연구는 SegFormer가 식재료 단위 세그멘테이션을 위해 성공적으로 미세 조정될 수 있음을 입증하며, 더 큰 모델인 B1 변형이 측정 가능한 개선을 제공함을 보여줍니다. 본 시스템이 아직 완전한 식이 추정의 복잡성을 해결하지는 못하지만, 영양 인식을 지원하기 위해 식사 구성을 시각화하는 기초적인 도구를 제공합니다.