Deep Learning-Based Meat Freshness Detection with Segmentation and OOD-Aware Classification

본 논문은 U-Net 기반 분할을 통해 배경을 제거하고 효율적인 특징 추출을 수행하며, OOD 인식 거부 메커니즘을 통해 신뢰도가 낮은 샘플을 식별하는 동시에 모바일 환경에서의 실시간 배포 가능성을 검증한 고도화된 육류 신선도 분류 프레임워크를 제안합니다.

핵심

🥩 고기 신선도 탐정: "고기를 보는 눈"을 AI 에 심어주다

우리가 마트에서 고기를 살 때, "이거 신선할까?"라고 고민한 적이 있나요? 보통은 색을 보거나 냄새를 맡아서 판단하죠. 하지만 이 연구는 스마트폰 카메라로 찍은 사진을 보고 AI 가 "이 고기는 신선해요", "상했어요", 혹은 "정확히 모르겠어요"라고 판단하는 시스템을 만들었습니다.

이 시스템이 어떻게 작동하는지 3 단계로 나누어 설명해 드릴게요.

1. 단계: 고기만 골라내는 '마술사' (분할 기술)

고기를 사진으로 찍으면 고기뿐만 아니라 접시, 비닐 포장, 배경의 식탁까지 다 같이 찍힙니다. AI 가 혼란스러워하지 않도록, 먼저 **U-Net 이라는 '마술사'**가 등장합니다.

• 비유: 마치 고기 사진 위에 **'가위'**를 대고 고기 모양만 딱 잘라내는 작업입니다.
• 이 마술사는 배경이나 접시 같은 잡다한 것들을 잘라내고, 고기 부분만 깔끔하게 잘라낸 뒤 다음 단계로 넘겨줍니다. 이렇게 하면 AI 가 고기의 진짜 색과 질감에 집중할 수 있게 됩니다.

2. 단계: 고기를 감별하는 '전문가들' (분류 기술)

잘라낸 고기 사진을 보고 신선도를 판단하는 5 명의 AI 전문가가 경쟁을 벌였습니다.

• 참가자: ResNet-50, ViT, Swin-T, EfficientNet-B0, MobileNetV3-Small 등 다양한 AI 모델들입니다.
• 결과: 이 중에서 EfficientNet-B0라는 모델이 가장 잘했습니다. (정확도 98.1%) 마치 고기 감별 대회에서 한 명이 압도적으로 좋은 점수를 받은 셈이죠.
• 특이사항: 이 시스템은 **포장된 고기 (비닐에 싸인 것)**와 포장되지 않은 고기를 모두 다룰 수 있도록 훈련되었습니다. 비닐 반사광이나 포장지 때문에 고기가 잘 안 보일 때도 잘 구분해 냅니다.

3. 단계: "모르겠어요"라고 말하는 용기 (OOD 감지)

이 시스템의 가장 멋진 점은 자신감이 없을 때 정답을 말하지 않는다는 것입니다.

• 상황: 고기 사진이 너무 어둡거나, 반사광이 심해서 고기가 뭔지 잘 안 보이거나, 아예 고기가 아닌 '빈 접시' 사진이 들어왔을 때입니다.
• 행동: 기존 AI 들은 무조건 "신선해요"라고 말하며 틀릴 수도 있지만, 이 시스템은 **"결과 없음 (No Result)"**이라고 말합니다.
• 비유: 마치 수사관이 증거가 부족할 때 "범인을 특정할 수 없다"고 말하는 것과 같습니다. 억지로 추측해서 틀리는 것보다, "조금 더 확인이 필요해요"라고 말하는 것이 훨씬 안전하고 신뢰할 수 있습니다.

---

📱 실제 사용 가능성: 스마트폰에 넣을 수 있을까?

연구진은 이 시스템을 스마트폰에서도 얼마나 빠르게 작동하는지 테스트했습니다.

• 결과: EfficientNet-B0와 MobileNetV3-Small이라는 두 모델이 가장 훌륭했습니다.
• 비유: 이 두 모델은 **가볍고 빠른 '스피드 스타'**입니다. 무거운 고사양 컴퓨터가 아니라, 우리가 손에 들고 다니는 스마트폰에서도 0.01 초도 안 되는 시간에 고기 상태를 판단할 수 있습니다.
• 반면, ViT 같은 모델은 정확도는 나쁘지 않았지만 스마트폰에서 너무 느려서 (460ms 이상) 실용적이지 않았습니다.

💡 결론: 왜 이 연구가 중요할까요?

1. 저렴하고 편리함: 비싼 특수 장비 없이, 누구나 가진 스마트폰으로 식품 안전을 확인할 수 있습니다.
2. 안전한 판단: "모르겠어요"라고 말하는 기능을 통해, 위험한 고기를 잘못 판단하는 실수를 줄여줍니다.
3. 실제 환경 대응: 실험실처럼 깨끗한 환경이 아니라, 마트나 주방처럼 빛 반사나 포장지가 있는 복잡한 상황에서도 잘 작동합니다.

한 줄 요약:

"이 연구는 스마트폰 카메라로 고기를 찍으면, 잡다한 배경은 잘라내고, 가장 똑똑한 AI 가 신선도를 판단하며, 모르겠으면 정답을 말하지 않는 똑똑한 식품 안전 도구를 개발했습니다."

이 기술이 상용화되면, 우리가 마트에서 고기를 살 때 "이거 상했나?"라고 걱정하며 냄새를 맡을 필요 없이, 스마트폰으로 찍어보고 **"신선합니다!"**라는 확신을 얻을 수 있게 될지도 모릅니다!

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 육류 소비 증가로 인해 식품 안전과 품질 모니터링의 필요성이 커지고 있으며, 부패는 식중독 위험과 경제적 손실, 식품 낭비를 초래합니다.
• 기존 방법의 한계:
  • 화학 분석이나 감각 평가는 비용이 많이 들고 전문가의 판단에 의존하며 비파괴적이지 않습니다.
  • 기존 컴퓨터 비전 연구는 주로 포장되지 않은 (unpackaged) 육류에 집중되어 있으며, 포장재의 반사광, 필름 번짐, 라벨 가림 등 포장된 육류 (packaged meat) 의 복잡한 시각적 요소를 고려하지 못했습니다.
  • 대부분의 기존 시스템은 모든 입력 데이터가 알려진 클래스에 속한다고 가정하여, 알려지지 않은 조건 (Out-of-Distribution, OOD) 에서 과도한 자신감 (over-confidence) 을 가진 잘못된 예측을 하는 문제가 있습니다.
• 목표: 포장 및 비포장 육류 모두를 처리할 수 있고, 불확실한 입력에 대해 '결과 없음 (No Result)'으로 거절할 수 있는 OOD 인식 능력을 갖춘 강건한 육류 신선도 분류 프레임워크 개발.

2. 제안된 방법론 (Methodology)

연구팀은 2 단계 파이프라인을 제안했습니다.

A. 데이터셋 구성

• 데이터 수집: 공개된 3 개의 비포장 육류 데이터셋과 2024 년 4 월에 수집한 새로운 포장 육류 데이터셋 (알라바마 주 현지 소매점 구매) 을 통합했습니다.
• 클래스 정의: 4 가지 In-Distribution (ID) 클래스 (비포장 신선, 비포장 부패, 포장 신선, 포장 부패) 와 OOD 평가용 'No Result' 클래스 (빈 트레이, 배경만 있는 이미지 등 800 장) 로 구성되었습니다.
• 전처리: 중복 및 유사한 프레임 제거 (pHash 기반) 를 통해 데이터 누출 (leakage) 을 방지하고 총 6,256 개의 고유 이미지를 확보했습니다.

B. U-Net 기반 분할 (Segmentation)

• 목적: 배경 (트레이, 반사광 등) 을 제거하고 육류 영역을 표준화하여 분류기의 입력 일관성을 높임.
• 모델: ResNet-18/34/50 인코더를 사용하는 U-Net.
• 레이블링: 전문가 수동 레이블 대신 GrabCut 알고리즘을 활용한 약지도 (weakly-supervised) 가짜 정답 (pseudo-ground truth) 마스크 생성.
• 성능: IoU 75%, Dice 계수 82% 달성. ResNet-34 인코더가 가장 우수한 성능을 보여 최종 파이프라인에 채택됨.

C. 분류 모델 및 평가 프로토콜

• 백본 (Backbone) 비교: 5 가지 아키텍처 비교 (ResNet-50, ViT-B/16, Swin-T, EfficientNet-B0, MobileNetV3-Small).
• 학습 전략: ImageNet 사전 학습 가중치 사용, 224x224 입력, 레이블 스무딩 및 MixUp 적용.
• 검증: **중첩 5×3 교차 검증 (Nested 5×3 Cross-Validation)**을 사용하여 하이퍼파라미터 튜닝과 모델 선택의 편향을 제거하고 일반화 성능을 정밀하게 평가.

D. OOD 인식 및 거절 메커니즘 (OOD-Aware Abstention)

• 개념: 분류 확신도 (Confidence) 가 낮은 경우 강제로 클래스를 할당하지 않고 **'No Result'**로 거절하여 안전성을 확보.
• 점수화 방법:
  1. MSP (Maximum Softmax Probability): 기본 베이스라인.
  2. ODIN: 온도 스케일링 및 입력 교란 적용.
  3. Energy Score: 로짓 (logits) 기반 점수.
• 평가: ID 데이터와 OOD 데이터 ('No Result' 세트) 를 구분하는 능력 (AUROC, AUPR 등) 과 임계값 ($\tau$) 에 따른 커버리지 - 거절률 트레이드오프 분석.

3. 주요 결과 (Key Results)

A. 분류 성능 (In-Distribution)

• 최고 성능: EfficientNet-B0가 홀드아웃 테스트 세트에서 **98.10%**의 정확도를 기록하여 가장 우수했습니다.
• 기타 모델: ResNet-50 과 MobileNetV3-Small (97.63%), Swin-T (97.51%) 가 그 뒤를 이었습니다.
• ViT-B/16: 94.42% 로 상대적으로 낮은 성능을 보였으며, 포장된 샘플의 반사광 등 시각적 노이즈에 더 취약한 것으로 나타났습니다.
• 오류 분석: 대부분의 오분류는 동일한 포장 조건 내 (신선 vs 부패) 에서 발생했으며, 특히 포장된 샘플의 반사광이나 경계선 부패 (borderline freshness) 에서 어려움이 있었습니다.

B. OOD 탐지 성능

• OOD 분리 능력: Energy Score 와 ODIN 이 MSP 보다 일반적으로 OOD 데이터와 ID 데이터를 더 잘 분리했습니다.
• 거절 메커니즘: 임계값 $\tau=0.5$ 부근에서 설정 시, 낮은 신뢰도 샘플을 거절하면서도 대부분의 유효한 샘플은 유지하는 균형 잡힌 성능을 보였습니다.

C. 온디바이스 효율성 (Mobile Latency)

• 테스트 환경: Samsung Galaxy A55 스마트폰 (TensorFlow Lite).
• 결과:
  • MobileNetV3-Small: 가장 빠른 속도 (6.36ms) 와 경쟁력 있는 정확도 (97.63%).
  • EfficientNet-B0: 최적의 정확도 - 지연 시간 균형 (17.21ms, 정확도 98.10%).
  • ViT-B/16: 가장 느림 (462.75ms) 이고 정확도도 낮음.
• 의미: 경량화된 CNN 모델이 모바일 배포에 가장 적합함을 입증.

4. 주요 기여 (Key Contributions)

1. 통합 파이프라인: 포장 및 비포장 육류 이미지를 모두 처리하고, 불확실한 입력에 대해 'No Result'를 반환하는 OOD 인식 거절 옵션을 포함한 통합 RGB 기반 프레임워크 제안.
2. 분할 전처리: U-Net 기반 분할을 통해 배경 노이즈를 제거하고 분류 입력을 표준화하여 분류 성능을 안정화.
3. 엄격한 벤치마킹: 5 가지 백본 (CNN 및 Transformer) 을 중첩 교차 검증 프로토콜 하에 일관된 조건으로 평가하여 직접적인 정확도 - 효율성 비교 가능.
4. 실제 배포 고려: OOD 점수화 분석뿐만 아니라 스마트폰에서의 실제 지연 시간 (latency) 을 측정하여 실제 배포 시나리오에서의 실용성 제시.

5. 의의 및 결론 (Significance)

• 실용성: 저비용인 일반 RGB 카메라 (스마트폰) 를 사용하여 고가의 특수 센서 (가스 센서, 분광기 등) 없이도 포장된 육류의 신선도를 실시간으로 모니터링할 수 있는 가능성을 입증했습니다.
• 안전성: OOD 인식 메커니즘을 통해 모델이 모르는 상황이나 신뢰도가 낮은 경우 잘못된 예측을 하지 않고 사용자에게 수동 검사를 권고함으로써 식품 안전 시스템의 신뢰도를 높였습니다.
• 향후 과제: 더 다양한 조명 조건과 카메라 타입 확장, 미생물학적 검증 (pH, 세균 수 측정) 을 통한 라벨 정확도 향상, 그리고 분할 단계의 기여도를 분리하여 검증하는 추가 연구가 필요함을 제시했습니다.

이 연구는 컴퓨터 비전 기술을 식품 안전 분야에 적용할 때, 단순한 분류 정확도뿐만 아니라 데이터의 다양성 (포장/비포장), 불확실성 관리 (OOD), 그리고 실제 하드웨어에서의 효율성을 종합적으로 고려해야 함을 강조하는 중요한 사례입니다.