기술 요약: See & Sniff: 시각-후각 표현 학습

문제 정의

현대적인 멀티모달 AI가 시각을 언어, 오디오, 촉각과 통합해 온 데 반해, 후각은 여전히 크게 탐구되지 않은 영역으로 남아 있습니다. 이러한 격차는 주로 쌍을 이룬 시각-후각 데이터의 부족에서 기인합니다. 카메라나 마이크와 달리, 휴대용 후각 센서는 역사적으로 실험실 환경에 국한되어 왔으며, 대규모 공개 데이터셋 또한 그에 상응하는 시각적 정보를 결여하고 있습니다. 최근 SmellNet과 같은 노력들이 대규모 냄새 데이터셋을 공개했으나, 이는 단일 모달(후각 전용)에 머물러 있어 시각적 외형과 냄새 정체성 사이의 공동 표현(joint representation) 학습을 방해합니다. 본 연구가 다루는 핵심 과제는 자연스럽게 쌍을 이루어 수집된 데이터가 없는 상황에서 어떻게 자기 지도 학습(self-supervised learning)을 통해 시각-후각 표현을 학습할 것인가 하는 점입니다.

방법론

1. 데이터셋 구축: SmellNet-V

저자들은 기존의 냄새 전용 데이터와 야생(in-the-wild) 웹 이미지를 합성적으로 쌍을 맺어 구축한 확장 가능한 시각-후각 데이터셋인 SmellNet-V를 소개합니다. 이 접근 방식은 냄새의 정체성이 동일한 의미 범주 내에서의 시각적 변환(예: 조명, 규모 또는 미세한 색상 변화)에 대해 대체로 불변한다는 핵심 통찰에 의존합니다. 예를 들어, 작은 빨간 사과와 큰 빨간 사과는 거의 동일한 휘발성 유기 화합물(VOCs)을 방출하며 동일한 냄새 범주에 속합니다.

구축 파이프라인은 다음과 같습니다:

• 스니핑 유닛(Sniffing Units): SmellNet 데이터셋을 확장하여, 긴 후각 기록을 고정된 길이의 시간 창(생물학적 '킁킁거림'을 모사)으로 분할함으로써 데이터의 세밀도를 높였습니다.
• 이미지 수집: LLM을 사용하여 각 식재료에 대한 문맥이 풍부한 검색 쿼리(예: "나무 테이블 위의 온전한 사과", "식료품 코너의 사과들")를 생성하여 다양한 웹 이미지를 검색했습니다.
• 필터링: CLIP을 활용한 프롬프트 기반 검증(범주 일관성, 사실주의, 유효한 객체 상태 확인), 워터마크 탐지 및 인간의 정제 과정을 포함하는 3단계 파이프라인을 사용했습니다.
• 페어링(Pairing): 각 스니핑 유닛을 동일한 식재료 범주의 이미지와 무작위로 매칭하여 훈련 쌍을 형성했습니다.

2. 프레│워크: See & Sniff

See & Sniff는 **조밀한 국소 정렬(dense local alignment)**을 통해 공동 시각-후각 표현을 학습하도록 설계된 자기 지도 학습 프레임워크입니다.

• 아키텍처: 모델은 두 개의 스트림을 가진 트랜스포머 아키텍처를 채택합니다.
  • 시각 인코더(Visual Encoder): 경량 정렬 레이어(LayerNorm + 1x1 convolution)가 포함된 동결된 DINOv3-Small 백본을 사용합니다.
  • 후각 인코더(Olfactory Encoder): 처음부터 학습된 ScentFormer 아키텍처(4개 층의 트랜스포머)를 따른 후, 2개 층의 MLP 정렬기를 거칩니다.
• 훈련 목적 함수: 프레임워크는 대조 학습(contrastive learning)을 활용합니다. 특징을 풀링하는 표준적인 전역 정렬 방식과 달리, See & Sniff는 **유사도 맵(similarity map)**을 계산합니다.
  • 냄새 특징은 시간에 따라 평균 풀링(average-pooled)됩니다.
  • 시각 특징 맵의 모든 공간적 위치와 집계된 스니프 벡터 간의 내적을 계산하여 유사도 맵 $M \in \mathbb{R}^{H \times W}$을 생성합니다.
  • 최종 유사도 점수는 이 맵의 맥스 풀링(max-pooling)을 통해 도출됩니다.
  • 손실 함수는 배치 내의 양의 쌍(일치하는 냄새와 이미지)을 끌어당기고 음의 쌍(불일치하는 이미지)을 밀어냅니다.

3. 새로운 태스크 및 벤치마크

본 논문은 세 가지 다운스트림 태스크를 도입하고 평가합니다:

1. 냄새 분류(Smell Classification): 후각 입력만을 사용하여 식재료 범주를 예측합니다.
2. 교차 모달 검색(Cross-Modal Retrieval): 냄새와 시각 간의 양방향 검색(예: 냄새를 통해 이미지를 검색하거나, 그 반대의 경우)을 수행합니다.
3. 냄새 국소화(Smell Localization): 모델이 시각적 장면 내에서 냄새의 공간적 위치를 식별해야 하는 새로운 태스크입니다. 이는 식재료에 대한 픽셀 단위 세그멘테이션 마스크를 포함하는 새롭게 구축된 벤치마크인 SmellNet-V-Source를 통해 평가됩니다.

주요 기여

1. SmellNet-V 데이터셋: 냄새 불변성을 활용하여 냄데 전용 데이터를 다양한 웹 이미지와 합성적으로 페어링함으로써, 비용이 많이 드는 공동 수집 과정을 우회한 최초의 대규모 시각-후각 데이터셋을 구축했습니다.
2. See & Sniff 프레임워크: 조밀한 국소 정렬을 통해 공동 표현을 학습하고, 자연스럽게 냄새의 공간적 근거(spatial grounding)를 위한 냄새 돌출 맵(smell saliency maps)을 생성하는 자기 지도 학습 모델을 제안했습니다.
3. 냄새 국소화 태스크: 픽셀 단위의 냄새 국소화 데이터셋과 벤치마크를 동반한 냄새 국소화라는 새로운 다운스트림 태스크를 도입했습니다.
4. 성능 향상: 시각-후각 훈련이 고유한 후각 표현 학습을 강화하며, 냄새 전용 베이스라인을 능가함을 입증했습니다.

실험 결과

냄새 분류

SmellNet-Test 세트(냄새 전용 추론)에서 평가했을 때, See & Sniff 모델은 냄새 전용 ScentFormer 베이스라인(57.71%)보다 7% 향상된 정확도(50.6%)를 달 기록했습니다. 이러한 이득은 모든 식재료군(과일, 허브, 견과류, 향신료, 채소)에서 일관되게 나타났으며, 특히 시각적 구조가 뚜렷한 범주(예: 과일, 견과류)에서 주목할 만한 개선을 보였습니다.

교차 모달 검색

SmellNet-V-Test 세트에서 See & Sniff는 6개 지표 중 4개에서 최고의 성능(양방향 모두에 대한 Recall@1, @5, @10)을 달성했습니다. 특히 더 까다로운 Recall@1 설정에서 전역 정렬 베이스라인을 능가하여, 더 미세한 매칭 능력을 보여주었습니다.

냄새 국소화

모델은 SmellNet-V-Source 벤치마크에서 모든 베이스라인을 크게 앞질렀습니다:

• mAP: 0.8362 (See & Sniff) vs. 0.6676 (Global alignment) 및 0.1736 (Global-CLIP).
• mIoU: 0.6456 (See & Sniff) vs. 0.5016 (Global alignment).
• 핵심 발견: 공간적 근거를 마련하기 위해서는 조밀한 국소 정렬이 필수적이었습니다. 전역 정렬 방식은 공간적 교차 모달 상호작용을 모델링하는 데 실패했습니다. 또한, 통합 엔드투엔드 모델은 계단식 파이프라인(SmellNet + SAM3)보다 뛰어난 성능을 보였으며, 이는 결합된 특징 상호작용의 필요성을 입증합니다.
• 상호작용 국소화: 단일 이미지 내에 여러 식재료가 있는 시나리오에서, See & Sniff는 특정 냄새 쿼리에 따라 예측 영역을 성공적으로 전환한 반면, 전역 방식과 시각 전용 베이스라인은 실패했습니다.

의의 및 주장

본 논문은 See & Sniff를 멀티모달 인지 시스템에 후각을 통합하기 위한 기초적인 단계로 포지셔닝합니다. 저자들은 다음과 같이 주장합니다:

• 시각적 감독은 후각 학습을 강화한다: 시각이 단순히 보조적인 역할이라는 가정과 달리, 시각 데이터는 냄새의 고유한 표현을 크게 강화하며, 추론 시 시각 정보가 존재하지 않을 때도 분류 성능을 향상시킵 만큼 강력합니다.
• 합성 페어링은 실행 가능하다: 의미적 불변성에 기반하여 냄데 전용 데이터와 야생 이미지를 페어링하는 전략은 비용이 많이 드는 실제 데이터 수집의 효과적이고 확장 가능한 대안입니다.
• 공간적 근거 설정이 가능하다: 조밀한 국소 정렬을 학습함으로써, 모델은 단순한 분류를 넘어 냄새의 근원을 공간적으로 국소화할 수 있으며, 이는 기계 후각 분야에서 이전에 탐구되지 않았던 능력입니다.

이 연구는 분류, 검색, 공간 근거 설정을 위한 새로운 벤치마크를 확립하며, 기계 후각을 단일 모달 모델링 너머로 확장합니다. 저자들은 향후 연구가 부패 상태(spoilage)나 복잡한 혼합 냄새로 확장될 수 있음을 언급하면서도, 현재의 기여는 정상적이고 비부패된 식재료 상태에서의 시각-후각 학습 가능성을 확립하는 데 집중되어 있다고 명시했습니다.