New York Smells: A Large Multimodal Dataset for Olfaction

컴퓨터가 장미 사진을 보고 즉시 그 달콤한 향기를 알 수 있는 세상을 상상해 보십시오. 수십 년 동안 기계는 시각, 청각, 심지어 촉각의 달인이 되어 왔으며, 사진과 오디오 클립 속의 패턴을 놀라운 속도로 인식하는 법을 학습해 왔습니다. 하지만 한 가지 감각이 그들에게는 여전히 미스터리로 남아 있습니다. 바로 후각입니다. 개와 같은 동물들이 코를 이용해 세상을 탐색하고, 먹이를 찾고, 위험을 감지하는 반면, 기계는 무언가를 "맡는" 데 어려움을 겪어 왔습니다. 주된 이유는 기술이 불가능해서가 아니라 데이터가 부족하기 때문입니다. 컴퓨터에게 냄새를 가르치려면 특정 냄새가 정확히 무엇에 의해 발생하는지와 결합된 방대한 사례 라이브러리가 필요합니다. 지금까지 대부분의 냄새 데이터는 단일 물체만을 대상으로 하는 불모의 조용한 실험실에서 수집되었으며, 이는 실제 세상의 무질서하고 복잡한 현실을 반영하지 못했습니다.

이 논문은 "뉴욕 스멜즈(New York Smellss)"라고 불리는 거대한 새로운 진보를 소개합니다. 컬럼비아 대학교, 코넬 대학교, 그리고 오스모 랩스(Osmo Labs)의 연구진으로 구성된 이 연구팀은 말 그대로 야생으로 나갔습니다. 그들은 뉴욕시의 공원, 도서관, 체육관, 그리고 도시의 거리들을 직접 걸어 다녔습니다. 그들은 고해상도 카메라를 전자 코(공기 중의 화학 물질을 감지하는 장치) 바로 옆에 부착한 특수 배낭형 장비를 제작했습니다. 그들이 걸어 다니는 동안, 피자 한 조 slices부터 이끼 덩어리, 나무 벤치, 플라스틱 봉투에 이르기까지 수천 개의 이미지와 냄새 쌍을 기록했습니다. 그들은 단순히 스냅샷을 찍은 것이 아니라, 공기가 물체 주변을 움직임에 따라 냄새가 어떻게 변하는지를 포착하며 시간의 흐름에 따른 냄새를 기록했습니다. 이러한 실세계의 냄새를 실제 냄새의 원인이 되는 시각적 데이터와 결합함으로써, 그들은 3,500개의 서로 다른 물체를 아우르는 7,000개의 고유한 냄새-이미지 쌍이 담긴 데이터셋을 만들어냈습니다. 이는 이전의 어떤 냄새 데이터셋보다 약 70배나 큰 규모입니다.

연구팀은 이 새로운 라이브러리를 사용하여 컴퓨터가 냄새를 이해하는 법을 가르쳤습니다. 그들은 "대조 학습(contrastive learning)"이라는 방법을 시도했는데, 이는 거대한 매칭 게임을 하는 것과 같습니다. 컴퓨터는 책의 사진과 책의 냄새를 동시에 보여주며 둘을 연결하는 법을 배웁니다. 그런 다음, 새로운 냄개를 보고 그에 맞는 사진을 찾거나, 사진을 보고 냄새를 추측할 수 있는지 테스트합니다. 결과는 놀랍고 유망했습니다. 컴퓨터는 가공되지 않은 생(raw) 상태의 냄새 데이터(센서로부터 오는 무질서한 실시간 신호)가 과학자들이 통상적으로 사용하는 "정제된" 요약본보다 학습에 훨씬 더 효과적이라는 것을 배웠습니다. 실제로 컴퓨터는 냄께만으로도 물체와 재료를 구별할 수 있었는데, 이는 훈련 과정 중에 시각적 신호를 감독관으로 사용했기 때문이었습니다. 심지어 공원에 나란히 자라고 있는 매우 유사한 두 종류의 잔디도 구분해 낼 수 있었습니다.

이 논문은 기계에게 시각적인 "선생님"을 제공함으로써, 기계가 실험실이 아닌 실제 세상에서 냄새를 배우도록 도울 수 있다고 제안합니다. 연구진은 컴퓨터가 사진을 통해 학습을 유도할 때, 냄새 데이터만으로 학습하려고 할 때보다 훨씬 더 예리한 후각을 발달시킨다는 것을 발견했습니다. 이것이 컴퓨터가 아직 개처럼 냄새를 맡을 수 있다는 뜻은 아니지만, 시각과 후각을 연결하는 것이 기계에게 화학적 세계를 가르치는 강력한 방법임을 입증합니다. 연구진은 자신들의 데이터가 한 도시에서 온 것이며 센서가 모든 화학 물질을 감지할 수는 없다는 점을 주의 깊게 명시했지만, 하나의 문을 열었습니다. 그들은 만약 우리가 기계에게 다양하고 실제적인 냄새와 시각의 라이브러리를 제공한다면, 기계가 우리 주변의 보이지 않는 세계에 대한 스스로의 이해를 구축하기 시작할 수 있음을 보여주었습니다.