당신의 스마트폰이 당신이 무엇을 보는지, 무엇을 말하는지뿐만 아니라 공기 중에 무엇이 있는지도 '냄새'를 맡을 수 있는 세상을 상상해 보십시오. 수십 년 동안 컴퓨터는 사진 속의 얼굴을 인식하고 책 속의 문장을 이해하는 데는 탁월했지만, 후각에 대해서는 완전히 무감각했습니다. 컴퓨터는 설령 눈앞에 갓 구운 쿠키와 타이어 타는 냄새가 나는 상황을 보고 있더라도, 그 둘을 구분하지 못합니다. 이 논문은 후각(냄새를 맡는 감각)이라는 기묘하고도 보이지 않는 세계를 파고들며, 컴퓨터에게 특정 향기를 그 향기를 만들어낸 물체와 연결하는 법을 가르치고자 합니다.

이것이 어떻게 작동하는지 이해하려면, 컴퓨터의 '두뇌'를 모든 아이디어가 특정 선반의 특정 위치에 놓여 있는 거대한 도서관이라고 생각하십시오. 보통 '개'의 사진은 '개'라는 단어 근처에 있고, '고양이' 사진은 '고고양이' 근처에 있습니다. 이것을 **공유 공간(shared space)**이라고 부릅니다. 과학자들은 시각과 언어를 위한 거대한 도서관을 구축해 왔지만, 냄새를 위한 유사한 섹션을 구축할 만큼 충분한 '냄새 관련 책'을 가져본 적이 없습니다. 핵심적인 질문은 이것입니다. 로봇에게 냄새를 맡게 하고, 방 안을 둘러보게 한 뒤, "아, 이 냄새는 토스터기가 아니라 커피 머신에서 나는 것이구나"라고 추측하도록 가르칠 수 있을까요? 단, 커피 머신에서 커피 향이 나는 사진을 이전에 본 적이 없더라도 말입니다. 이 논문은 분자의 화학적 구조, 이를 감지하는 가스 센서, 그리고 우리가 카메라로 찍은 사진 사이의 간극을 메우기 위해 정확히 그 과정을 탐구합니다.

"냄케-시각"의 가교: COLIP-2 소개

Scentience, Inc.가 개발한 새로운 종류의 컴퓨터 두뇌인 COLIP-2(Contrastive Olfaction-Language-Image Pre-training 2)를 만나보십시오. 이것은 네 가지 언어를 동시에 구사하는 범용 번역기라고 생각하면 됩니다: 분자(작은 화학적 구성 요소), 센서(공기를 들이마시는 전자 코), 단어(‘시트러스 향이 나는’ 또는 ‘매캐한’ 같은 묘사), 그리고 이미지(카메라가 보는 것)입니다.

이전에는 로봇에게 특정 냄새를 찾게 하려면, 마치 개가 특정 마약을 찾는 법을 배우듯 한 번에 하나의 특정 향기만을 가르쳐야 했습니다. 하지만 COLIP-2는 다릅니다. 이 모델은 냄사의 개념을 배우려고 노력합니다. 분자의 화학적 구조, 가스 센서의 측정값, 그리고 텍스트 설명을 가져와서, 이미 세상의 사진들을 담고 있는 컴퓨터의 보이지 않는 '선반' 안에 이 모든 것을 한데 뭉쳐 넣습니다.

작동 원리: "사진 없는" 기술

여기 영리한 부분이 있습니다. 연구진은 '냄새 나는 물체'에 대한 수백만 장의 사진을 가지고 있지 않았습니다. 그런 데이터는 아직 존재하지 않기 때문입니다. 그래서 그들은 영리한 지름길을 사용했습니다. 그들은 '꽃 같은' 혹은 '탄 듯한'과 같은 단어들이 이미 컴퓨터의 뇌 속에 (이미지와 텍스트를 통해) 살고 있다는 사실을 깨달았습니다.

여러분이 '꽃'이 '정원' 근처에 있고 '불'이 '연기' 근처에 있는 세계 지도를 가지고 있다고 상상해 보십시오. COLIP-2는 냄새(예: 분자)를 가져와서 "이것을 설명하는 단어는 무엇인가?"라고 묻습니다. 만약 그 냄새가 '시트러스 향'이라면, 모델은 그 냄새를 지도상의 '시트러스'라는 단어 바로 옆에 배치합니다. 컴퓨터는 이미 '시트러스'라는 단어가 레몬이나 오렌지 사진 근처에 있다는 것을 알고 있기 때문에, 그 냄새는 비록 레몬을 본 적이 없더라도 갑자기 레몬이 어디에 있는지 알게 됩니다! 이는 마치 새로운 맛이 '레몬' 같다는 것을 배우자마자, 한 번도 가본 적 없는 숲속에서 레몬 나무가 정확히 어디에 있는지 알게 되는 것과 같습니다.

두 가지 버전: 클라우드 vs 에지

이 논문은 이 두뇌의 두 가지 버전을 설명합니다:

1. 클라우드 거인 (The Cloud Giant): 강력한 서버에서 구동되는 거대하고 매우 정확한 버전(11억 5천만 개의 파라미터)입니다. 이것은 요리를 맛보고 그 안의 모든 향신료를 설명할 수 있는 마스터 셰프와 같습니다.
2. 에지 포켓 (The Edge Pocket): 로봇의 두뇌나 모바일 기기에서 실행되도록 설계된 작고 가벼운 버전(1억 1백만 개의 파라미터)입니다. 정확도는 조금 떨어지지만, 오프라인에서도 빠르게 실행되어 로봇이 실시간으로 공기를 맡고 냄새를 가리킬 수 있게 해줍니다.

실제로 할 수 있는 일

이 모델에 지저로한 주방 사진과 '알코올'이라는 센서 값을 입력하면, 모델은 단순히 "알코올 감지됨"이라고 말하는 데 그치지 않습니다. 이미지 위에 **히트맵(heat map)**을 그립니다. 모델은 보드카 병 위를 따뜻하고 빛나는 색상으로 강조하여, 로봇에게 냄새가 정확히 어디에서 오고 있는지를 보여줍니다.

논문에 따르면, 테스트된 분자의 약 **90%**에 대해 모델은 상위 5개의 추측 안에 올바른 냄새 설명을 찾아낼 수 있었습니다. 냄새의 근원을 사진에서 식별하는 데 있어서는, 정확한 일치(exact matches)의 경우 약 72%, 일반적인 범주(예: '사과' 대신 '과일')를 물었을 경우 약 **90%**의 확률로 정답을 맞혔습니다.

한계: 실수를 범하는 지점

저자들은 이 모델이 할 수 없는 것에 대해 매우 솔직하게 밝히고 있습니다. 이것은 마법 지팡이가 아닙니다.

• '가족'을 찾는 자이지, '탐정'이 아닙니다: 이 모델은 "그것은 시트러스 향이다"라고 말하는 데는 뛰어나지만, "그것은 오렌지가 아니라 구체적으로 레몬이다"라고 말하는 데는 어려움을 겪습니다. 모델은 단일하고 고유한 분자를 식별하기보다는 '가족' 수준(예: "스모키한", "플로럴한")에서 가장 잘 작동합니다.
• 새로운 것에 대한 마법은 없습니다: 만약 모델이 한 번도 본 적 없는 완전히 새로운 화학 물질을 입력받는다면, 그것의 이름을 완벽하게 맞출 수 없습니다. 모델은 그것이 속한 '가족'을 추측할 뿐, 정확한 정체는 알지 못합니다.
• 안전용이 아닙니다: 논문은 명시적으로 경고합니다: 독성 가스 누출을 감지하거나 식품의 안전성을 확인하는 데 이 모델을 사용하지 마십시오. 이 모델은 정밀한 측정값이 아닌 순위와 확률을 제공합니다. 만약 로봇이 어떤 냄새를 가스 누출일 '가능성이 높다'고 판단하더라도 그것이 틀릴 수 있으며, 이는 위험할 수 있습니다. 이것은 연구용 도구이지 안전 장치가 아닙니다.

미래: 함께 배우기

논문은 가장 큰 장애물이 컴퓨터의 지능이 아니라 데이터의 부족이라고 제안합니다. 우리는 모델을 완벽하게 가르칠 만큼의 '냄새와 시각' 결합 사례를 충분히 가지고 있지 않습니다. 이를 해결하기 위해 팀은 **연합 학습(Federated Learning)**이라는 방법을 사용하고 있습니다. 수천 대의 로봇과 센서가 전 세계에서 각자 무언가를 냄새 맡으며 배우되, 자신의 개인적인 사진이나 가공되지 않은 데이터를 공유하지 않는다고 상상해 보십시오. 그들은 배운 '교훈'만을 중앙의 두뇌로 보내고, 중앙의 두-뇌는 다시 더 똑똑해진 버전을 모두에게 보냅니다. 이런 방식으로, 전체 플릿(fleet)은 각자의 데이터를 비밀로 유지하면서도 함께 더 똑똑해질 수 있습니다.

결 요약

COLIP-2는 우리가 이미 알고 있는 단어를 사용하여 컴퓨터에게 냄새를 시각과 연결하는 법을 가르칠 수 있음을 입증하며 중요한 진전을 이루었습니다. 이는 적절한 아키텍처가 있다면 로봇이 장면을 보고 "그릴에서 연기 냄새가 나고 있어요"라고 말할 수 있음을 시사합니다. 그러나 저자들은 이것이 시작일 뿐임을 강조합니다. 이 모델은 현재의 공개 데이터로 가능한 한계를 보여주는 프로토타입입니다. 진정으로 완벽한 냄새-시각 로봇을 얻으려면, 우리는 새로운 데이터셋을 구축하고 냄새와 사진이 짝지어진 수백만 개의 사례를 더 많이 수집해야 합니다. 그때까지 COLIP-2는 연구자들이 로봇의 코를 만드는 미래를 구축하기 위한 강력하고도 흥미로운 도구가 될 것입니다.