연구팀은 AI 에게 1,010 개의 문제를 냈습니다. 마치 **요리사에게 "이 재료를 섞으면 어떤 맛이 날까?"**를 물어보는 것과 비슷합니다.
문제 유형: "이 분자는 냄새가 나나요?", "이건 향기로운가 아니면 역한가?", "이 두 향수를 섞으면 어떤 냄새가 날까?", "이 화학 물질은 어떤 냄새를 맡는 세포 (수용체) 를 자극할까?" 등 다양한 질문이 있었습니다.
특이점: 문제는 두 가지 방식으로 냈습니다.
이름으로: "민트 (Mint)"라고 이름만 줌.
화학 구조로: "C1=CC=C..."처럼 분자의 모양 (SMILES) 을 그림처럼 줌.
2. 핵심 발견: "이름 외우기" vs "구조 이해하기"
시험 결과는 매우 흥미로웠습니다.
이름을 주면 잘 맞췄어요: AI 가 "민트"라는 단어를 보면, 훈련 데이터에서 "민트 = 상쾌한 냄새"라는 연결고리를 기억해내서 정답을 잘 맞췄습니다. (비유하자면, 요리책의 레시피 제목만 보고 "이건 맛있는 요리겠지"라고 추측하는 것입니다.)
화학 구조를 주면 망했어요: 하지만 분자의 모양 (화학 구조) 을 주면 AI 는 거의 못 맞췄습니다. 특히 민트와 카라웨이 (로즈마리 같은 향) 는 분자 구조가 거의 똑같은데 (거울상 이성질체), 냄새는 완전히 다릅니다. AI 는 이 미세한 차이를 구조로 파악하지 못했습니다.
결론: 현재 AI 는 냄새를 '이해'하는 게 아니라, '단어'를 기억하고 있을 뿐입니다. 마치 외국어를 배우는데 문법 (화학 구조) 은 모르고, 외운 단어 (이름) 만으로 대화하는 학생과 같습니다.
3. 가장 어려운 문제들: "혼합된 향"과 "세포 반응"
혼합된 향 (Mixture Similarity): "A 향수와 B 향수를 섞으면 어떤 냄새가 날까?"라는 문제는 AI 가 가장 힘들어했습니다.
비유: AI 는 레고 블록을 하나하나 세어 "이 블록이 없으니 다른 냄새겠지"라고 생각합니다. 하지만 실제 냄새는 블록을 섞으면 **새로운 감성 (Emergent property)**이 생깁니다. AI 는 이 '새로운 느낌'을 예측하지 못해, 섞인 냄새가 비슷할 때도 "완전히 다르다"라고 잘못 판단했습니다.
수용체 활성화 (Receptor Activation): "이 분자가 우리 코의 어떤 센서를 자극할까?"라는 문제는 마치 특정 열쇠 (분자) 가 어떤 자물쇠 (코의 센서) 에 들어맞는지를 맞추는 문제입니다. AI 는 이 생물학적 연결고리를 거의 알지 못했습니다.
4. 언어의 마법: 여러 언어로 말하면 더 똑똑해진다?
연구팀은 이 문제를 21 개 언어 (영어, 한국어, 독일어 등) 로 번역해서 테스트했습니다.
발견: 영어가 가장 잘했지만, 여러 언어의 답을 합치면 (Ensemble) 성능이 더 좋아졌습니다.
비유: 한 사람이 냄새를 설명할 때 "꽃향기"라고만 말하지만, 다른 언어권 사람은 "달콤한 꽃내음"이라고 더 구체적으로 설명할 수 있습니다. AI 가 여러 언어의 답을 모아서 종합하면, 마치 여러 전문가가 모여 회의하는 것처럼 더 정확한 냄새 예측이 가능해졌습니다.
5. 결론: AI 는 아직 '코'가 없다
이 연구는 현재 AI 가 화학 구조를 통해 냄새를 '이해'하는 단계에는 훨씬 멀었다는 것을 보여줍니다.
현재 상태: AI 는 냄새에 관한 '지식'은 많이 가지고 있지만, '직관'은 없습니다.
미래: 향수 회사나 식품 회사가 AI 를 이용해 새로운 향을 개발하려면, AI 가 단순히 단어를 외우는 것을 넘어 분자의 모양과 냄새의 관계를 진짜로 이해할 수 있도록 훈련시켜야 합니다.
한 줄 요약:
"지금의 AI 는 '민트'라는 단어를 보면 민트 냄새를 상상할 수는 있지만, 민트 모양의 분자를 보고 "아, 이건 민트 냄새구나!"라고 깨닫는 능력은 아직 없습니다. 우리는 AI 에게 '코'를 달아주기 위해 더 많은 훈련이 필요합니다."
1. 연구 배경 및 문제 정의 (Problem)
후각의 복잡성: 후각은 시각 (파장 - 색상) 이나 청각 (주파수 - 음높이) 과 달리 분자 구조와 수용체 생물학 간의 복잡한 상호작용을 통해 작동하며, 그 메커니즘이 완전히 규명되지 않았습니다.
LLM 의 한계: 최근 LLM 은 화학 구조식 (SMILES) 해석, 반응 예측 등 화학적 추론에서 뛰어난 성과를 보였으나, 분자 구조가 어떻게 후각적 지각 (냄새) 으로 변환되는지를 추론할 수 있는지에 대한 체계적인 평가는 부재했습니다.
기존 연구의 부족: 기존 연구들은 주로 텍스트 기반의 의미적 유사성 (semantic similarity) 을 평가하거나, 특정 머신러닝 모델 (GNN 등) 에 초점을 맞추었으며, 일반 목적의 LLM 이 후각에 대한 사실적 지식 (factual knowledge) 을 가지고 있는지, 그리고 분자 구조를 직접적으로 추론하는지 여부를 평가한 벤치마크는 없었습니다.
2. 방법론 (Methodology)
2.1 Olfactory Perception (OP) 벤치마크 구축
데이터 규모: 총 1,010 개의 질문으로 구성되며, 8 가지 작업 범주에 걸쳐 있습니다.
8 가지 작업 범주:
Odor Classification (OC): 분자가 냄새가 나는지 (Odorous) 없는지 (Odorless) 이진 분류.
Odor Primary Descriptor (OPD): 주된 냄새 설명어 (Primary Descriptor) 선택.
Odor Intensity (OIn) & Pleasantness (OPl): 두 분자 중 더 강하거나 더 pleasant 한 냄새를 가진 것을 비교 및 0-100 점 척도 평가.
Rate-all-that-apply (RATA): 138 가지 설명어 중 해당 분자에 적용되는 모든 설명어 선택 (다중 레이블).
Odor Similarity of Mixtures (OS): 두 가지 혼합물의 냄새 유사성 평가.
Olfactory Receptor Activation (ORA): 특정 분자가 어떤 후각 수용체 (OR) 를 활성화하는지 식별.
Smell Identification Test (SIT): 분자 혼합물을 보고 실제 음식/사물 (예: 딸기, 치즈 등) 의 냄새를 식별.
데이터 소스: IFRA, DREAM Challenge, Principal Odor Map, M2OR 등 검증된 후각 과학 데이터셋에서 파생된 Ground Truth 사용.
2.2 이중 프롬프트 전략 (Dual-Prompting Strategy)
핵심 설계: 각 질문을 두 가지 형식으로 제시하여 모델의 추론 방식을 분석합니다.
Compound Name (화합물명): "Vanillin", "Carvone" 등 일반적인 이름.
Isomeric SMILES: 분자의 구조적 정보를 담은 문자열 (예: C1=CC=C(C=C1)C=O).
목적: 모델이 어휘적 연관성 (Lexical Association) 을 통해 답하는지, 아니면 분자 구조적 추론 (Structural Reasoning) 을 통해 답하는지 구분하기 위함입니다. 특히 거울상 이성질체 (Enantiomers) 의 경우 냄새가 완전히 다를 수 있어 (예: (R)-카본은 박하, (S)-카본은 캐러웨이 냄새) 이 전략이 중요합니다.
2.3 평가 대상 및 환경
모델: OpenAI (GPT-5/o3/o4 시리즈), Google (Gemini 2.5), Anthropic (Claude Opus/Sonnet), xAI (Grok), DeepSeek, Llama 등 6 개 제공사의 21 가지 모델 구성.
다국어 평가: RATA 작업을 21 개 언어로 번역하여 평가하고, 언어 간 앙상블 효과를 분석했습니다.
추론 예산 (Reasoning Budget): 모델의 추론 토큰 수 (8K, 16K, 32K 등) 를 조절하여 추론 깊이가 성능에 미치는 영향을 분석했습니다.
3. 주요 기여 (Key Contributions)
최초의 체계적인 후각 벤치마크: LLM 의 후각 추론 능력을 사실적 질문 - 답변 형식으로 평가하는 최초의 포괄적인 프레임워크 (OP Benchmark) 를 제시했습니다.
표현 형식의 영향 규명: 화합물명 프롬프트와 SMILES 프롬프트 간의 성능 차이를 정량화하여, 현재 LLM 이 후각 지식을 주로 어휘적 기억에 의존하고 있음을 증명했습니다.
다국어 및 앙상블 분석: 후각 지식이 언어에 따라 어떻게 변하는지, 그리고 다국어 앙상블이 예측 정확도를 어떻게 향상시키는지 (AUROC 0.86) 를 최초로 보고했습니다.
4. 주요 결과 (Results)
4.1 전반적 성능
최고 성능: Claude Opus 4.6 (max) 이 화합물명 프롬프트 기준 64.4% 의 전체 정확도를 기록하며 1 위를 차지했습니다.
성능 격차: 단순 작업 (냄새 유무 판별, 강도 비교) 에서는 90% 이상의 높은 정확도를 보였으나, 복잡한 작업 (혼합물 유사성, 수용체 활성화) 에서는 성능이 급격히 떨어졌습니다 (최고 30~50% 대).
모델 간 차이: Anthropic 과 OpenAI 의 최상위 모델이 선두를 달렸으며, 오픈소스 모델 (Llama 3.3 70B) 은 상용 모델보다 성능이 현저히 낮았습니다.
4.2 표현 형식 (Name vs. SMILES) 의 영향
명확한 성능 차이: 모든 모델에서 화합물명 (Compound Name) 프롬프트가 SMILES 프롬프트보다 평균 7% 포인트 (최대 18.9% 포인트) 더 높은 성능을 보였습니다.
예: Llama 3.3 70B 는 이름 기준 52.7% 이었으나 SMILES 기준 33.8% 로 떨어졌습니다.
의미: 이는 현재 LLM 이 분자 구조를 직접적으로 추론하기보다는, 훈련 데이터에 존재하는 화합물명과 냄새의 어휘적 연관성을 기반으로 답하고 있음을 시사합니다.
4.3 추론 예산 (Reasoning Budget) 의 효과
화학 벤치마크 (ChemIQ 등) 와 달리, 추론 토큰 수를 늘리는 것이 후각 작업 성능을 크게 향상시키지는 못했습니다 (평균 2% 포인트 미만 향상). 이는 후각 지식이 일반적인 화학 추론보다 더 제한된 사실적 지식에 의존할 가능성이 높음을 시사합니다.
4.4 다국어 및 앙상블
영어가 가장 높은 성능을 보였으나, 21 개 언어의 예측을 앙상블 (다수결) 하면 AUROC 0.828로 단일 언어 모델보다 성능이 크게 향상되었습니다. 이는 서로 다른 언어가 서로 다른 냄새 설명어 집합을 제공하여 상호 보완적 역할을 함을 의미합니다.
4.5 실패 모드 분석
혼합물 유사성 (OS): 모델들은 분자 구성 성분의 겹침 (Molecular Overlap) 을 지각적 유사성의 지표로 잘못 사용했습니다. 실제 인간은 겹치는 분자가 적어도 냄새가 비슷할 수 있지만, 모델은 겹치는 분자가 적으면 "매우 다름"이라고 판단하는 경향이 있었습니다.
수용체 활성화 (ORA): 특정 수용체 변이 (예: D296N) 에 대한 지식 격차가 명확히 드러났습니다. 일부 모델은 구조적 가정을 잘못 적용하여 수용체 기능을 부정하는 오류를 반복했습니다.
5. 의의 및 결론 (Significance & Conclusion)
과학적 의의: LLM 이 감각 지각 (특히 후각) 을 얼마나 이해하고 있는지, 그리고 그 지식이 어떻게 인코딩되어 있는지 (구조적 vs 어휘적) 에 대한 새로운 통찰을 제공합니다.
실용적 의의: 향수/향미 개발, 악취 오염 물질 식별 등 후각 관련 응용 분야에서 LLM 의 현재 한계와 가능성을 명확히 하여, 향후 모델 개발 방향을 제시합니다.
향후 과제:
현재 모델은 분자 구조를 직접 추론하는 능력이 부족하므로, 화학 정보학 도구와의 하이브리드 시스템 개발이 필요합니다.
안전 정렬 (Safety Alignment) 이 과학적 평가 (예: 신경가스 냄새 유무 질문) 와 충돌하는 사례가 발견되었으며, 벤치마크 설계 시 이를 고려해야 합니다.
다중 모달 (이미지, 음성 등) 입력을 통한 후각 경험의 구체화 (Grounding) 가 필요합니다.
이 논문은 LLM 이 시각이나 청각뿐만 아니라 후각 정보도 처리할 수 있어야 한다는 점을 강조하며, 화학 구조와 감각 지각을 연결하는 AI 의 발전에 중요한 이정표가 됩니다.