MolQuest: A Benchmark for Agentic Evaluation of Abductive Reasoning in Chemical Structure Elucidation
이 논문은 기존 정적 평가의 한계를 극복하고 화학 구조 규명이라는 복잡한 과학적 추론 능력을 측정하기 위해 실제 실험 데이터를 기반으로 한 다중 턴 상호작용형 에이전트 평가 프레임워크인 'MolQuest'를 제안하고, 이를 통해 최신 대형 언어 모델들조차도 실제 과학 시나리오에서 50% 미만의 낮은 정확도를 보이며 전략적 추론에 큰 한계가 있음을 입증했습니다.
이 논문은 **"인공지능 (AI) 이 정말로 과학자처럼 생각할 수 있을까?"**라는 질문에 답하기 위해 진행된 흥미로운 실험입니다. 기존의 AI 평가 방식이 가진 한계를 지적하고, 새로운 방식의 테스트인 **'MolQuest(몰퀘스트)'**를 소개합니다.
이 내용을 일반인도 쉽게 이해할 수 있도록 비유와 함께 설명해 드릴게요.
1. 기존 방식의 문제점: "시험지 다 주고 답만 고르라" 📝
지금까지 AI 의 과학 능력을 평가할 때는 주로 기존의 객관식 문제를 사용했습니다.
상황: AI 에게 "이 물질의 구조는 무엇인가요?"라고 물으며, 모든 실험 데이터 (스펙트럼 등) 를 한 번에 다 보여줍니다.
문제점: 이는 마치 수학 문제를 풀 때, 모든 공식과 계산 과정이 적힌 시험지를 먼저 보여주고 답만 고르게 하는 것과 같습니다.
AI 가 진짜로 추리 능력을 썼는지, 아니면 그냥 암기를 했는지 알 수 없습니다.
실제 과학 연구는 데이터가 한 번에 다 주어지지 않습니다. 실험을 하나씩 해가며 단서를 찾아야 하죠.
2. MolQuest 의 등장: "미스터리 탐정 게임" 🕵️♂️
저자들은 AI 를 실제 실험실의 화학자처럼 행동하게 만들었습니다. 이것이 바로 MolQuest입니다.
게임 규칙:
AI 는 미지의 물질을 앞에 두고 시작합니다.
처음에는 아무것도 모릅니다.
AI 는 **"이제 무엇을 측정할까?"**라고 스스로 결정해야 합니다. (예: "분자량을 재볼까?", "핵자기공명 (NMR) 스펙트럼을 볼까?")
실험을 요청하면, 실제 실험 데이터가 하나씩 주어집니다.
AI 는 그 데이터를 보고 가설을 세우고, 다시 새로운 실험을 요청하며 가설을 수정해 나갑니다.
최종적으로 "이 물질의 구조는 이것입니다!"라고 답을 제출합니다.
비유하자면:
기존 방식: 수사관이 모든 증거 (지문, CCTV, 목격자 진술) 를 한 번에 책상 위에 펼쳐놓고 "범인은 누구야?"라고 묻는 것.
MolQuest: 수사관이 단서 하나를 찾아서 범인의 정체를 추리하고, 필요하면 다시 현장에 가서 새로운 증거를 찾아야 하는 실제 추리극입니다.
3. 실험 결과: AI 들의 실력은 어떨까? 📉📈
최신 AI 모델 12 개를 이 게임에 참여시켰는데, 결과는 놀라웠습니다.
성공한 AI (최상위권):
일부 모델 (예: Gemini 3 시리즈) 은 **약 50%**의 정확도를 보였습니다.
이들은 마치 노련한 탐정처럼, "이 단서가 중요해, 이걸 먼저 확인하자"라고 전략적으로 실험을 선택했습니다.
실패한 AI (하위권):
대부분의 모델은 30% 미만의 성적을 냈습니다.
어떤 모델은 불필요한 실험을 반복하거나 (예: 이미 아는 정보를 다시 측정), 증거를 무시하고 엉뚱한 결론을 내렸습니다.
마치 초보 탐정이 증거를 제대로 연결하지 못하고 "아마도 범인은 저 사람일 거야"라고 임의의 추측을 하는 것과 비슷했습니다.
4. 핵심 발견: "도구"가 되는 AI vs "방해"가 되는 AI 🛠️
이 연구에서 가장 중요한 발견은 상호작용 방식이 AI 에 따라 다르게 작용한다는 점입니다.
도구 (Scaffold) 가 된 경우:
어떤 AI 는 단계별로 정보를 얻어가는 방식이 생각을 정리하는 데 도움이 되었습니다. 복잡한 문제를 작은 조각으로 나누어 해결하는 능력이 향상되었습니다.
방해 (Crucible) 가 된 경우:
다른 AI 는 오히려 혼란을 겪었습니다. 스스로 실험을 계획해야 한다는 부담 때문에, 정적인 데이터만 주어졌을 때보다 더 나쁜 성적을 냈습니다. 이는 AI 가 전략적 사고가 부족하다는 것을 보여줍니다.
5. 결론: AI 는 이제 '지식'이 아니라 '사고'를 증명해야 한다 🚀
이 논문은 우리에게 중요한 메시지를 줍니다.
"AI 가 과학책을 다 외우고 있다고 해서 과학자가 될 수 있는 것은 아닙니다. 실제 실험실에서 자원을 아끼며, 단서를 찾아내고, 실수를 수정하며 문제를 해결하는 능력이 진짜 실력입니다."
MolQuest는 AI 가 단순히 지식을 회상하는 것을 넘어, 실제 과학 연구 과정에 참여할 수 있는 진정한 파트너가 될 수 있는지 테스트하는 첫 번째 '실전 훈련장'입니다.
한 줄 요약:
"기존의 AI 시험은 '암기력'만 봤지만, MolQuest는 AI 가 실제 과학자처럼 단서를 찾아 추리하고 실험을 계획하는 능력을 평가하는 새로운 '미스터리 게임'입니다."
1. 문제 정의 (Problem)
대형 언어 모델 (LLM) 이 과학적 발견에 큰 잠재력을 가지고 있음에도 불구하고, 실제 연구 환경에서의 동적 추론 능력을 체계적으로 평가하는 데는 한계가 존재합니다. 기존 과학 평가 벤치마크는 다음과 같은 치명적인 결함을 가지고 있습니다.
정적 단일 회문 (Static Single-turn) 형식: 대부분의 벤치마크 (예: ChemBench) 는 모든 정보를 한 번에 제공하고 정답을 고르는 정적 QA 형식을 사용합니다. 이는 복잡한 과학적 문제 해결에 필요한 다단계 반복과 실험적 상호작용을 측정하지 못합니다.
데이터의 비현실성: 일부 벤치마크는 합성 시뮬레이션 데이터를 사용하여, 실제 실험에서 발생하는 노이즈, 피크 중첩, 복잡한 커플링 효과 등을 반영하지 못합니다.
주도성 부재: 실제 과학자는 부분적으로 관측 가능한 환경에서 비용 제약 하에 가장 유익한 다음 실험을 선택해야 하지만, 기존 평가는 모델을 수동적인 응답자로만 한정합니다.
이러한 격차를 해소하기 위해, **분자 구조 규명 (Molecular Structure Elucidation)**을 실제 화학 실험 데이터를 기반으로 한 다중 턴 상호작용 작업으로 재정의할 필요가 있습니다.
2. 방법론 (Methodology)
저자들은 MolQuest라는 새로운 에이전트 기반 평가 프레임워크를 제안했습니다. 이는 "화학자로서의 LLM (LLM-as-a-Chemist)"이 가상 실험실 환경에서 자율적으로 작동하며 추론 능력을 발휘하는 것을 평가합니다.
가. 데이터 구축 (Real-Data-Driven Construction)
출처: 2025 년 이후 발표된 고품질 화학 문헌의 부록 (Supporting Information) 에서 실제 실험 데이터를 추출했습니다.
Human-in-the-Loop 파이프라인:
자동 추출: 멀티 에이전트 LLM 시스템을 사용하여 비정형 텍스트를 구조화된 JSON 으로 변환.
화학 지능 검증: RDKit 등 도구와 PubChemPy API 를 사용하여 IUPAC 이름과 SMILES 문자열의 정확성을 검증하고, 이론적 속성 (분자량, 화학식) 을 계산.
인간 전문가 검토: 스펙트럼 해석의 복잡성으로 인해 자동 검증이 불가능한 경우, 화학 전문가가 최종 검토하여 오류를 수정.
데이터셋: 530 개의 검증된 분자 규명 작업 (분자량 150~500 Da, 다양한 작용기 포함) 으로 구성.
나. 인터랙티브 에이전트 프레임워크
작업 정의: 분자 구조 규명을 **제약 충족 문제 (Constraint Satisfaction Problem, CSP)**로 형식화합니다.
초기에는 모든 데이터가 공개되지 않으며, 모델은 불확실성에 따라 필요한 실험 도구 (예: 1H-NMR, MS, IR 등 14 가지 도구) 를 능동적으로 호출해야 합니다.
각 도구 호출은 시뮬레이션된 비용이 발생하며, 모델은 수집된 증거를 바탕으로 가설을 수립, 검증, 수정하며 최종 구조 (SMILES) 를 도출해야 합니다.
평가 지표:
화학적 정확성: 정답 SMILES 일치율, SMILES 유효성, 화학식 보존 (Formula Conservation), 평균 유사도 (Tanimoto).
확률적 신뢰도: 자기 평가 신뢰도와 실제 정확도 간의 정합성을 측정하는 RMSCE (Root Mean Square Calibration Error).
3. 주요 기여 (Key Contributions)
동적 상호작용 벤치마크 MolQuest 개발: 정적 QA 를 넘어, 실제 실험 데이터와 비용 제약을 반영한 다중 턴 에이전트 평가 환경을 최초로 구축했습니다.
고품질 실증 데이터셋: 합성 데이터가 아닌, 최신 화학 문헌에서 추출하고 인간 전문가가 검증한 530 개의 실제 실험 데이터셋을 제공합니다.
다차원 능력 평가 체계: 단순 정답률뿐만 아니라, 실험 계획 능력, 추론 논리, 자원 효율성, 그리고 모델의 자기 인식 (Calibration) 능력을 종합적으로 평가하는 지표를 제시했습니다.
4. 실험 결과 (Results)
12 개의 최첨단 LLM 을 MolQuest 에서 평가한 결과, 다음과 같은 인사이트가 도출되었습니다.
성능의 양극화:
최상위 그룹 (Frontier Group): Gemini 3 Flash (51.51%), Gemini 3 Pro (48.30%) 가 약 50% 의 정확도를 기록하며 SOTA 를 설정했습니다. 이들은 다중 모달 사전 학습을 통해 스펙트럼 - 구조 매핑에 대한 우수한 내부 표현을 가진 것으로 보입니다.
중위 및 하위 그룹: 대부분의 모델 (Claude Opus 4.5, Qwen3-Max 등) 은 30% 미만의 정확도를 보였으며, 일부 모델은 10% 미만으로 실패했습니다.
동적 환경의 영향 (에이전트 vs. 베이스라인):
강화된 모델 (Empowered Group): Qwen3-Max, DeepSeek-v3.2 등은 동적 상호작용 환경에서 정확도가 크게 향상되었습니다. 단계적 작업 분해가 추론의 효율성을 높인 것으로 보입니다.
도전받는 모델 (Challenged Group): Kimi K2 Thinking, Gemini 2.5 Pro 등은 동적 환경에서 성능이 저하되었습니다. 정보의 가치를 평가하는 전략적 계획 부족과 불필요한 반복 요청이 원인이었습니다.
할루시네이션 및 신뢰도:
많은 모델이 실험적 제약 (예: 분자량) 을 무시하고 화학적으로 그럴듯하지만 잘못된 구조를 생성하는 "연결성 할루시네이션"을 보였습니다.
Calibration Error: Claude Opus 4.5 는 정확도는 높지 않으나 자기 인식 (불확실성 인지) 능력이 가장 뛰어났습니다. 반면, Thinking 모델들은 내부 사고 과정이 최종 결과의 정확성과 일치하지 않는 경우가 많았습니다.
5. 의의 및 결론 (Significance & Conclusion)
과학적 AI 평가의 패러다임 전환: MolQuest 는 LLM 이 단순히 지식을 검색하는 것을 넘어, **제한된 자원 하에서 능동적으로 문제를 해결하고 전략적으로 추론 (Abductive Reasoning)**할 수 있는 능력을 평가할 수 있는 기준을 제시했습니다.
모델 진단 도구: 정적 벤치마크는 모델의 패턴 인식 능력을 측정할 뿐이지만, MolQuest 는 모델의 전략적 계획 능력과 추론의 한계를 명확히 진단합니다.
미래 연구 방향:
수동적 평가에서 적응형 상호작용 프로토콜 설계로 전환 필요.
재료 과학, 유전체학 등 다른 과학 분야로 벤치마크 확장.
인간 - AI 협업 시스템 설계에 MolQuest 의 진단 프로파일을 활용하여, LLM 이 가설 생성과 데이터 선별을 담당하고 인간이 전략과 검증을 담당하는 최적의 협력 패턴 모색.
결론적으로, MolQuest 는 과학적 발견에 AI 를 능동적으로 참여시키기 위해 필요한 신뢰성 있고 전략적인 추론 능력을 평가하고 향상시키는 데 필수적인 기반을 마련했습니다.