💬 NLP

SupraBench: A Benchmark for Supramolecular Chemistry

이 논문은 결합 친화도 예측 및 호스트-게스트 추론과 같은 근본적인 초분자 화학 과제에 대해 대규모 언어 모델을 평가하기 위해 설계된 최초의 벤치마크인 SupraBench를 소개하며, 도메인 적응을 지원하기 위한 특화된 16M 토큰 코퍼스(SupraPMC)의 공개를 함께 발표한다.

원저자: Tianyi Ma, Yijun Ma, Zehong Wang, Weixiang Sun, Ziming Li, Connor R. Schmidt, Chuxu Zhang, Matthew J. Webber, Yanfang Ye

게시일 2026-06-12

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tianyi Ma, Yijun Ma, Zehong Wang, Weixiang Sun, Ziming Li, Connor R. Schmidt, Chuxu Zhang, Matthew J. Webber, Yanfang Ye

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 금속 대신 아주 작은, 보이지 않는 분자들을 사용하여 맞춤형 자물쇠와 열쇠 시스템을 만들려고 한다고 상상해 보세요. 이것이 바로 **수프라분자 화학(Supramolecular Chemistry)**의 세계입니다. 이것은 '호스트(Host)' 분자가 특정 '게스트(Guest)' 분자를 붙잡아 약물을 전달하거나 독소를 제거하는 것과 같이 유용한 일을 하려는, 마치 고도의 심리전이 가미된 "자물쇠와 열쇠" 게임과 같습니다.

현재 어떤 자물쇠가 어떤 열쇠에 맞는지 알아내는 과정은 매우 느리고 비용이 많이 듭니다. 과학자들은 단 한 쌍의 조합을 위해서도 며칠이 걸리는 거대한 컴퓨터 시뮬레이션을 실행하거나, 실제 실험실에서 직접 구축해야 합니다.

여기에 **AI(대규모 언어 모델 또는 LLM)**가 등장합니다. 과학자들은 이 AI 챗봇들이 어떤 자물쇠가 어떤 열키에 맞는지 즉각적으로 예측하는 초고속 조수가 될 수 있기를 희망했습니다. 하지만 지금까지는 이 AI 드라이버들이 실제로 화학 실력이 있는 것인지, 아니면 그저 추측하고 있는 것인지를 확인하기 위한 표준화된 "운전 면허 시험"이 없었습니다.

그 지점에서 이 논문이 등장합니다. 저자들은 이 특정 분야를 위한 AI의 첫 번째 공식적인 "운전 면허 시험"인 SUPRABENCH를 만들었습니다.

테스트 주행: SUPRABENCH

SUPRABENCH를 AI가 화학이라는 도로를 얼마나 잘 다루는지 확인하기 위한 다섯 가지 특정 과제가 포함된 운전 시험이라고 생각해보세요.

"얼마나 강한가?" 테스트 (결합 친화도): AI에게 자물쇠와 열쇠의 이미지를 주었을 때, 그들이 얼마나 단단하게 손을 잡을지 정확히 맞출 수 있습니까? (이는 약물 설계에서 가장 중요한 테스트입니다.)
"최적의 매치" 테스트 (최적 결합체 선택): AI에게 하나의 자물쇠와 네 개의 유사한 열쇠를 보여주었을 때, 가장 잘 맞는 하나를 골라낼 수 있습니까?
"환경" 테스트 (용매 식별): 화학 반응은 서로 다른 "액체"(물, 알코올, 기름 등) 속에서 일어납니다. AI가 자물쇠와 열쇠를 보고 그들이 어떤 액체 속에서 헤엄치고 있는지 맞출 수 있습니까?
"설명하기" 테스트 (호스트-게스트 묘사): AI가 왜 자물쇠와 열쇠가 서로 맞는지 평이한 영어로 설명할 수 있습니까?
"그리기" 테스트 (분자 식별): AI가 분자의 2D 그림을 보고 그 화학적 이름 코드(name code)를 정확하게 타이핑할 수 있습니까?

AI가 이 테스트를 위해 공부할 수 있도록, 저자들은 또한 1600만 단어 분량의 화학 논문 라이브러리(이를 SUPRAPMC라고 부릅니다)를 공개했습니다. 이는 AI가 규칙을 배울 수 있는 일종의 "교과서"입니다.

결과: AI는 초보 운전자이다

연구진은 8개의 서로 다른 AI 모델(무료 모델과 유료 모델 혼합)을 이 시험으로 테스트했습니다. 그 결과는 다음과 같습니다.

"형님들"이 이기지만, 여전히 비틀거린다: 구글이나 OpenAI의 최신 버전과 같은 가장 진보되고 비싼 AI 모델들이 가장 좋은 성적을 거두었습니다. 하지만 그들도 여전히 많은 질문에 틀린 답을 내놓았습니다. AI가 할 수 있는 것과 인간 전문가가 할 수 있는 것 사이에는 여전히 거대한 격차가 존재합니다.
"공부 비법"이 항상 통하는 것은 아니다:
- Few-Shot (예시 보여주기): AI에게 답변하는 몇 가지 예시를 주는 것은 AI가 무언가를 설명하는 데는 도움이 되었지만, 결합이 얼마나 강할지를 예측하는 데는 오히려 성능을 떨어뜨렸습니다. 이는 학생에게 수학 문제 샘의 하나를 보여주면 에세이는 잘 쓰게 되지만, 새로운 방정식을 풀려고 할 때는 혼란을 주는 것과 같습니다.
- CoT (생각의 사슬): AI에게 "풀이 과정을 보여달라"거나 단계별로 추론 과정을 설명하라고 요청하는 것이 좋은 아이디어처럼 보였습니다. 하지만 화학에서는 이것이 역효과를 냈습니다. AI는 자신감 넘치는 말투로 완전히 틀린 사실들을 지어내기 시작했습니다. 이는 마치 학생이 똑똑해 보이려고 노력하다가 자신 있게 틀린 공식을 적어 내려가는 것과 같았습니다.
교과서를 읽는 것은 도움이 된다 (하지만 함정이 있다): AI를 새로운 화학 교과서(SUPRAPMC)로 학습시켰을 때, AI는 결합 강도(수학적 부분)를 예측하는 데 훨씬 더 나아졌습니다. 그러나 객관식 질문에서 올바른 알파벳(A, B, C 또는 D)을 선택하는 것과 같은 엄격한 형식 규칙을 따르는 능력은 오히려 나빠졌습니다. 과학은 배웠지만 규칙은 잊어버린 것입니다.
"그리기" 문제: 그림을 보고 화학 코드를 작성하라는 요청을 받았을 때, AI는 대개 일반적인 형태(골격, scaffold)는 제대로 파악했지만, 아주 세밀한 디테일(원자 사이의 구체적인 연결)에서는 자주 실수했습니다. 이는 자동차를 인식하긴 했지만 바퀴를 지붕 위에 그리는 것과 같습니다.

핵심 요약

이 논문은 AI가 화학 분야에서 발전하고 있기는 하지만, 아직 인간 전문가를 대체하거나 스스로 실험실을 운영할 준비는 되지 않았다고 결론짓습니다. "추론"의 격차는 실재합니다: AI는 매우 자신감 있게 들릴 수 있지만, 숫자를 정확히 맞추는 데 필요한 깊고 구체적인 지식이 부족한 경우가 많습니다.

저자들은 이 테스트(SUPRABENCH)와 교과서(SUPRAPMC)를 공개함으로써, 다른 연구자들이 미래에 더 나은, 더 신뢰할 수 있는 화학 AI를 구축하는 데 이를 사용하기를 바랍니다. 그들은 본질적으로 이렇게 말하고 있습니다. "여기 우리가 진보를 측정할 데이벌(자)이 있고, 당신이 그곳에 도달할 수 있도록 돕는 학습 가이드가 있습니다."

기술 요약: SUPRABENCH

문제 정의

가역적인 비공유 결합 호스트-게스트 어셈블리에 초점을 맞춘 초분자 화학은 약물 전달에서 생체 내 해독에 이르는 다양한 응용 분야에서 매우 중요합니다. 그러나 이러한 시스템의 설계는 여전히 병목 현상으로 남아 있으며, 습식 실험(wet-lab) 합성에 앞서 수일이 소요될 수 있는 광범위한 "드라이 랩(dry-lab)" 검증(예: DFT 또는 MD 시뮬레이션)을 필요로 합니다. 대규모 언어 모델(LLM)이 분자 결합 작업에서 유망한 성능을 보여주었으나, 기존 벤치마크 중에는 근본적인 초분자 화학 과제 전반에 걸쳐 호스트-게스트 추론(host–guest reasoning) 능력을 체계적으로 평가하는 것이 없습니다. 현재의 벤치마크들은 주로 단일 분자의 특성이나 반응 예측에 집중되어 있어, 호스트-게스트 상호작용의 복잡한 역학 관계는 다루지 못하고 있습니다.

방법론

1. 데이터셋 구축 (SUPRABENCH)

저자들은 SUPRABENCH를 구축하였으며, 이는 초분자 화학 추론을 위해 특별히 설계된 최초의 벤치마크입니다.

데이터 소스: 앵커 레코드(Anchor records)는 실험적으로 보고된 초분자 상호작용의 공개 저장소인 SupraBank에서 추출되었습니다.
전처리: 노이즈 문제를 해결하기 위해 숫자 파싱, 유기 용매 필터링, van't Hoff 온도 보정, 이상치 제거를 포함한 6단계 클리닝 파이프라인이 적용되었습니다. 그 결과 4,635개의 고품질 레코드가 생성되었으며, 이는 2,008개의 고유한 성분을 포함합니다.
태스크 정의: 본 벤치마크는 4가지의 근본적인 추론 태스크와 1가지의 보조적인 비전 기반 태스크를 정의합니다:
1. 결합 친화도 예측 (BAP): 호스트 및 게스트 SMILES 문자열이 주어졌을 때 $\log K_a$ 를 예측하는 회귀 태스크입니다.
2. 최고 결합체 선택 (TBS): 화학적으로 유사한 게스트들 중 가장 강하게 결합하는 물질을 식별해야 하는 4지 선다형 객관식(MCQ) 문제입니다.
3. 용매 식별 (SID): 결합 상수가 용매에 의존적임을 고려하여, 분자 구조로부터 용매 환경(예: 물, DMSO)을 추론하는 6지 분류 태스크입니다.
4. 호스트-게스트 기술 (HGD): 모델이 호스트 또는 게스트의 물리화학적 특성을 설명하는 개방형 질의응답(QA) 태스크입니다.
5. 분자 식별 (MI): 2D 구조도에서 분자의 정체성을 복구하는 능력을 테스트하는 보조적인 이미지-투-SMILES 생성 태스크입니다.

2. 도메인 적응 코퍼스 (SUPRAPMC)

도메인 적응을 지원하기 위해 저자들은 초분자 화학 논문으로 구성된 큐레이션된 16M 토큰 코퍼스인 SUPRAPMC를 공개했습니다.

소스: Europe PMC(1900–2026)에서 추출되었습니다.
필터링: 420,950개의 기사 추출 후, 양(+)의 초분자 키워드와 음(-)의 생물 의학적 오염 필터(예: "host cells" 제외)를 결합한 규칙 기반 필터를 사용하여 133,867개의 고정밀 기사로 정제되었습니다.

3. 평가 프로토콜

모델: Qwen3.5, Llama-3.1, DeepSeek-v4와 같은 오픈 웨이트 모델과 GPT-5.4, Gemini-3-Flash와 같은 폐쇄형 모델을 포함한 8개의 LLM을 평가했습니다.
프롬프팅 전략: 세 가지 전략이 테스트되었습니다: Base (zero-shot), Few-Shot (3~5개의 도메인 내 예시), Chain-of-Thought (CoT).
지표: 태스크별 지표로 회귀를 위한 MAE/RMSE, 선택을 위한 정확도/후회(regret), 분류를 위한 F1/균형 정확도(Balanced Accuracy), 그리고 생성을 위한 ROUGE가 사용되었습니다. MI의 경우, SMILES 유효성, 완전 일치(exact match), Tanimoto 유사도가 지표로 포함되었습니다.

주요 결과

1. 성능 격차 및 모델 계층 구조

상당한 개선 여지: 가장 성능이 좋은 모델조차도 개선할 여지가 상당히 많습니다. 예를 들어, 최상의 결합 친화도 예측(BAP) MAE는 1.25였고, 최고 결합체 선택(TBS) 정확도는 0.513에서 정체되었습니다.
프런티어 모델의 우위: Gemini-3-Flash는 BAP, TBS, SID 태스크 전반에서 일관되게 최첨단(SOTA) 성능을 달 기록했습니다. DeepSeek-v4와 GPT-5.4-Mini가 그 뒤를 바짝 쫓았습니다.
태스크 난이도: 성능은 태스크 유형에 따라 급격히 차이가 났습니다. BAP와 TBS는 작은 규모의 모델들에게 SID보다 일반적으로 더 어려운 과제였습니다.

2. 프롬프팅 전략의 영향

보편적인 전략은 없음: 프롬프팅 전략은 매우 태스크 의존적이었습니다.
- Few-Shot은 호스트-게스트 기술(HGD) 성능을 향상시켰으나, 결합 친화도 예측(BAP)의 경우 성능을 저하시켰습니다 (예: Llama3.1-8B의 MAE가 2.699에서 5.504로 증가).
- **Chain-of-Thought (CoT)**는 BAP와 분자 식별(MI)에서 일관되게 성능을 악화시켰습니다.
실패 모드 분석: BAP에서 CoT는 종종 "확신에 찬 환각(confident hallucinations)"을 유발했습니다. 모델은 그럴듯한 화학적 추론(예: "전형적인 문헌 값" 인용)을 제시했지만, 실제로는 예측값이 실제와 수십 배 차이가 났습니다 (예: $\log K_a \approx 2$ 대신 $\log K_a \approx 11$ 로 예측). 이는 CoT가 도메인 지식이 부족할 때 추론의 간극을 증폭시킨다는 것을 시사합니다.

3. 도메인 적응 (DAPT)

회귀 vs 형식: SUPRAPMC를 통한 미세 조정은 Qwen3.5-9B와 Llama3.1-8B 모두에서 BAP 회귀 성능(MAE 감소)을 향상시켰습니다.
트레이드오프: 그러나 DAPT는 최고 결합체 선택(TBS) 성능을 저하시켰으며, Llama 변형 모델이 용매 식별(SID)에서의 엄격한 알파벳 형식 제약을 따르는 데 실패하게 만들었습니다. 이는 자유 형식의 과학 텍스트 적응은 회귀에는 잘 전이되지만, 엄격한 MCQ 출력 형식과는 충돌할 수 있음을 나타냅니다.

4. 분자 식별

골격 vs 연결성: 모델들은 일반적인 분자 골격은 복구할 수 있었으나(높은 Tanimoto 유사도), 정확한 결합 수준의 연결성(낮은 Canonical SMILES 일치율)을 포착하는 데는 자주 실패했습니다.
CoT의 저해 효과: 명시적인 추론 단서(CoT)는 이미지-투-SMILES 생성 과정을 불안정하게 만들어, 완전 일치(exact match) 비율을 감소시켰습니다.

의의 및 주장

본 논문은 SUPRABENCH와 SUPRAPMC가 화학 기반 LLM 연구를 촉진하는 기초 자원임을 강조합니다. 저자들의 주장은 다음과 같습니다:

벤치마킹의 필요성: SUPRABENCH는 기존 벤치마크가 다루지 못한 영역인 초분자 호스트-게스트 추론을 평가하기 위한 통합된 프로토콜을 제공함으로써 중요한 공백을 메웁니다.
현재의 한계: 프런티어 모델들의 SOTA 성능에도 불구하고, 초분자 화학은 여전히 진정한 병목 구간입니다. 현재의 LLM은 정확한 친화도 예측과 정밀한 구조 식별에 필요한 엄격하고 교정된 추론 능력이 부족합니다.
방법론적 통찰: 본 연구는 CoT를 통한 "추론"이 도메인 지식을 대체할 수 없으며, 모델이 근본적인 화학적 사실을 갖추지 못했을 때는 오히려 해로울 수 있음을 밝혀냈습니다. 또한, 도메인 적응은 텍스트 노출과 지시 형식 보존 사이의 세심한 균형이 필요함을 보여줍니다.
미래 방향: 연구 결과는 초분자 추론의 격차를 줄이기 위해서는 단순히 프롬프팅 전략이나 일반적인 사전 학습에 의존하기보다, 타겟팅된 도메인 적응과 외부 화학 도구의 통합이 필요함을 시사합니다.

저자들은 본 벤치마크가 연구 평가 및 가설 생성을 위한 것이며, 전문가의 감독과 실험적 검증 없이 임상적 또는 규제적 결정을 내리는 데 사용되어서는 안 된다는 점을 강조합니다.