기술 요약: LLM을 위한 분자 텍스트 표현의 재고

문제 정의

화학 분야에 거대언어모델(LLM)을 적용하려는 시도가 증가하고 있으나, 어떤 분자 텍스트 표현이 다양한 작업에 최적의 지원을 제공하는지에 대한 체계적인 이해는 여전히 부족하다. 단순 분자 입력 선형 표기법(SMILES)은 사전 학습 코퍼스와 문헌에서의 높은 빈도로 인해 사실상의 표준(de facto standard)이 되었으나, 이 표현 방식이 모든 LLM 기반 화학 추론 작업에 최적인지 여부는 불분명하다. 기존 연구들은 주로 분자 문자열을 사용하여 모델을 처음부터 학습시키거나 특정 작업을 위해 미세 조정(fine-tuning)하는 데 집중해 왔으며, 주로 SMILES를 사용해 왔다. 그러나 화학은 압축성, 역변환 가능성, 의미적 구조가 서로 다른 다양한 기계 판독 가능 형식(예: IUPAC 명명법, InChI, SELFIES, 구조화된 XML/JSON)을 제공한다. 본 연구가 다루는 핵심 질문은 LLM의 성능이 표현 방식에 대해 불변(representation-invariant)하는지, 아니면 특정 작업을 달성하기 위해 특정 표현 방식이 필요한지를 규명하는 것이다.

방법론

저자들은 9가지의 서로 다른 표현 방식과 8가지의 화학 작업을 통해 LLM의 분자 역량을 평가하기 위해 설계된 체계적인 벤치마크인 MolRepBench를 소개한다.

평가된 표현 방식:
본 연구는 압축된 문자열부터 명시적인 그래프 구조에 이르기까지 9가지 형식을 다룬다:

1. SMILES 변체: 정준(Canonical), 이성질체(Isomeric), 무작위화(Randomized) SMILES.
2. 생성 최적화 문자열: DeepSMILES 및 SELFIES.
3. 명명법 및 식별자: IUPAC 명칭 및 국제 화학 식별자(InChI).
4. 구조화된 텍스트: 화학 마크업 언어(CML) 및 MolJSON(최근의 JSON 기반 그래프 표현).

평가된 모델:
본 벤치마크는 5개 계열의 16개 LLM을 테스트한다:

• 오픈 웨이트 범용 모델: Qwen3 (4B/30B), Phi-4 (14B), 그리고 OLMo-3 (32B)를 포함하며, 추론형(reasoning)과 비추론형(non-reasoning) 변체를 모두 포함한다.
• 도메인 특화 모델: ChemDFM (v2.0 및 R 변체)과 Ether0, 그리고 각각의 베이스 모델(Qwen2.5-14B 및 Mistral-Small-24B).
• 폐쇄형 프런티어 모델: GPT-5.4-mini 및 Claude-Haiku-4.5.

작업(Tasks):
8가지 작업은 이해, 판별, 생성을 포괄한다:

1. 원자 개수 세기(Atom Counting): 문자열을 파싱하여 특정 원소의 개수를 세는 작업.
2. 작용기 식별(Functional Group Identification): 하위 구조(예: 에스테르, 아민)를 인식하는 작업.
3. 분자 특성 추정(Molecular Property Estimation): RDKit으로부터 유도된 계산 가능한 특성(LogP, TPSA, 수소 결합 공여자/수용체)을 예측하는 작업.
4. 분자 검색(Molecule Retrieval): 자연어 설명을 분자 구조와 매칭하는 작업.
5. 이성질체 판별(Isomer Discrimination): 미세한 구조적 또는 입체 화학적 차이를 가진 분자를 구별하는 작업.
6. 토토머 인식(Tautomer Recognition): 동적인 구조적 등가성을 식히는 작업.
7. 양성자화 상태 인식(Protonation State Recognition): 동일한 분자의 전하 상태 변이체를 식별하는 작업.
8. 캡션-분자 생성(Caption-to-Molecule Generation): 자연어 설명을 유효한 분자 문자열로 번역하는 작업.

평가 지표:
본 연구는 정확 일치도(exact-match accuracy), 매크로-F1(macro-F1), 스피어먼 상관계수(Spearman correlation), 그리고 구조적 비교를 위한 타니모토 유사도(Tanimoto similarity)를 사용한다. 결정적으로, 생성 작업의 경우, 저자들은 LLM-as-a-judge(Gemini 3 Flash)를 활용하여 오류 모드(예: 환각, 구문 오류, 잘못된 골격)를 질적으로 평가하고, 생성물의 충실도, 화학적 추론 및 전반적인 품질을 점수화한다.

메커니즘 분석:
성능 차이를 설명하기 위해 저자들은 다음을 수행한다:

• 토큰화 감사(Tokenization Audits): 토큰 수와 추론 토큰 길이를 측정한다.
• 선형 프로빙(Linear Probing): 은닉 상태(hidden states)에서 선형적으로 접근 가능한 화학 정보가 있는지 테스트한다.
• 어텐션 분석(Attention Analysis): 마지막 토큰과 분자 토큰 사이의 어텐션 가중치, 그리고 분자 내부의 자기 어텐션(self-attention)을 조사한다.

주요 결과

1. 성능은 표현 방식에 의존적이다
단일 표현 방식이 모든 작업에 최적인 것은 아니다. "최적의" 표현은 작업 유형에 따라 크게 달라진다:

• 구조화된 표현 (CML, MolJSON): 원자 개수 세기, 이성질체 판별, 토토머 인식과 같이 명시적인 그래프 이해를 요구하는 작업에서 우위를 점한다. CML은 128개 구성 중 81번의 승리를 기록하며 가장 높은 종합 점수를 얻었으며, MolJSON이 75번의 승리로 그 뒤를 이었다.
• IUPAC 명칭: 분자 검색(16개 LLM 모두에서 승리) 및 캡션-분자 생성과 같은 의미론적 작업에서 탁월한 성능을 보인다. 이들의 형태소 구조는 자연어 설명과 잘 부합한다.
• SMILES 변체: 사전 학습에서의 지배력에도 불구하고, SMILES 변체는 최적의 경우가 드물다. 이들은 물성 회귀(LogP, TSA)에는 효과적이지만, 구조적 모호성 해소 및 생성 측면에서는 구조화된 형식에 비해 성능이 떨어지는 경우가 많다.
• SELFIES: 16개 LLM 전체에서 일관되게 가장 낮은 성능을 보였으며, 특히 원자 개수 세기와 생성 작업에서 그러했다.

2. 전문화 vs 일반화
화학 특화 모델(예: ChemDFM)은 트레이드오프를 보여준다. 이들은 SMILES 기반 작업에서는 베이스 모델보다 크게 뛰어난 성능을 보이지만(예: ChemDFM-R-14B는 SMILES 생성에서 높은 정확 일치도를 달성함), 구조화된 텍스트 표현(CML, MolJSON, InChI)이 제시될 때 파괴적 망각(catastrophic forgetting) 또는 심각한 성능 저하를 겪는다. 예를 들어, ChemDFM-R-14B는 CML 및 InChI에 대해 거의 0에 가까운 유효 생성물을 만들어낸 반면, 베이스 모델(Qwen2.5-14B)은 견고한 성능을 유지했다. 이는 SMILES 전용 미세 조정이 다른 형식으로 일반화되지 않는 전문화를 유도함을 시사한다.

3. 생성 품질 및 오류 모드

• 유효성 $\neq$ 정확성: 높은 유효성 비율(예: ChemDFM-R-14B의 SMILES 기준 97.6%)이 구조적 정확성을 보장하지 않는다(타니모토 유사도는 0.68에 불과했다).
• LLM-as-a-Judge: Gemini 3 Flash가 판단했을 때, IUPAC 명칭은 가장 높은 정답 생성 비율(50%)을 기록했다. 정준(Canonical) SMILES는 높은 표현 충실도를 보였으나, 골격 및 추론 오류로 인해 전반적인 품질은 낮았다.
• 추론 모델: 추론 기능이 강화된 변체(예: Phi-4-Reasoning, OLMo-Think)는 비추론형 변체에 비해 환각 발생률을 줄여주었으나, 모든 작업에서 균일하게 성능을 향상시키지는 못했다.

4. 메커니즘적 통찰

• 토큰화: 구조화된 표현(CML, MolJSON)은 SMILES보다 토큰 수가 훨씬 많다(더 긴 토큰 수). 그러나 이들은 더 짧은 추론 토큰 길이를 결과로 가져오는데, 이는 명시적인 구조가 모델의 인지 부하를 줄여준다는 것을 시사한다.
• 어텐션: 구조화된 표현은 모델이 전체 분자 범위에 걸쳐 더 강하게 어텐션을 기울이도록 요구하는 반면, 압축된 SMILES 변체는 문자열 내의 토큰 간 상호작용을 더 풍부하게 유도한다.
• 내부 인코딩: 선형 프로빙 결과, SMILES 변체는 (사전 학습 덕분에) 잘 인코딩되어 있는 반면, MolJSON(사후 학습 표현)은 종종 더 나은 선형 프로빙 성능을 보였다. 이는 모델이 사전 노출 없이도 명시적인 그래프 구조를 효과적으로 활용할 수 있음을 나타낸다.

의의 및 주장

본 논문은 화학 분야에서 **표현 불변적 평가(representation-invariant evaluation)**라는 개념에 반론을 제기한다. 저자들은 다음과 같이 주장한다:

1. 표현 선택의 중요성: 분자 텍스트 형식은 LLM의 화학적 역량에 결정적인 요소이다. 단일 표현(예: SMILES)만을 사용하는 것은 모델의 능력을 편향되고 불완전하게 보여준다.
2. 작업 인지적 라우팅(Task-Aware Routing)의 필요성: 서로 다른 작업은 서로 다른 표현 방식의 이점을 얻는다. 저자들은 특정 화학 작업에 따라 입력 형식을 선택하는 작업 인지적 표현 라우팅을 제안한다(예: 검색에는 IUPAC를, 구조적 파싱에는 CML/MolJSON을 사용).
3. 평가 표준의 진화: 벤ка마크는 특히 도메인 특화 모델에서의 일반화 손실을 드러내기 위해 여러 표현 방식에 걸친 성능을 보고해야 한다.
4. 질적 판단: 엄격한 지표(유효성 비율, 정확 일치도)는 생성 작업에 있어 불충분하다. 환각이나 골격 오류와 같은 오류 모드를 분석하기 위해 LLM-as-a-judge가 필수적이다.

연구는 현재의 LLM들이 아직 견고하고 표현 불변적인 분자 역량을 갖추지 못했음을 결론지으며, 화학 AI 시스템을 발전시키기 위해 분야 전체가 SMILES 중심의 평가를 넘어 나아가야 한다고 강조한다.