MolLangBench: A Comprehensive Benchmark for Language-Prompted Molecular Structure Recognition, Editing, and Generation

1. 문제 정의 (Problem)

화학 및 신약 개발 분야에서 인공지능 (AI) 시스템은 분자 구조를 이해하고, 이를 언어로 설명하며, 새로운 분자를 설계하는 능력이 필수적입니다. 그러나 현재의 대규모 언어 모델 (LLM) 과 멀티모달 모델은 분자 도메인에서 다음과 같은 근본적인 한계를 겪고 있습니다.

• 구조 인식의 부재: 기존 연구들은 분자 속성 예측이나 반응 예측과 같은 고차원 작업을 언어 프롬프트로 변환하는 데 집중했으나, 분자 구조 자체를 정확하게 인식하고 이해하는 전제 조건 (기초 단계) 을 소홀히 했습니다.
• 모호성 (Ambiguity): 분자 설명과 구조 간의 매핑이 모호한 기존 데이터셋 (예: ChEBI-20) 은 기능적, 약리학적 정보가 섞여 있어, 분자 구조의 미세한 변화 (입체화학, 치환기 위치 등) 가 물성에 미치는 영향을 정확히 평가하기 어렵게 만듭니다.
• 정밀성 부족: 화학에서는 원자 수준의 정밀한 조작이 필수적이지만, 현재 AI 모델은 자연어 지시를 분자 구조 (SMILES, 그래프, 이미지) 로 변환할 때 문법 오류, 입체화학 오류, 원자 연결 오류 등을 빈번히 범합니다.

이러한 문제를 해결하기 위해 정확성 (Precision), 모호성 제거 (Unambiguity), 결정론적 출력 (Deterministic Output) 을 보장하는 새로운 벤치마크가 필요합니다.

2. 방법론 (Methodology)

저자들은 MolLangBench라는 포괄적인 벤치마크를 제안하며, 화학자의 실제 워크플로우를 반영한 세 가지 핵심 작업을 평가합니다.

A. 벤치마크 태스크

1. 분자 구조 인식 (Molecular Structure Recognition): 분자 구조 (SMILES 또는 이미지) 를 입력받아 특정 구조 정보 (국소 위상, 원자 연결, 작용기, 입체화학 등) 를 추출하고 정답을 도출하는 작업.
2. 언어 프롬프트 기반 분자 편집 (Language-Prompted Molecule Editing): 기존 분자와 자연어 편집 지시 (예: "벤젠 고리의 파라 위치에 메틸기를 추가") 를 입력받아 수정된 분자를 생성하는 작업.
3. 구조 설명 기반 분자 생성 (Molecule Generation from Structural Descriptions): 상세한 구조 설명 텍스트만 입력받아 해당 분자를 생성하는 작업 (De novo design).

B. 데이터 수집 및 구축 프로세스

• 소스 데이터: UniChem 데이터베이스 (약 1.78 억 개 분자) 에서 샘플링.
• 자동화 도구 활용 (인식 태스크): RDKit 기반의 자동화 화학 정보학 도구를 사용하여 18 가지 다양한 구조 인식 태스크에 대한 정답 (Ground Truth) 을 생성. 원자 인덱스, 결합 유형, 입체화학 등을 정밀하게 라벨링.
• 전문가 애너테이션 (편집/생성 태스크): 화학 전공 전문가들이 참여하는 엄격한 다단계 프로세스를 적용:
  1. 초안 작성: 분자 구조를 보고 명확한 편집 지시나 구조 설명 작성.
  2. 피어 리뷰 (Peer Review): 두 번째 애너테이터가 지시/설명과 원래 분자를 대조하여 모호성 제거 및 명확성 검증.
  3. 독립적 검증 (Independent Validation): 두 명의 검증자가 애너테이션을 바탕으로 화학 도구를 사용하여 분자를 재구성. 재구성된 분자가 정답과 정확히 일치해야만 최종 데이터셋에 포함됨.
• 데이터 규모: 각 태스크당 핵심 세트 (Core set) 200 개, 확장 세트 (Extended set) 200 개로 구성. 평균 비수소 원자 수는 약 24 개로 복잡성을 통제.

C. 평가 대상 모델

• 언어 모델 (LLM): GPT-4o, GPT-5, o3, o4-mini, DeepSeek-R1, Llama-4, Gemini-2.5-Pro 등 최신 모델.
• 비전 - 언어 멀티모달 모델 (VLM): 분자 구조 이미지를 입력으로 받는 모델 (o4-mini, GPT Image 1 등).
• 그래프 - 언어 모델: HIGHT, Llamole 등 (성능이 낮아 부록에서 간략히 다룸).

3. 주요 기여 (Key Contributions)

1. MolLangBench 벤치마크 출시: 분자 - 언어 인터페이스의 기초 능력을 평가하는 최초의 포괄적이고 엄격하게 검증된 벤치마크 제공.
2. 고품질 데이터셋: 자동화 도구와 전문가 애너테이션을 결합하여 모호성이 없고 결정론적인 정답을 가진 데이터셋 구축. 이는 기존 모호한 데이터셋의 한계를 극복.
3. 다중 모달 평가: 분자를 SMILES 문자열, 분자 이미지, 분자 그래프 등 다양한 형태로 표현하여 모델의 능력을 종합적으로 평가.
4. 코드 및 데이터 공개: Hugging Face 및 GitHub 를 통해 데이터셋과 코드를 공개하여 재현성 확보.

4. 실험 결과 (Results)

최신 모델들을 대상으로 한 평가에서 AI 시스템의 분자 처리 능력에 대한 심각한 한계가 드러났습니다.

• 구조 인식 (Recognition):

  • 가장 성능이 좋은 모델인 GPT-5가 평균 정확도 **86.2%**를 기록했으나, 이는 인간에게는 직관적인 작업임에도 불구하고 완벽하지 않음.
  • 원자 국소화 (Localization) 문제: 분자 구조를 인식하는 정확도는 높지만, 특정 원자의 인덱스를 정확히 찾는 능력 (로컬라이제이션) 은 인식 정확도보다 약 6~10% 낮음. 이는 LLM 의 토큰화 (BPE) 메커니즘이 여러 원자를 하나의 토큰으로 묶어 원자 단위 추론을 방해하기 때문으로 분석됨.
  • 입체화학 (Stereochemistry) 취약: 이중 결합의 E/Z 구성이나 키랄 중심의 R/S 판별에서 대부분의 모델이 무작위 추측 (50%) 수준 이하의 성능을 보임.

• 분자 편집 (Editing):

  • GPT-5 가 **85.5%**의 편집 정확도를 기록하여 가장 우수했으나, 여전히 오류 발생.
  • SMILES 유효성: 편집 태스크에서는 70% 이상 유효한 SMILES 를 생성했으나, 생성 태스크에 비해 상대적으로 높음.

• 분자 생성 (Generation):

  • 성능 저하: 가장 어려운 태스크로, GPT-5 의 정확도도 **43.0%**에 불과함.
  • 유효성 문제: 생성된 분자의 SMILES 유효성 (Valid SMILES) 이 GPT-5 기준 69% 에 그쳤으며, 이전 모델들은 50% 미만.
  • 오류 유형: 유효하지 않은 문법, 잘못된 입체화학, 사슬 길이 오류, 치환기 위치 오류, 고리 구조 오류 등이 빈번하게 발생. 특히 "불완전한 구조"나 "화학적 규칙 위반" (예: 원자가 4 인 질소) 이 이미지 생성 모델에서도 관찰됨.

• 비전 - 언어 모델 (VLM):

  • 분자 이미지를 입력으로 받는 모델 (o4-mini) 은 텍스트 기반 모델 (o3-mini) 과 유사하거나 더 낮은 성능을 보임.
  • 이미지 생성 모델 (GPT Image 1) 은 편집 태스크에서 13.5% 정확도, 생성 태스크에서는 거의 0% 에 가까운 성능을 보여 분자 구조의 시각적 표현이 오히려 해가 될 수 있음을 시사.

• 하류 작업과의 연관성: 분자 구조를 먼저 설명하고 속성을 예측하는 프롬프팅 전략이 직접 예측보다 정확도를 높여, 구조 이해가 하류 작업의 핵심임을 입증.

5. 의의 및 결론 (Significance)

• 현실적 한계 제시: 현재 최첨단 AI 모델조차도 화학자가 수행하는 기초적인 분자 인식 및 조작 작업에서도 심각한 한계를 겪고 있음을 명확히 보여줌.
• 연구 방향 제시: 단순한 속성 예측을 넘어, 분자 구조와 자연어 간의 정밀한 정렬 (Alignment) 과 원자 수준의 추론 능력 향상이 필요함을 강조.
• 데이터 구축의 중요성: 고품질의 모호하지 않은 데이터셋이 화학 AI 개발의 필수 조건임을 입증.
• 미래 과제: LLM 의 토큰화 메커니즘 개선, 원자 단위 추론 능력 강화, 그리고 분자 표현 (SMILES, SELFIES, 그래프) 과 언어 간의 격차 해소가 향후 연구의 핵심 과제로 대두됨.

이 논문은 화학 AI 의 신뢰성을 높이기 위한 중요한 이정표로, MolLangBench 를 통해 더 강력하고 정확한 화학 전용 AI 시스템 개발을 촉진할 것으로 기대됩니다.