Enhancing Spatial Reasoning in Large Language Models for Metal-Organic Frameworks Structure Prediction

이 논문은 공간 인지적 지속 사전 학습, 지도 미세 조정 및 강화 학습을 통해 Qwen-3 8B 언어 모델의 공간 추론 능력을 향상시켜 금속-유기 골격 구조(MOF)에 대한 최첨단 고효율 블록 수준 3D 구조 예측을 달성하는 새로운 프레임워크인 MOF-LLM을 소개한다.

핵심

개요: 분자 레고로 건축하기

**금속-유기 골격 구조(MOF)**를 아주 복잡하고 미세한 구조를 가진 "레고 브릭"이라고 상상해 보세요. 이 브릭들은 플라스틱이 아니라 금속 원자와 유기 분자들이 모여 형성된 작은 클러스터이며, 이들이 서로 결합하여 구멍이 뚫린 스펀지 같은 결정 구조를 만듭니다. 과학자들이 이 구조를 사랑하는 이유는 공기 중의 이산가탄소를 포집하거나 체내에 약물을 전달하는 데 사용할 수 있기 때문입니다.

문제는 무엇일까요? 이 브릭들을 조립하여 만들 수 있는 방법은 수백만 가지에 달합니다. 실험실에서 하나씩 직접 조립하며 완벽하고 안정적인 구조를 찾는 것은, 마치 건더기 하나하나를 다 확인하며 모래성 속의 바늘을 찾는 것과 같습니다. 이는 너무 오래 걸리고 비용도 많이 듭니다.

오랫동안 컴퓨터는 모든 원자를 하나하나 살펴보는 방식(마치 성을 쌓을 때 모래알 하나하나의 개수를 세는 것처럼)으로 이 문제를 해결하려 했습니다. 하지만 MOF는 너무 크고 복잡해서, 컴퓨터에게 이런 방식은 너무 느리고 혼란스러운 작업입니다.

새로운 아이디어: 언어 로봇에게 건축 가르치기

이 논문은 MOF-LLM이라는 새로운 도구를 소개합니다. 거대 언어 모델(LLM)을 세상의 모든 책을 읽은 아주 똑똑한 로봇이라고 생각해 보세요. 보통 이 로봇은 이야기를 쓰거나 질문에 답하는 데는 뛰어나지만, 3D 기하학에는 젬병입니다. 즉, 공간을 잘 "보지" 못합니다.

연구진은 이렇게 물었습니다. 이 언어 로봇에게 분자 레고를 만드는 법을 가르칠 수 있을까?

답은 "예"입니다. 하지만 로봇에게 새로운 사고방식을 가르쳐야만 가능했습니다. 로봇에게 모든 원자를 하나하나 설명하라고 요구하는 대신(이는 마치 모래알 하나하나에 대해 소설을 쓰라고 하는 것과 같습니다), 그들에게 '블록' 단위로 생각하도록 가르친 것입니다.

어떻게 했나: 3단계 훈련 캠프

텍스트를 읽는 로봇을 3D 건축가로 만들기 위해, 팀은 3단계 훈련 과정을 사용했습니다.

1. "공간 인지" 수업 (지속적 사전 학습)
먼저, 로봇에게 기하학 기초 코스를 제공했습니다. 단순히 브릭의 화학적 이름만 알려준 것이 아니라, "질량 가중치가 적용된 경계 상자(mass-weighted bounding box)" 설명을 제공했습니다.

• 비유: 눈을 가린 채 상자를 쌓는다고 상상해 보세요. 누군가 그냥 "상자 A"라고만 말한다면, 당신은 그 크기를 알 수 없습니다. 하지만 "상자 A는 폭 5인치, 높이 3인치, 무게 2파운드입니다"라고 말해준다면, 당신은 시각화를 시작할 수 있습니다.
• 수행 내용: 연구진은 로봇에게 분자 블록의 크기, 모양, 무게 및 연결 방식에 대한 데이터를 입력했습니다. 이를 통해 로봇은 실제로 조립을 시작하기도 전에 부품의 "형태"를 이해할 수 있게 되었습니다.

2. "조립 라인" 수업 (지도 미세 조정)
다음으로, 로봇에게 실제로 부품을 어떻게 조립하는지 가르쳤습니다.

• 비유: 이제 로봇은 상자가 어떻게 생겼는지 압니다. 그다음 지침을 배웁니다: "상자 A를 집어서 오른쪽으로 2인치 이동시킨 뒤, 45도 회전시키세요."
• 수행 내용: 연구진은 안정적인 결정을 만들기 위해 각 블록의 정확한 위치와 회전(복잡한 수학 대신 '롤, 피치, 요'처럼 회전을 설명하는 오일러 각도를 사용)을 예측하도록 모델을 훈련시켰습니다.

3. "품질 관리" 수업 (강화 학습)
마지막으로, 로봇에게 연습을 시키되 엄격한 심판을 붙였습니다.

• 비유: 로봇이 구조물을 만듭니다. 만약 구조물이 무너지거나 블록끼리 충돌하면, 심판은 "엄지 아래로(낮은 점수)"를 줍니다. 만약 구조물이 완벽하고 안정적인 결정과 똑같다면, 심판은 "엄지 위로(높은 점수)"를 줍니다. 로봇은 이 점수를 바탕ून 실수를 줄이는 법을 배웁니다.
• 수행 내용: 연구진은 SAPO(Soft Adaptive Policy Optimization)라는 시스템을 사용했습니다. 로봇이 실제 구조물과 유사한 것을 만들면 보너스를 주었고, 불안정한 구조를 만들면 부드럽게 교정해 주었습니다. 이를 통해 로봇은 "충돌"을 피하고 안정적인 구조를 만드는 법을 배웠습니다.

결과: 빠르고 정확하게

팀은 새로운 로봇인 MOF-LLM을 구조를 구축하려는 다른 컴퓨터 프로그램들과 비교 테스트했습니다.

• 정확도: MOF-LLM은 맡은 바 임무를 가장 잘 수행했습니다. 이 모델은 약 36%의 확률로 올바른 구조를 예측하는 데 성공했으며, 이는 이 분야에서 엄청난 승리입니다. 이는 다른 모든 방법을 제쳤습니다.
• 속도: 이 부분이 진정한 강점입니다. 다른 방법들은 복잡한 수학을 반복해야 하기 때문에 하나의 구조를 만드는 데 몇 초 또는 몇 분이 걸립니다. 반면 MOF-LLM은 속독가와 같습니다. 단 0.04초 만에 구조를 생성합니다. 이론적으로 인간이 눈 한 번 깜빡이는 시간 동안 수천 개의 구조를 만들어낼 수 있을 만큼 빠릅니다.

이것이 왜 중요한가

이 논문은 이러한 복잡한 분자를 "블록"으로 취급하고 언어 모델에게 3D 공간을 이해하도록 가르침으로써, 현재 사용 가능한 그 어떤 도구보다 더 똑똑하고 빠른 도구를 만들었다고 주장합니다.

그들은 단순히 추측하는 로봇을 만든 것이 아니라, 건축 블록의 기하학적 구조를 이해하는 로봇을 만들었습니다. 이를 통해 과학자들은 실험실에서의 느리고 비용이 많이 드는 시행착착오 과정을 건너뛰고, 공기를 정화하거나 질병을 치료할 수 있는 새로운 재료의 설계가 실제로 작동할지 즉각적으로 확인할 수 있습니다.

요약하자면: 그들은 텍스트 봇에게 분자 레고의 마스터 건축가가 되는 법을 가르쳤으며, 이를 통해 새로운 재료를 찾는 과정을 훨씬 더 빠르고 정확하게 만들었습니다.

기술 요약

기술 요약: 금속-유기 골격체(MOF) 구조 예측을 위한 대규모 언어 모델의 공간 추론 능력 향상

문제 정의

금속-유기 골격체(MOF)는 탄소 포집, 약물 전달, 수분 수확 등에 중요한 응용 가치를 지닌 다공성 결정질 재료이다. 그러나 이들의 3차원 구조를 정확하게 예측하는 것은 단위 격자(unit cell)당 수백 개의 원자를 포함하는 높은 구조적 복잡성으로 인해 매우 까파다. LLM은 단순한 벌크 물질의 결정 구조를 생성하는 데 유망한 성과를 보여왔으나, MOF에 직접 적용하기에는 두 가지 주요 요인에 의해 제약을 받는다:

1. 컨텍스트 길이(Context Length): MOF를 원자 수준에서 표현하면 현재 LLM의 컨텍스트 제한을 초과하는 과도하게 긴 토큰 시퀀스가 발생한다.
2. 공간 추론 결핍(Spatial Reasoning Deficits): LLM은 충돌이나 물리적 불가능성을 피하면서 빌딩 블록(금속 노드 및 유기 링커)을 조립하는 데 필요한 복잡한 3D 기하학적 구조와 정밀한 회전 방향을 이해하는 데 어려움을 겪는다. 기존의 LLM 기반 접근 방식은 주로 1D 문자 식별자나 외부 솔버에 의존하며, 3D 공간 관계를 명시적으로 인지하거나 정밀한 원자 구조를 직접 조립하지 못한다.

방법론

저자들은 블록 수준의 MOF 구조 예측을 위해 LLM을 적응시킨 최초의 프레임워크인 MOF-LLM을 제안한다. 이 접근 방식은 MOF 생성을 개별 원자가 아닌, 사전 정의된 빌딩 블록의 격자 매개변수와 회전-병진(roto-translations, 위치 및 방향)을 예측하는 자기회귀적(autoregressive) 조립 작업으로 취급한다.

이 프레임워크는 Qwen-3 8B 백본을 사용하는 3단계 훈련 파이프라인을 채택한다:

1. 텍s트 포매팅 및 표현

3D 기하학적 구조와 LLM의 텍스트 처리 간의 간극을 메우기 위해:

• 블록(Blocks): 화학적 의미론적 사전 지식(chemical semantic priors)을 활용하기 위해 빌딩 블록은 정형 SMILES 문자열로 표현된다.
• 기하학(Geometry): 1D 문자열에서 발생하는 3D 정보 손실을 보완하기 위해, 저자들은 **공간적 사전 지식(spatial priors)**인 분자량, PCA 기반 공간 범위(bounding box dimensions), 위상 코드(RCK)를 입력에 추가하였다.
• 변환(Transformations): 격자 매개변수는 스칼라 값으로 변환된다. 결정적으로, 3D 회전 행렬은 쿼터니언(quaternions)이나 축-각도(axis-angle) 벡터보다 LLM에게 더 직관적인 것으로 밝혀진 오일러 각도(Euler angles)(roll, pitch, yaw)로 변환된다.

2. 3단계 훈련 파이프라인

• 공간 인지 지속적 사전 훈련(Spatial-Aware Continual Pre-training, CPT): 모델은 블록 연결성, 기하학 및 위상 정보를 포함하는 큐레이션된 데이터셋을 통해 사전 훈련된다. 이 단계는 명시적인 공간적 사전 지식을 주입하여, LLM이 블록의 고유한 기하학적 구조와 잠재적 배치를 이해할 수 있도록 한다.
• 구조적 지도 미세 조정(Structural Supervised Fine-Tuning, SFT): 모델은 일련의 빌딩 블록이 주어졌을 때 완전한 3D 구성(격자 매개변수, 병진 벡터 및 오일러 각도)을 자기회귀적으로 생성하도록 미세 조정된다. 이 단계는 조립 로직에 집중한다.
• 매칭 기반 강화 학습(Matching-Driven Reinforcement Learning, RL): 구조적 불안정성(예: 블록 충돌)을 해결하기 위해, 저자들은 **연성 적응형 정책 최적화(Soft Adaptive Policy Optimization, SAPO)**를 사용한다. 모델은 후보 구조 그룹을 생성하고, 이는 StructureMatcher 및 RMSE를 기반으로 한 구조적 매칭 보상을 사용하여 실제 참조값과 비교 평가된다. 보상 함수는 높은 정밀도의 매칭에 보너스를 부여하고 구조적 실패에 페널티를 부여함으로써, 정책이 안정적이고 물리적으로 타당한 MOF를 생성하도록 유도한다.

주요 기여

1. 최초의 MOF용 LLM 프레임워크: MOF-LLM은 원자 수준의 텍스트 표현을 넘어 블록 수준의 생성 패러다임으로 이동하여, LLM을 MOF 구조 예측에 직접 적용한 최초의 연구이다.
2. 향상된 공간 추론: 공간 인지 CPT와 명시적 기하학적 기술자(PCA 범위, 위상 코드) 및 오일러 각도 표현을 통합함으로써, 프레임워크는 3D 블록 조립에 대한 LLM의 추론 능력을 크게 개선한다.
3. 효율적이고 정확한 예측: 이 방법은 단일 자기회귀 패스(single autoregressive pass) 내에서 구조를 생성함으로써 탁월한 계산 효율성을 유지하면서 최첨단(state-of-the-art) 성능을 달면한다.

실험 결과

모델은 324,426개의 가상 MOF(Boyd et al. [3]) 데이터셋을 통해 평가되었다.

• 정확도: MOF-LLM은 엄격한 허용 오차($stol=0.5$)에서 **35.78$stol=1.0$에서 **93.25%**의 매치율을 기록하며, 디노이징 기반 베이스라인(MOF-BFN, MOFFlow) 및 다른 LLM 기반 접근 방식(PLaID++)을 능가했다. 또한 베이스라인 대비 원자 위치의 평균 제곱 오차(RMSE)가 더 낮음을 입증했다.
• 효율성: 추론 시간은 구조당 0.04초로, 반복적인 샘플링이 필요한 디노이징 기반 방법(예: MOF-BFN은 5개 샘플에 0.21초 소요)보다 현저히 빠르다.
• 확장성: 모델은 원자 및 빌딩 블록의 수가 증가함에 따라 높은 성능을 유지하며, 큰 시스템(>800개 원자)에서 베이스라인과의 성능 격차를 넓히며 우위를 점한다.
• 절제 연구(Ablation Studies):
  • 오일러 각도: 축-각도 벡터보다 우수한 성능을 보여, 오일러 각도가 LLM 친화적임을 시사했다.
  • 공간 CPT: CPT 단계에서 공간 기술자(위상, PCA 범위)를 제거하자 매치율이 크게 떨어지고 구조적 무효성(원자 중첩 및 고립된 분자)이 증가했다.
  • RL: SAPO 단계는 구조적 불가능성을 크게 줄이고 실제값과의 정렬을 개선했다.

의의 및 주장

본 논문은 MOF-LLM이 공간 추론이 중요한 복잡한 과학 시스템에 범용 LLM을 적응시키기 위한 원칙적인 경로를 구축한다고 주장한다. 전통적인 제일 원리(first-principles) 방법의 확장성 병목 현상과 원자 수준 LLM 접근 방식의 컨텍스트 제한을 극克服함으로써, 이 연구는 가속화된 MOF 발견을 위한 정확하고 매우 효율적인 대안을 제공한다. 저자들은 이 프레임워크를 자연어 프롬프팅이 궁극적으로 다재다능한 재료 설계를 가능하게 할 차세대 MOF 설계를 향한 기초적인 디딤돌로 제시한다. 본 연구는 공간적 사전 지식과 강화 학습을 통해 적절히 유도된 LLM이 어떻게 복잡한 3차원 조립 문제를 효과적으로 해결할 수 있는지를 보여줌으로써 망상 화학(reticular chemistry)에 기여한다.