AtomWorld: A Benchmark for Evaluating Spatial Reasoning in Large Language Models on Crystalline Materials

본 논문은 결정성 물질 구조 변형에 대한 대규모 언어 모델 평가를 위한 벤치마크인 AtomWorld 를 소개하며, 이는 Claude Opus 4.6 과 같은 모델이 기본 작업에서는 우수한 성능을 보이지만 복잡한 공간 추론에서는 성공률이 크게 떨어지는 것을 밝혀내어, 이러한 모델들이 자율 에이전트보다는 과학적 코파일럿으로 더 적합함을 시사한다.

핵심

상상해 보세요. 아주 작고 보이지 않는 레고 블록으로 사물을 만드는 거대한 마법 설명서가 있다고 가정해 봅시다. 이 블록들은 원자이고, 그 지침들은 'CIF 파일'이라는 특별한 코드로 작성되어 있습니다. 과학자들은 이 파일들을 사용하여 더 강력한 배터리나 더 효율적인 태양광 패널과 같은 새로운 소재를 설계합니다.

최근 우리는 컴퓨터에 새로운 초능력을 부여했습니다: 대규모 언어 모델 (LLM) 입니다. 이를 인간 언어를 읽고 쓸 수 있는 매우 똑똑한 로봇으로 생각하세요. "소금의 화학식은 무엇인가?" 또는 "결정에 관한 이야기를 들려줘"와 같은 질문에 답하는 데는 탁월합니다.

하지만 이 논문이 제기하는 핵심 질문은 이것입니다: 이 똑똑한 로봇들이 실제로 요청을 받으면 이 원자 레고 구조물을 '만들고' '수정'할 수 있을까요?

문제: 읽기 대 실행

저자들은 이 로봇들이 과학에 대해 이야기하는 데는 뛰어나지만, 원자를 재배치하는 실제 작업을 수행하는 데는 테스트되지 않았다는 점을 깨달았습니다. 마치 레시피를 완벽하게 설명할 수 있는 요리사가 실제로 양파를 썰거나 팬케이크를 뒤집으라고 하면 실패하는 것과 같습니다.

실제 세계에서는 과학자들이 구조에 작고 정밀한 변경을 가해야 할 때가 많습니다. "이 원자를 여기로 이동시켜라", "이 원자 군집을 회전시켜라", 또는 "이 두 원소를 서로 바꾸라"와 같은 지시입니다. 이를 수행하려면 텍스트 작성과는 매우 다른 강력한 3 차원 공간감과 기하학적 감각이 필요합니다.

해결책: AtomWorld (훈련장)

이를 테스트하기 위해 연구자들은 AtomWorld라는 놀이터를 구축했습니다.

AtomWorld 를 이 AI 로봇들을 위해 특별히 설계된 비디오 게임 레벨로 생각하세요.

• 설정: 게임은 로봇에게 시작 레고 구조와 간단한 명령을 제공합니다. 예를 들어 "빨간 블록을 오른쪽으로 90 도 회전시켜라"와 같습니다.
• 목표: 로봇은 수정된 새로운 레고 구조물을 올바른 코드 형식으로 출력해야 합니다.
• 규칙: 게임은 엄격한 자로 로봇의 답변을 확인합니다. 올바른 블록을 이동시켰나요? 각도는 정확한가요? 새로운 구조물은 안정적인가요?

연구자들은 '단순한 것 (예: '블록 추가') 에서 매우 어려운 것 (예: '특정 점을 중심으로 전체 블록 군집 회전') 까지 10 가지 기본 이동 유형을 아우르는 **2,500 개의 서로 다른 레벨 (AtomMotor-2K 라고 함)**을 만들었습니다.

발견 결과: '운동 기능' 격차

최고의 AI 모델들을 이 테스트에 통과시켰을 때, 결과는 좋은 소식과 나쁜 소식이 섞여 있었습니다:

1. "쉬운" 이동: 새로운 원자를 추가하거나 제거하는 것과 같은 간단한 작업의 경우, 로봇들은 놀라울 정도로 잘 수행했습니다. 대부분의 경우 정답을 냈습니다.
2. "어려운" 이동: 원자 군집을 회전시키거나 한 원자를 다른 원자에 더 가깝게 이동시키는 것과 같은 복잡한 공간 추론이 필요한 작업에서는 로봇들이 심하게 고전했습니다. 회전 작업의 성공률은 12% 미만으로 떨어졌습니다.
   • 비유: 로봇에게 "탁자 위에서 팽이를 돌리라"고 요청하는 것과 같습니다. 로봇은 팽이가 무엇인지 알 수는 있지만, 실제로 돌리려고 하면 종종 탁자를 엎치거나 잘못된 방향으로 돌립니다.
3. 크기가 중요하지만 전부는 아님: 더 크고 강력한 AI 모델들이 일반적으로 더 잘 수행했지만, 가장 큰 모델조차도 가장 어려운 공간 작업에서는 실패했습니다. 이는 로봇을 단순히 "더 똑똑하게" 만드는 것 (더 많은 데이터를 추가하는 것) 만으로는 부족하며, 3 차원 기하학을 위한 다른 종류의 "뇌"가 필요하다는 것을 시사합니다.

결론: 조종사가 아닌 조종사 보조

이 논문은 현재 이러한 AI 모델들이 과학적 발견의 주요 조종사가 될 준비가 되지 않았음을 결론지었습니다. 기하학적 실수를 계속 범하기 때문에 복잡한 새로운 소재를 자율적으로 설계하는 것을 신뢰할 수 없습니다.

그러나 그들은 훌륭한 조종사 보조입니다. 아이디어를 초안화하거나, 간단한 오류를 확인하거나, 작업의 지루한 부분을 처리하는 데 과학자들을 도울 수 있지만, 최종 3 차원 구조는 인간 전문가가 다시 한번 확인해야 합니다.

이것이 중요한 이유

저자들은 로봇들을 채점하기 위해 AtomWorld 를 구축한 것이 아니라, 그들에게 연습할 장소를 제공하기 위해 구축했습니다. 인간이 고속도로를 주행하기 전에 주차장에서 운전을 연습하는 것처럼, 이러한 AI 모델들도 원자를 올바르게 "이동"하는 법을 배우기 위해 AtomWorld 같은 장소가 필요합니다.

이 논문은 미래의 AI 가 도구 (머릿속으로 수학 문제를 푸는 대신 계산기를 사용하는 것) 를 배우거나 텍스트 설명 대신 3 차원 이미지를 보는 것을 통해 이 부분에서 더 나아질 수 있다고 제안합니다. 하지만 현재로서는 이 디지털 과학자들의 "운동 기능"은 여전히 진행 중인 작업입니다.

기술 요약

기술 요약: AtomWorld: 재료 구조에 대한 대규모 언어 모델의 공간 추론 능력 평가용 벤치마크

1. 문제 제기

대규모 언어 모델 (LLM) 은 지식 검색 및 물성 예측 분야에서 과학적 연구 잠재력을 입증해 왔으나, 기존 벤치마크는 주로 지각적 또는 지식 기반 작업에 초점을 맞추고 있습니다. 이들은 실제 과학 연구의 핵심인 모델링 작업을 크게 간과하고 있습니다. 재료 과학에서 원자 구조를 구축하고 조작하는 것은 매우 창의적이지만 자동화가 덜 된 단계입니다.

현재 결정학 분야에서의 LLM 적용 (예: CrystaLLM, MatterGPT) 은 주로 단일 단계로 전체 결정 구조를 생성하는 데 중점을 둡니다. 그러나 현실적인 모델링은 종종 (결함 있는 결정, 계면, 또는 적층된 헤테로구조 생성과 같은) 구조 수정 시퀀스를 통한 점진적 구축을 요구합니다. 이는 연속적인 3D 공간에서 구조화된 작업을 추론하고 실행할 수 있는 능력을 필요로 합니다. 본 연구가 다루는 핵심 질문은 다음과 같습니다: LLM 은 연속 공간에서 원자 구조를 수정하는 작업 시퀀스를 얼마나 잘 실행할 수 있는가?

2. 방법론

2.1. AtomWorld 벤치마크

저자들은 구조 수정에 대한 LLM 능력을 평가하기 위해 설계된 AtomWorld 벤치마크를 소개합니다. 워크플로우는 두 단계로 구성됩니다:

1. 추론: 모델은 입력 결정 구조 (Crystallographic Information File, CIF 형식) 와 자연어 행동 프롬프트를 받습니다. 모델은 예측된 구조 표현을 생성해야 합니다.
2. 평가: 검증 파이프라인이 출력을 처리합니다:
   • 형식 검증: 출력이 유효한 CIF 블록인지 확인합니다.
   • 조성 검증: 올바른 원소와 원자 수를 확인합니다.
   • 구조 매칭: pymatgen 의 StructureMatcher 를 통해 대칭성을 고려한 정렬을 사용하여 생성된 구조를 기준 (ground truth) 과 비교합니다. 모든 검증 단계가 통과해야만 예측이 정확합니다.

지표:

• 성공률: 모든 검증 단계를 통과한 테스트 케이스의 백분율.
• 평균 최대 거리 (Max Dist): 구조적으로 유효한 출력의 경우, 최적 정렬 후의 최대 쌍별 원자 변위를 측정합니다. 이는 그렇지 않으면 정확한 구조에서 단일 원자 오류를 더 잘 포착하므로 RMSD 보다 선호됩니다.

2.2. 데이터셋 생성 (AtomMotor-2K)

이 벤치마크는 Materials Project 에서 샘플링된 구조 풀에서 "행동 전 - 행동 - 행동 후" 삼중항을 생성하는 생성기를 활용합니다.

• 범위: 주요 테스트 세트인 AtomMotor-2K는 2,500 개의 질문을 포함합니다.
• 행동: 네 가지 모델링 카테고리에 걸쳐 10 가지 기본 행동을 다룹니다:
  • 점 결함 및 도핑: 변경 (change), 제거 (remove), 추가 (add), 사이에 삽입 (insert between), 교체 (swap).
  • 표면 생성: 아래 삭제 (delete below).
  • 구조 교란: 이동 (move), 방향으로 이동 (move towards), 회전 (rotate around).
  • 초격자 생성: 초격자 (super cell).
• 보조 테스트: 특정 능력을 분리하기 위해 저자들은 다음을 설계했습니다:
  • 순수 좌표 테스트: 고유한 기하학적 난이도를 측정하기 위해 원시 좌표만 사용하는 간소화된 작업.
  • CIF 문해력 테스트: CIF-Repair(손상된 파일 수정) 및 CIF-Gen(표준 프로토타입 생성).
  • 화학적 역량 점수 (CCS): 정확한 구조 설명과 부정확한 구조 설명을 구분함으로써 잠재적 화학 지식을 측정.
  • StructProp: 특정 물성 변화 (예: 밴드 갭) 를 달성하기 위해 구조 수정이 필요한 작업.

2.3. 실험 설정

이 연구는 최첨단 폐쇄형 모델 (Claude Opus 4.6, GPT-5.4, Gemini 3.1 Pro) 과 오픈소스 베이스라인 (Qwen-3 시리즈, Llama-3 70B, Deepseek-V3.2) 을 포함한 다양한 모델을 평가했습니다.

• 도구 증강 에이전트: LLM (Deepseek) 이 직접 텍스트를 생성하는 대신 코드 생성 및 RAG 를 통해 pymatgen 을 사용하여 행동을 수행하는 예비 프레임워크가 테스트되었습니다.
• 파인튜닝 없음: 모든 평가는 기본 API 매개변수를 사용한 제로샷 (zero-shot) 모델에서 수행되었습니다.

3. 주요 결과

3.1. AtomMotor-2K 성능

• 전체 성능: Claude Opus 4.6이 일반적으로 가장 좋은 성능을 보였습니다.
• 난이도 계층화: 성공률에 따라 행동이 분류되었습니다:
  • 쉬움: 변경, 제거, 교체, 추가 (높은 성공률).
  • 보통: 이동, 방향으로 이동, 사이에 삽입.
  • 어려움: 아래 삭제, 회전 (회전의 성공률은 12% 미만).
• 복잡성 영향: 모델링 복잡도가 증가함에 따라 성공률이 현저히 감소합니다. 복잡한 공간 관계 (예: 회전) 가 포함된 작업은 특히 낮은 성공률을 보입니다.
• 초격자 이상: "초격자 (super cell)" 작업은 높은 분산 (4%~98% 성공률) 을 보였는데, 이는 동시에 "쉬운"(대규모 반복) 이고 "어려운"(긴 컨텍스트 출력 필요) 작업이기 때문입니다.
• 확장성: 더 큰 모델은 일반적으로 더 높은 성공률과 더 작은 변위를 달성했습니다. 그러나 아키텍처 설계와 학습 전략 (예: Qwen3-32B 가 Llama3-70B 를 능가함) 이 파라미터 크기만큼 중요하다는 것이 밝혀졌습니다.

3.2. 진단적 통찰

• 공간 추론: LLM 은 직관적인 공간 시각화보다는 명시적인 선형 대수와 단계별 산술을 통해 구조적 작업에 접근합니다. 비선형 의존성과 좌표 조작에 어려움을 겪습니다.
• 순수 좌표 테스트: 모델은 간단한 이동 (이동, 방향으로 이동) 에서는 잘 수행되었으나, 회전에서는 실패하여 일관성 없이 회전 행렬을 계산하려는 시도를 자주 했습니다.
• CIF 문해력: 대부분의 모델은 CIF 형식에서 강력한 기초 능력을 보였습니다 (수정 작업에서 90% 이상의 성공률). 이는 수정 작업에서의 실패가 형식 무지에서 기인한 것이 아니라 공간 추론의 한계 때문임을 시사합니다.
• 도구 증강 에이전트: 도구 통합 (코드 생성 및 pymatgen) 은 성능을 향상시켰습니다 (예: Deepseek 의 회전 성공률은 6.8% 에서 18% 로 상승). 그러나 복잡한 행동의 경우 향상 폭은 제한적이었습니다.

3.3. 물성 지향 작업 (StructProp)

대부분의 LLM 은 특정 물성 (밴드 갭, 체적 탄성률) 을 변경하기 위해 구조 수정이 필요한 작업에서 50% 이상의 성공을 거두지 못했습니다. 모델들은 화학적 정의에 기반한 타당한 전략을 제안할 수 있었지만, 결과를 보장하기 위해 필요한 전자 구조에 대한 깊은 이해가 부족했습니다.

4. 주요 기여

1. AtomWorld 벤치마크: 원자 단위 구조 모델링에서 LLM 의 "운동 능력"을 평가하도록 특별히 설계된 검증 가능하고 정량적인 지표를 갖춘 최초의 벤치마크.
2. AtomMotor-2K 데이터셋: 유연한 파이프라인을 통해 생성된 기본 구조 작업을 다루는 2,500 개의 표준화된 테스트 세트.
3. 진단 프레임워크: LLM 의 특정 추론 병목 현상을 분해하고 분석하기 위한 보조 테스트 세트 (순수 좌표, CIF 문해력, CCS).
4. 실증적 증거: 현대 LLM 이 복잡한 공간 조작을 위한 완전한 자율 에이전트보다는 재료 구조 모델링을 위한 코파일럿으로 더 적합하다는 것을 보여주는 체계적인 평가.

5. 중요성과 주장

저자들은 AtomWorld 를 강화 학습 (RL) 및 에이전트 접근법을 활용하는 미래의 구조 인식 모델 개발을 위한 기초적인 놀이터로 위치시킵니다.

• 현재 한계: 결과는 LLM 이 원자 구조에 대한 직관적인 지각이 부족하고 공간적 의존성에 어려움을 겪음을 시사합니다. 정보 완전성을 갖춘 순수 텍스트 표현은 지각적 모달리티에 비해 구조 모델링을 위한 비효율적인 인터페이스일 수 있습니다.
• 향후 방향: 이 벤치마크는 다음과 같은 분야를 위한 테스트베드로 기능합니다:
  • 강화 학습: 에이전트 훈련을 위한 보상으로서 평가 지표를 활용.
  • 도구 증강 설계: 계산 화학 도구 통합 개선.
  • 멀티모달 접근: 시각적 입력 (구조 시각화) 이 텍스트 전용 추론의 한계를 극복할 수 있는지 탐구.
  • 확산 모델: 노이즈 반전을 이해하는 확산 기반 LLM 이 유효 대 무효 구조 수정을 구분하는 데 본질적으로 더 우수한지 조사.

이 논문은 LLM 이 복잡하고 역동적인 모델링을 위한 자율 과학 에이전트로 배포되기 전에, 커뮤니티가 먼저 이러한 검증 가능한 구조 모델링 작업을 정복하고 LLM 능력과 더 잘 정렬된 도구 및 모달리티를 개발해야 한다고 결론지었습니다.