A recipe for scalable attention-based MLIPs: unlocking long-range accuracy with all-to-all node attention

이 논문은 대규모 데이터와 모델 스케일링 하에서 물리 기반 편향을 대체하여 장거리 상호작용을 정확하게 포착하고 실험 관측치를 재현하는 새로운 어텐션 기반 기계학습 원자 간 힘 모델인 AllScAIP 를 제안합니다.

핵심

이 논문은 **"AI 가 분자 세계를 어떻게 더 정확하게 이해하고 예측할 수 있을까?"**라는 질문에 대한 새로운 답을 제시합니다. 제목은 조금 어렵지만, 핵심 내용은 매우 직관적이고 흥미롭습니다.

한마디로 요약하면: **"복잡한 물리 법칙을 미리 정해 주기보다, AI 에게 엄청난 양의 데이터를 보여주고 스스로 배우게 하는 것이 더 효과적이다"**는 것을 증명했습니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제: "멀리 떨어진 친구도 알아야 해!" (장거리 상호작용의 어려움)

분자 (원자들이 모여 있는 것) 를 연구할 때, AI 는 보통 주변의 이웃만 보고 상황을 판단합니다. 마치 초등학교 교실에서 친구의 행동을 볼 때, 내 바로 옆에 앉은 친구만 보고 "아, 저 친구는 지금 조용히 책을 읽고 있구나"라고 추측하는 것과 비슷합니다.

하지만 실제 분자 세계에서는 **멀리 떨어진 친구 (원자)**의 영향도 중요합니다.

• 예시: 교실 한쪽 구석에 있는 친구가 갑자기 크게 웃으면, 내 옆 친구도 웃을 수 있습니다. 혹은 교실 전체에 전기가 통하면 모든 친구가 반응하죠.
• 기존 AI 의 한계: 기존의 AI 모델들은 "내 주변 2m 이내만 보고 판단해"라는 규칙 (물리 법칙) 을 너무 엄격하게 따르다 보니, 멀리서 오는 영향 (전기적 힘, 분자 간 인력 등) 을 놓쳐버렸습니다. 그래서 큰 분자나 복잡한 액체를 다룰 때 정확도가 떨어졌습니다.

2. 해결책: "전교생이 서로 대화하게 하기" (All-to-All Attention)

이 논문에서 제안한 AllScAIP라는 새로운 AI 는 이 문제를 해결하기 위해 아주 단순하지만 강력한 방법을 썼습니다.

• 기존 방식: "주변 5 명만 보고 판단해" (물리 법칙을 강제로 주입).
• 새로운 방식 (AllScAIP): "교실 전체의 친구들이 서로 눈을 마주치고 대화하게 해!" (모든 원자가 서로를 직접 관찰하게 함).

이걸 Attention(주의) 기술이라고 하는데, 마치 대형 회의실에서 모든 참가자가 서로의 말을 듣고 상황을 파악하는 것과 같습니다.

• 장점: 멀리 떨어진 원자끼리도 서로 영향을 주고받는다는 것을 AI 가 스스로 깨닫게 됩니다.
• 단점: 모든 사람이 서로 대화하면 시간이 좀 걸릴 수 있지만 (계산 비용 증가), 최신 기술로 이를 효율적으로 처리했습니다.

3. 핵심 발견: "규칙책 vs 경험" (인덕티브 바이어스 vs 데이터)

이 논문의 가장 재미있는 부분은 **"AI 에게 미리 물리 법칙을 알려주는 게 정말 좋은가?"**에 대한 실험 결과입니다.

• 작은 데이터/작은 AI 일 때:

  • AI 가 아직 어리고 데이터가 적을 때는, 미리 물리 법칙 (규칙책) 을 알려주는 게 좋습니다.
  • 비유: 어린아이가 낯선 도시를 돌아다닐 때는 "이쪽은 위험해, 저쪽은 안전해"라고 부모님이 알려주는 게 도움이 됩니다.
  • 논문에서는 '각도'나 '거리'를 미리 알려주는 작은 규칙들을 추가하면 성능이 좋아졌습니다.

• 큰 데이터/큰 AI 일 때:

  • 하지만 AI 가 엄청나게 커지고 데이터도 수억 개로 늘어났을 때는 이야기가 달라집니다.
  • 비유: 이제 AI 는 그 도시를 수천 번이나 돌아다녔습니다. 부모님이 알려준 "이쪽은 위험해"라는 규칙책보다, 스스로 수천 번의 경험을 통해 "아, 저기서 사고가 나더라"라고 배우는 게 더 정확하고 유연합니다.
  • 결과: 데이터가 많을수록 미리 정해준 규칙들은 오히려 AI 의 학습을 방해하거나 별 도움이 안 되었습니다. 대신 "모든 원자가 서로 대화하게 하는 (All-to-All)" 구조만이 계속 성능을 끌어올렸습니다.

4. 성과: "현실과 똑같은 시뮬레이션"

이 새로운 AI 를 실제로 테스트해 보니 놀라운 결과가 나왔습니다.

1. 정확도: 분자의 에너지와 힘을 예측하는 정확도가 기존 최고 모델들보다 훨씬 뛰어났습니다.
2. 장거리 능력: 분자를 늘리거나 (스트레칭) 압축했을 때, 기존 모델들은 엉뚱한 값을 내놓았지만, 이 모델은 물리 법칙을 완벽하게 지켜냈습니다.
3. 실제 실험과 일치: 컴퓨터로 분자 액체를 움직여 보자 (분자 동역학 시뮬레이션), 실제 실험실에서 측정한 밀도나 증발열과 거의 똑같은 값을 예측했습니다.
   • 비유: 컴퓨터 안에서 만든 가상의 액체가, 실제 실험실에서 만든 액체와 똑같은 무게와 성질을 가졌다는 뜻입니다.

5. 결론: "규칙보다 데이터와 규모가 답이다"

이 논문의 결론은 매우 명확합니다.

"AI 를 만들 때, 우리가 아는 물리 법칙을 모두 코딩으로 넣으려 애쓰기보다, AI 가 스스로 배울 수 있는 규모 (데이터와 컴퓨팅 파워) 를 키우는 것이 더 중요합니다."

• 과거: "우리가 물리를 가르쳐줘야 AI 가 잘해."
• 미래 (이 논문의 주장): "AI 에게 엄청난 데이터를 주고, 모든 것이 서로 연결되게 하면, AI 가 스스로 물리 법칙을 찾아내고 더 잘해."

이 방법은 **바이오 분자 (단백질 등)**나 **전해질 (배터리 내부)**처럼 크고 복잡한 시스템을 다룰 때 특히 빛을 발하며, 앞으로 AI 가 과학 연구에 더 깊게 관여할 수 있는 길을 열었습니다.

한 줄 요약:

"작은 AI 에게는 물리 법칙을 가르쳐주지만, 거대 AI 에게는 그냥 모든 것을 서로 연결해 주고 수억 번의 경험을 시키면, AI 가 스스로 가장 완벽한 물리 법칙을 찾아냅니다."

기술 요약

논문 개요

이 논문은 기계 학습 원자 간 퍼텐셜 (MLIPs) 의 확장성과 장거리 (Long-Range, LR) 상호작용 정확도를 동시에 해결하기 위해 제안된 새로운 아키텍처인 **AllScAIP(All-to-all Scalable Attention Interatomic Potential)**를 소개합니다. 기존 모델들이 대규모 시스템 (생체 분자, 전해질 등) 에서 장거리 상호작용을 포착하는 데 한계를 보였으나, AllScAIP 는 데이터 기반의 '전체 - 대 - 전체 (all-to-all)' 노드 어텐션 메커니즘을 도입하여 이를 극복하고, 대규모 데이터와 모델 스케일링 하에서 최첨단 성능을 달성함을 증명했습니다.

---

1. 문제 정의 (Problem)

• 장거리 상호작용의 부재: 기존의 MLIP 모델들은 주로 국소적인 반경 그래프 (local radius-graph) 와 거리 컷오프 (cutoff) 에 기반하여 설계되었습니다. 이로 인해 전자기력, 유도/분극, 분산력 (dispersion) 등 원자 간 장거리 상호작용을 정확히 포착하지 못합니다.
• 기존 해결책의 한계: 장거리 상호작용을 보완하기 위해 쿨롱 항을 명시적으로 계산하거나 (Ewald/PME), 분극 솔버를 추가하는 등 물리 기반의 인덕티브 바이어스 (inductive biases) 를 강제로 주입하는 방식이 주로 사용되었습니다. 그러나 이러한 방식은 계산 비용이 크고, 다양한 시스템에 걸쳐 확장하기 어렵습니다.
• 스케일링과 인덕티브 바이어스의 관계: 소규모 데이터/모델에서는 물리 기반의 인덕티브 바이어스 (회전 대칭성, 국소성 등) 가 효율성을 높이지만, 데이터와 모델 크기가 커질수록 이러한 고정된 바이어스의 이점이 감소하거나 오히려 방해가 될 수 있다는 가설이 제기되었습니다.

2. 방법론 (Methodology)

저자들은 AllScAIP라는 새로운 모델을 제안하며, 이는 다음과 같은 핵심 요소들을 포함합니다.

A. 아키텍처 설계

모델은 두 단계의 어텐션 (Attention) 연산으로 구성됩니다 (그림 1, 2 참조):

1. 국소 자기 어텐션 (Neighborhood Self-Attention):
   • 고정된 이웃 리스트 (local stencils) 를 기반으로 작동합니다.
   • 각 중심 원자가 $k$개의 이웃과 자기 자신을 대상으로 어텐션을 수행하여 국소적인 기하학적 정보를 해결합니다.
   • 레전드 각도 인코딩 (LAE, Legendre Angular Encoding): 방향성 정보를 제공하기 위해 구면 조화 함수 (Spherical Harmonics) 를 기반으로 한 각도 인코딩을 어텐션 로짓에 주입합니다.
2. 전체 - 대 - 전체 노드 자기 어텐션 (All-to-all Node Self-Attention):
   • 그래프 내의 모든 노드 쌍에 대해 어텐션을 수행합니다 ($O(N^2)$ 복잡도).
   • 이 단계는 국소 어텐션이 해결하지 못하는 장거리 상호작용을 한 번의 단계에서 전역적으로 혼합 (mixing) 합니다.
   • 유클리드 로터리 포지션 인코딩 (ERoPE): 거리 정보를 주입하기 위해 등방성 (isotropic) 방사상 인코딩을 사용합니다.

B. 인덕티브 바이어스 전략 (Prior-Light Recipe)

• 강제화된 바이어스 (Hard Priors): 병진 대칭성, 치환 대칭성, 에너지 보존 (미분 가능한 kNN 그래프를 통한 힘 계산), 국소성 (이웃 그래프) 은 아키텍처에 명시적으로 포함됩니다.
• 학습 가능한 바이어스 (Learnable Priors): 회전 등변성 (Rotational Equivariance), 고차 방향성 특징, 장거리 상호작용은 고정된 인코딩 없이 데이터와 모델 스케일링을 통해 학습되도록 설계되었습니다.
• 선택적 인코딩: LAE 와 ERoPE 는 '소프트' 인덕티브 바이어스로, 데이터가 부족할 때는 도움이 되지만 스케일이 커지면 제거해도 성능이 유지되거나 오히려 향상될 수 있음을 실험을 통해 검증했습니다.

---

3. 주요 기여 및 결과 (Key Contributions & Results)

A. 스케일링에 따른 인덕티브 바이어스의 역할 규명

• 저데이터/소규모 모델 regime: 기하학적 인코딩 (LAE, ERoPE) 이 샘플 효율성을 높여 힘 (Force) 과 에너지 오차를 줄이는 데 기여합니다.
• 고데이터/대규모 모델 regime: 데이터 (OMol25 4M → 102M) 와 모델 크기 (35M → 85M 파라미터) 가 증가함에 따라, 고정된 기하학적 인코딩의 이점은 감소하거나 역전됩니다. 즉, 대규모 모델은 방향성 및 거리 정보를 엔드 - 투 - 엔드로 학습할 수 있습니다.
• 핵심 발견: 반면, 전체 - 대 - 전체 노드 어텐션은 데이터와 모델 크기에 상관없이 장거리 상호작용을 포착하는 데 가장 중요한 요소로 남았습니다.

B. 성능 평가 (SOTA 달성)

• OMol25 (Open Molecules 2025): 생체 분자, 전해질, 금속 착물, 중성 유기물 등 다양한 분자 시스템에서 에너지 및 힘 정확도 측면에서 최첨단 (State-of-the-Art) 성능을 기록했습니다.
• 장거리 상호작용 테스트: 분자를 압축하거나 늘리는 (Distance Scaling) 테스트에서, 기존 모델 (eSEN, UMA) 은 변형이 커질수록 오차가 급격히 증가한 반면, AllScAIP 는 낮은 오차를 유지하며 뛰어난 장거리 예측 능력을 입증했습니다.
• 재료 및 촉매: OMat24(재료) 와 OC20(촉매) 데이터셋에서도 경쟁력 있는 성능을 보였습니다.

C. 분자 동역학 (MD) 시뮬레이션 및 실험적 관측치 복원

• 안정적인 장기 시뮬레이션: 명시적인 장거리 물리 항 없이도, 학습된 어텐션 메커니즘만으로 안정적인 NPT/NVT MD 시뮬레이션을 수행했습니다.
• 실험적 관측치 정확도: 39 가지 분자 액체 시스템에 대해 밀도 (Density) 와 기화 엔탈피 (Heat of Vaporization) 를 예측했을 때, 기존 모델 (eSEN, MACELES) 보다 훨씬 높은 정확도 ($R^2$, MAE) 를 보여주었습니다. 이는 모델이 장거리 상호작용을 데이터 기반으로 성공적으로 학습했음을 의미합니다.

D. 효율성 및 확장성

• 계산 복잡도: 국소 어텐션은 $O(Nk)$, 전역 어텐션은 $O(N^2)$의 복잡도를 가집니다. 시스템 크기가 작을 때는 국소 어텐션이 우세하지만, 시스템이 커지면 전역 어텐션이 지배적이 됩니다.
• 실용성: GPU(H200) 환경에서 $10^3 \sim 10^5$ 원자 규모의 시스템에 대해 효율적으로 작동하며, 대규모 LLM 에서 사용된 최적화 기법 (activation checkpointing 등) 을 적용하여 확장성을 확보했습니다.

---

4. 의의 및 결론 (Significance)

이 논문은 MLIP 개발 패러다임에 중요한 시사점을 제공합니다:

1. "Scale First, Bias Second": 충분한 데이터와 계산 자원이 확보된다면, 복잡한 물리 기반 인덕티브 바이어스 (회전 등변성, 고차 방향성 등) 를 아키텍처에 강제로 주입하기보다, 모델이 데이터로부터 직접 학습하도록 하는 것이 더 효과적일 수 있음을 증명했습니다.
2. 데이터 기반 장거리 상호작용: 명시적인 물리 법칙 (쿨롱 법칙 등) 을 모델에 포함시키지 않아도, '전체 - 대 - 전체' 어텐션과 대규모 데이터를 통해 장거리 상호작용을 정확하게 학습할 수 있음을 보여줌으로써, MLIP 의 설계 방식을 단순화하고 확장성을 극대화했습니다.
3. 실용적 적용: 생체 분자 및 전해질과 같은 복잡하고 큰 시스템을 정확하게 시뮬레이션할 수 있는 새로운 기준을 제시하며, 신약 개발 및 재료 과학 연구에 직접적으로 기여할 수 있는 도구를 제공합니다.

결론적으로, AllScAIP 는 간결한 아키텍처, 데이터 중심의 학습, 그리고 스케일링의 힘을 결합하여 기존 물리 기반 모델의 한계를 극복하고 차세대 MLIP 의 새로운 표준을 제시합니다.