← 최신 논문
🔬 재료과학

Self-attention is a Dyson equation for many-body machine learning

이 논문은 셀프 어텐션(self-attention)이 2체 자기 에너지(two-body self-energy)를 갖는 실공간 다이슨 방정식(real-space Dyson equation)으로 기능하며, 이를 통해 대칭적 합 풀링(symmetric sum-pooling, DeepSets)이 평균장(mean-field)의 한계로 인해 표현하지 못하는 들뜬 상태 및 복잡한 파동함량 모델링에 필수적인 비국소적 상관관계를 포착한다고 상정한다.

원저자: Jarvist Moore Frost

게시일 2026-11-17
📖 4 분 읽기☕ 가벼운 읽기

원저자: Jarvist Moore Frost

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 과학의 광활한 풍경 속에서, 학습하는 기계 내부에서는 조용한 혁명이 일어나고 있습니다. 수십 년 동안 연구자들은 원자와 전자의 행동을 모방하여 물질이 가장 근본적인 수준에서 어떻게 행동하는지 예측하기 위해 인공지능을 구축해 왔습니다. 이를 위해 그들은 입자를 공간을 이동하는 개별적인 존재로 취급하는 수학적 모델에 의존합니다. 그러나 우주는 결코 고립된 개인들의 집합체가 아닙니다. 우주는 모든 입자가 근처에 있는 다른 모든 입자의 밀고 당김을 느끼는 관계의 그물망입니다. 문제는 어떻게 하면 컴퓨터가 엄청난 수의 상호작용에 압도되지 않으면서도 이러한 복잡하고 변화하는 연결 관계를 이해하도록 가르칠 것인가였습니다. 오랫동안 가장 성공적인 접근 방식은 문제를 단순화하여 세부 사항을 평균화함으로써 시스템의 일반적인 감각을 얻는 것이었습니다. 이는 안정적인 분자의 에너지를 예측하는 것과 같은 일부 작업에는 잘 작동했지만, 전자가 고도로 상관관지되거나 분자가 더 높은 에너지 상태로 들뜨는 것과 같이 시스템이 복잡해지면 처참하게 실패했습니다. 질문은 여전히 남아 있었습니다. 왜 단순한 평균화 방식은 어떤 것에는 작동하고 다른 것에는 실패했는가, 그리고 다른 종류의 머신러닝 아키텍처가 이 수수께끼를 풀 수 있을 것인가 하는 점이었습니다.

임페리얼 칼리지 런던의 자비스트 무어 프로스트(Jarvist Moore Frost)의 새로운 연구는 서로 무관해 보이는 두 분야, 즉 다체 상호작용 입자의 물리학과 현대 인공지능의 아키텍처를 연결함으로써 놀라운 해답을 제시합니다. 이 연구는 '셀프 어텐션(self-attention)'이라 알려진 특정 유형의 신경망 구성 요소가 단순히 영리한 공학적 기교가 아니라, 입자들이 물리 세계에서 상호작용하는 방식을 나타내는 직접적인 수학적 표현임을 밝혀냈습니다. 논문은 모든 입자의 정보를 단순히 평균 내는 방식인 '섬 풀링(sum-pooling)'이 본질적으로 입자 쌍 사이의 특정한 강한 결합을 무시하는 단순화된 모델이라고 주장합니다. 이러한 평균화는 안정적인 시스템의 기본 에너지를 계산하는 데는 유용하지만, 입자들이 긴밀하게 결합될 때 나타나는 복잡하고 프랙탈적인 패턴을 흐릿하게 만듭니다. 반면, 컴퓨터가 다른 입자에 대한 상대적 중요도를 동적으로 가중할 수 있게 해주는 셀프 어텐션 메커니즘은 이러한 복잡한 쌍별 관계를 포착하는 정밀한 도구 역할을 합니다.

이 아이디어를 테스트하기 위해, 연구자는 2차원 공간에서 움직이는 6개의 전자로 구성된 시스템을 설계했습니다. 목표는 머신러닝 모델에게 '프랙탈 백플로우(fractal backflow)'라고 알려진 매우 복잡한 패턴을 예측하도록 가르치는 것이었습니다. 이 패턴은 한 전자의 위치가 다른 모든 전자의 존재에 의해 어떻게 즉각적이고 복잡하게 변화하는지를 설명하며, 마치 고사리 잎이나 해안선처럼 다양한 척도에서 스스로를 반복하는 형상을 만들어냅니다. 연구는 두 가지 다른 접근 방식을 비교했습니다. 첫 번째는 모든 입자가 균일하고 매끄러운 배경에 둘러싸여 있다고 취급하는 표준 평균화 방식을 사용했습니다. 두 번째는 모델이 임의의 두 입자 사이의 특정 거리와 관계에 집중할 수 있게 하는 셀프 어텐션 메커니즘을 사용했습니다.

결과는 극명하고 결정적이었습니다. 평균화 방식을 사용했을 때, 모델은 복잡한 프랙탈 구조를 포착하는 데 완전히 실패했습니다. 복잡하고 반복되는 패턴의 주머니들을 보는 대신, 모델은 매끄럽고 특징 없는 덩어리를 만들어냈습니다. 이는 마치 모델이 모든 날카로운 모서리와 미세한 세부 사항을 뭉개버려, 실제 물리학과는 전혀 닮지 않은 일반적인 형태만을 남겨둔 것과 같았습니다. 모델은 프랙탈 형상을 생성하는 데 필요한 입자 간의 구체적인 상관관계를 유지하지 못했습니다. 그러나 연구자가 평균화 방식을 셀프 어텐션 메커니즘으로 교체하자, 모델은 즉시 복잡한 구조를 회복했습니다. 모델은 중첩되고 자기 유사적인 주머니들과 프랙탈 패턴을 정의하는 날카롭고 복잡한 경계들을 성공적으로 재현해 냈습니다.

연구는 모델이 입자들이 가까워질 때 어떻게 반응하는지를 살펴봄으로써 왜 이런 현상이 발생하는지 더 깊이 설명합니다. 실제 물리 시스템에서 두 입자가 서로 접근할 때, 두 입자 사이의 힘은 급격하고 즉각적으로 변하는 반면, 먼 곳에 있는 입자들에 미치는 영향은 작게 유지됩니다. 그러나 평균화 모델은 다르게 작동합니다. 두 입자가 가까워질 때, 모델은 이 강렬한 국소적 변화를 마치 전체 집단이 동일한 충격을 받은 것처럼 시스템 내의 모든 입자에게 잘못 전달합니다. 이는 국소적인 사건이 먼 곳의 입자들에게도 잘못 영향을 미치는 '크로스토크(crosstalk)' 오류를 생성합니다. 반면, 셀프 어텐션 모델은 강렬한 상호작용을 해당 두 입자에게만 격리시켜 먼 곳의 입자들은 영향을 받지 않도록 정확히 분리합니다. 이러한 국소적인 강한 상호작용과 먼 곳의 약한 상호작용을 구분하는 능력이 바로 셀프 어텐션 모델이 시스템의 진정한 복잡한 행동을 재구성할 수 있게 하는 핵심입니다.

논문은 이러한 성공이 우연이 아니라고 결론짓습니다. 물리 법칙의 근본이 입자 쌍 사이의 상호작용 위에 구축되어 있기 때문에, 이러한 시스템을 모델링하는 가장 효과적인 방법은 그러한 쌍별 상호작용을 직접 계산하는 것과 수학적으로 동일한 도구를 사용하는 것이라는 점을 시사합니다. 집합 내의 임의의 두 항목 간 관계에 동적으로 가중치를 부여하는 능력을 갖춘 셀프 어텐션 메커니즘은 이 작업에 완벽한 도구임이 드러났습니다. 이는 혼잡한 환경에서 입자들이 서로에게 미치는 영향을 설명하는 물리학의 표준 방법인 '다이슨 이터레이션(Dyson iteration)'이라는 복잡한 수학적 연산을 효과적으로 수행합니다. 이 연구는 단순한 평균화가 입자들이 독립적으로 행동하거나 국소적 에너지만이 중요한 작업에는 충분할 수 있지만, 복잡한 양자 물질을 정의하는 풍부한 비국소적 상관관계를 포착하는 데는 근본적으로 불가능하다는 것을 보여줍니다.

이 발견은 최근 인공지능에서 어텐션 기반 모델들이 지배적인 위치를 차지하게 된 이유에 대해 깊은 이론적 근거를 제공합니다. 이는 이러한 모델들이 왜 그렇게 다양한 물리 시스템에서 잘 작동하는지에 대해, 그들이 자연스럽게 우주가 구축된 방식과 일치하기 때문이라는 점을 시사합니다. 그들은 단순히 패턴 인식에 뛰어난 것이 아니라, 물질의 행동을 지배하는 특정한 유형의 쌍별 연결을 처리하도록 구조적으로 설계되어 있습니다. 초전도체에서의 전자 행동부터 들뜬 분자의 역학에 이르기까지 가장 복잡한 물질의 상태를 이해하려는 과학자들에게, 이 연구는 앞으로 나아갈 길이 상호작용을 뭉개버리는 것이 아니라 이러한 쌍별 상호작용을 수용하는 데 있음을 보여줍니다. 머신러닝에서 어텐션의 '불합리한 유효성'은, 이 관점에서 볼 때, 쌍들로 이루어진 우주에서 쌍에 집중하는 능력이 진정으로 필요한 전부라는 사실을 인식한 결과입니다.

연구 분야의 논문에 파묻히고 계신가요?

연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.

Digest 사용해 보기 →