🤖 machine learning

A Mechanistic Analysis of Transformers for Dynamical Systems

이 논문은 단일 계층 트랜스포머를 동역학계 관점에서 분석하여, 소프트맥스 어텐션이 오버스무딩을 통해 선형 시스템 모델링을 제한하는 한편, 비선형적이고 부분적으로 관측 가능한 시스템에서 상태를 재구성하기 위한 효과적인 적응형 지연 임베딩 메커니즘으로서 기능함을 밝혀낸다.

원저자: Gregory Duthé, Nikolaos Evangelou, Wei Liu, Ioannis G. Kevrekidis, Eleni Chatzi

게시일 2026-08-06

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Gregory Duthé, Nikolaos Evangelou, Wei Liu, Ioannis G. Kevrekidis, Eleni Chatzi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 미래를 예측하려고 노력하고 있다고 상상해 보세요. 아마도 튀어 오르는 공이 다음에 어디에 떨어질지 추측하거나, 날씨를 예보하려 하는 것일 수도 있습니다. 오랫동안 과학자들은 이 일을 위해 신뢰할 수 있는 도구들을 가져왔습니다. 예를 들어, 사물이 지난 몇 초 동안 어떻게 움직였는지를 보고 다음에 어디로 갈지 추측하는 식입니다. 이러한 도구들은 엄격한 레시피와 같습니다. 만약 당신이 물리 법칙을 알고 있다면, 어떤 일이 일어날지 정확히 알려주는 수학 방정식을 써 내려갈 수 있습니다. 하지만 최근에는 이야기를 쓰거나 주가를 예측하는 등 무언가를 예측하는 데 있어 '트랜스포머(Transformer)'라고 불리는 새로운 종류의 '슈퍼 브레인'이 유명해졌습니다. 이 트랜스포머들은 전체 역사를 한꺼번에 살펴보고 추측을 내놓는 마법 같은 블랙박스와 같습니다. 여기서 큰 의문은, 이 블랙박스가 실제로 사물이 움직이는 물리학을 이해하고 있는 것인지, 아니면 그저 아주 뛰어난 추측가일 뿐이라서 상황이 까다로워지면 실패하게 될 것인지 하는 점입니다. 이 논문은 트랜스포머가 물리적 시스템의 움직임을 예측할 때 정말 제대로 하고 있는 것인지 확인하기 위해 그 엔진룸 내부를 파헤칩니다.

그레고리 뒤테(Gregory Duthé)와 그의 팀이 이끄는 연구진은 트랜스포머를 신비로운 블랙박스로 취급하는 것을 멈추고, 대신 그것이 어떻게 작동하는지 알아보기 위해 분해해 보기로 했습니다. 그들은 이해하기 쉽게 만들기 위해 매우 얇고 단순한 형태인 단 한 개의 층(layer)으로 구성된 특정 유형의 트랜스포머에 집중했습니다. 그들은 다음과 같이 질문했습니다. "만약 이 기계에 흔들리는 진자나 흐르는 강의 데이터를 입력한다면, 이 기계는 실제로 무엇을 배우고 있는 것일까?"

연구진이 발견한 결과는 "매우 잘 작동한다"와 "단단한 벽에 부딪힌다"가 뒤섞인 모습이었습니다.

먼저, 그들은 용수철이 위아래로 튀어 오르는 것과 같은 단순한 직선 운동(선형 시스템)을 살펴보았습니다. 그들은 트랜스포머에게 이상한 사각지대가 있다는 것을 발견했습니다. 트랜스포마가 과거에 주목하는 방식은 마치 재료를 더할 수는 있지만 결코 빼낼 수는 없는 요리사와 같습니다. 그것은 과거의 순간들을 서로 혼합할 수는 있지만, 그것들을 뺄 수는 없습니다. 만약 시스템이 (앞뒤로 흔들리는 용수철처럼) 요동을 만들기 위해 과거의 순간을 빼야 한다면, 단일 헤드(single-head) 트랜스포머는 혼란에 빠집니다. 그것은 모든 것을 매끄럽게 만들려고 시도하며, 튀어 오르는 용수철을 느릿느릿 움직이는 덩어리처럼 보이게 만듭니다. 이는 오직 앞으로만 움직일 수 있는 붓을 사용하여 지그재그 선을 그리려는 것과 같습니다. 결국 당신은 직선을 그리게 될 것입니다. 논문은 만약 트랜스포머에게 두 개의 '헤드'(두 가지 서로 다른 주의 집중 방식)를 준다면, 이것을 해결하고 마침 finally 지그재그를 올바르게 그릴 수 있다고 보여줍니다.

다음으로, 그들은 혼돈스러운 진자나 원통 주위를 휘감아 도는 유체와 같은 더 복잡하고 꿈틀거리는 움직임(비선형 시스템)으로 넘어갔습니다. 여기서 트랜스포머는 빛을 발하지만, 특정 조건 하에서만 그렇습니다. 연구진이 트랜스포머에게 시스템의 전체 그림(물체의 위치와 속도를 모두 아는 것)을 주었을 때, 그것은 단순한 계산기보다 나을 것이 별로 없었습니다. 이는 마치 탐정에게 나침반만 있으면 되는데 전체 지도를 주는 것과 같았습니다.

하지만 연구진이 정보의 일부를 숨겼을 때—즉, 트랜스포머에게 위치만 주고 속도는 숨겼을 때—트랜스포머는 슈퍼히어로가 되었습니다. 그것은 마치 시간 여행을 하는 탐정처럼 행동하기 시작했습니다. 과거 위치들의 순서를 살펴봄으로써, 그것은 숨겨진 속도를 찾아내고 시스템의 전체 상태를 재구성할 수 있었습니다. 그것은 본질적으로 누락된 조각들을 채우기 위해 '지연된 기억(delayed memory)'을 구축하고 있었으며, 이는 마치 자동차가 몇 초 전에 어디에 있었는지를 보고 자동차의 속도를 추측하는 것과 같습니다. 논문은 이것이 트랜스포머가 가장 잘 작동하는 방식임을 시사합니다. 즉, 관찰 기록들을 엮어서 현재의 완전한 그림을 만들어내는 것입니다.

하지만 여기에는 함정이 있습니다. 연구진은 트랜스포머가 이 일을 하기 위해서는 뇌 속에 충분한 '공간'이 필요하다는 것을 발견했습니다. 만약 그들이 그 복잡한 역사를 아주 작은 공간에 압축하도록 강요한다면, 그림은 엉망이 되고 커다란 지도를 작은 봉투에 억지로 구겨 넣는 것처럼 안으로 접혀 들어갈 것입니다. 논문은 시스템이 복잡할 경우, 트랜스포머가 서로 다른 가능성들을 분리하여 유지하기 위해 더 큰 내부 공간을 필요로 한다는 것을 보여줍니다. 또한, 시스템이 숨겨진 설정(예: 바람의 속도)에 따라 변하는 경우, 트래스포머에게 그 설정을 명시적으로 알려주지 않으면 혼란을 겪을 수 있다는 것도 발견했습니다. 그 추가적인 단서가 없다면, 단기적으로는 비슷해 보이지만 나중에는 매우 다르게 행동하는 두 가지 시나리오를 혼동할 수 있습니다.

결론적으로, 이 논문은 트랜스포머가 고장 났다고 말하는 것이 아니라, 마법이 아니라고 말합니다. 그것들은 물리적 시스템을 예측하도록 학습될 수 있는 강력한 도구이지만, 반드시 따라야 하는 특정한 규칙들이 있습니다. 그것들은 기억 속에서의 단순한 뺄셈에 어려움을 겪고, 복잡한 모양을 펼치기 위한 충분한 공간이 필요하며, 때로는 우리가 관찰하고 있는 세상의 숨겨진 설정을 이해하기 위해 약간의 도움을 필요로 합니다. 이러한 규칙들을 이해함으로써, 과학자들은 이 모델들을 신비로운 블랙박스로 취급하는 것을 멈추고, 실제 움직이는 세상을 예측하기 위해 더 신뢰할 수 있는 방식으로 이들을 구축할 수 있을 것입니다.

기술 요약: 동역학계를 위한 트랜스포머의 기계론적 분석

문제 정의

트랜스포머 아키텍처는 시계열 예측에서 상당한 경험적 성공을 거두었으며 유체 역학에서 신경과학에 이르기까지 동역학계에 점점 더 많이 적용되고 있지만, 그 내부 메커니즘은 동역학적 관점에서 여전히 제대로 이해되지 않고 있습니다. 안정성, 관측 가능성(observability), 식별 가능성(identifiability)에 관한 확립된 이론적 토대를 가진 고전적인 자기회귀(AR) 및 상태 공간 모델과 달리, 트랜스포머는 종종 블랙박스로 취급됩니다.

이러한 격차는 어텐션 기반 모델이 다양한 동역학적 영역에 걸쳐 범용 또는 제로샷(zero-shot) 예측을 위해 배치될 때 매우 치명적입니다. 구체적으로, 트랜스포p너가 어떤 클래스의 동역학적 행동을 충실히 표현할 수 있는지, 어떤 조건에서 성공하거나 실패하는지, 그리고 그들의 내부 연산이 지연 좌표 임베딩(delay-coordinate embeddings) 및 어트랙터 재구성(attractor reconstruction)과 같은 확립된 개념과 어떻게 연관되는지는 불분명합니다. 기존 문헌은 어텐션과 수치 적분 또는 연산자 학습(operator learning) 사이의 연결 고리를 탐구해 왔으나, 단일 레이어 트랜스포머 연산과 고전적 동역학계 공식(예: AR 모델, 타켄스의 정리) 사이의 직접적인 기계론적 연결은 아직 확고하게 정립되지 않았습니다.

방법론

저자들은 "바텀업(bottom-up)" 방식의 기계론적 해석 접근법을 채택하여, 분석 범위를 단일 레이어, 단일 헤드, 디코더 전용 트랜스포머로 제한합니다. 이 최소한의 아키텍처는 특정 구성 요소인 인과적 셀프 어텐션(causal self-attention) 메커니즘과 피드 포워드 네트워크(MLP)를 분리하여 분석할 수 있게 해줍니다.

본 연구는 두 가지 주요 운영 체제를 조사합니다:

선형 시스템: 저자들은 어텐션을 선형 시변 자기회귀 연산자로 분석합니다. 잔차 연결(residual connection)과 MLP를 제거(attention-only ablation)함으로써, 어텐션 메커니즘에 의해 유도되는 유효 AR 계수에 대한 폐쇄형(closed-form) 표현식을 도출합니다. 이를 물리적 시스템(예: 1-DOF 및 2-DOF 진동자)에서 유도된 분석적 AR 계수와 비교합니다.
비선형 시스템: 전체 상태가 관측되지 않는 경우(부분 관측성)를 조사합니다. 여기서 트랜스포머는 적응형 지연 좌표 임베딩(adaptive delay-coordinate embedding) 메커니즘으로 간주됩니다. 어텐션 레이어는 과거의 관측값들을 집계하여 암시적 상태를 재구성하며, 이후 MLP가 비선형 흐름 맵(flow map)을 근사합니다.

연구에는 세 가지 대표적인 동역학계가 사용됩니다:

선형: 단일-DOF 및 2-DOF 구조 진동자.
비선형 ODE: 반 데르 폴(Van der Pol) 진동자.
비선형 PDE: Chafee-Infante 반응-확산 방정식 및 실린더 주변의 2D 나비에-스토크스(Navier-Stokes) 유동.

분석은 모델이 부분 관측성을 어떻게 처리하는지, 시간적 문맥(입력 토큰 수 $n$ )의 역할, 위치 인코딩(PE)의 영향, 그리고 잠재 공간의 차원( $d_{lat}$ )과 어트랙터의 고유 차원( $d_A$ ) 사이의 관계에 초점을 맞춥니다.

주요 기여 및 결과

1. 선형 시스템: 볼록성 제약(The Convexity Constraint)

단일 헤드, 어텐션 전용 설정에서, 저자들은 소프트맥스 정규화가 학습된 자기회귀 연산자에 볼록성 제약을 부과함을 입증합니다.

메커니즘: 어텐션 가중치 $\alpha_{t,\ell}$ 는 엄격하게 비음수이며 합이 1입니다. 결과적으로 유효 래그(lag) 연산자는 단일 행렬의 비음수 스칼라 배가 됩니다.
실패 모드: 혼합 부호(mixed-sign)의 자기회귀 계수가 필요한 선형 시스템(예: 위상 반전을 표현하기 위해 AR 계수가 반대 부호를 가져야 하는 경미하게 감쇠된 진동자)의 경우, 단일 어텐션 헤드는 이를 충실히 표현할 수 없습니다. 이는 "오버스무딩(oversmoothing)"을 초래하며, 공진 피크나 일관된 모드 감쇠 능선을 회복하는 데 실패하게 만듭니다.
성공 모드: 타겟 동역학이 동일 부호(same-sign)의 AR 표현을 허용하는 경우, 어텐션 메커니즘은 진동 동작과 감쇠 특성을 성공적으로 포착합니다.
확장성: 다중 자유도 시스템에서, 어텐션은 누락된 공간적 관측을 보완하기 위해 충분히 긴 시간적 문맥( $n$ )이 있다면 여러 상호작용하는 모드를 회복할 수 있으며, 이는 효과적으로 지연 좌표 임베딩 역할을 수행합니다. 그러나 근본적인 부호 제약은 단일 헤드 아키텍처의 한계로 남습니다.

2. 비선형 시스템: 지연 임베딩 및 상태 재구성

비선형 시스템의 경우, 저자들은 트랜스포머의 효용성이 부분 관측성 하에서 가장 두드러진다는 것을 발견했습니다.

전체 관측성: 전체 상태 벡터를 사용할 수 있는 경우, 단순한 피드 포워드 MLP(time-one map을 학습)가 트랜스포머와 대등한 성능을 보입니다. 시스템이 이미 마르코프적(Markovian)이기 때문에 어텐션은 별다른 이점을 제공하지 않습니다.
부분 관측성: 일부 변수만 관측되는 경우(예: 속도는 알 수 없고 위치만 아는 경우), 트랜스포머는 MLP보다 성능이 월등히 뛰어납니다. 어텐션 메커니즘은 과거의 관측값들을 집계하여, 순간적인 값은 같지만 위상이 다른 상태들을 구별해내는 적응형 지연 임베딩 역할을 합니다.
잠재 차원 및 언폴딩(Unfolding): 상태 재구성의 품질은 잠재 차원( $d_{lat}$ $d_{l a t}$ )에 결정적으로 의존합니다.
- 고유 차원이 $d_A=2$ 인 Chafee-Infante 시스템의 경우, $d_{lat}=2$ 로 설정하면 잠재 표현이 좁은 곡선으로 붕괴되어, 시스템의 대칭성과 아키텍처의 제약으로 인해 매니폴드를 "언폴딩(unfold)"하는 데 실패했습니다.
- $d_{lat}$ 를 3으로 늘리면, 어텐션 메커니즘이 먼저 지연 좌표를 더 풍부한 중간 표현으로 언폴딩한 다음, MLP가 이를 고유 2D 매니폴드로 투영할 수 있게 됩니다. 이는 $d_{dt}$ 가 조기 압축 및 폴딩을 피하기 위해 $d_A$ 보다 커야 함을 시사합니다.
파라미터 조건화: 나비에-스토크스 실린더 유동 실험에서, 레이놀즈 수($Re $)를 명시적으로 입력받지 않고 훈련된 모델은 서로 다른$ Re$에 대한 리미트 사이클(limit cycles)이 겹치는 잠재 공간을 학습했습니다. 이러한 비단사성(non-injectivity)은 특히 후류(wake) 영역에서 전체 유동장의 재구성을 저해했습니다. $Re$를 명시적 입력으로 제공하자 잠재 공간이 분리되어, 리미트 사이클을 연속적인 파라미터 의존 매니폴드 상으로 분리하고 정확한 전체 필드 재구성을 가능하게 했습니다.

의의 및 주장

본 논문은 트랜스포머의 경험적 성능과 고전적 동역학계 이론 사이의 간극을 메우기 위해, 왜 그리고 언제 이러한 모델들이 성공하거나 실패하는지에 대한 기계론적 설명을 제공한다고 주장합니다.

해석 가능성: 저자들은 트랜스포머를 단순히 일반적인 시퀀스-투-시퀀스 회귀 모델로 볼 것이 아니라, **데이터 적응형 상태 공간 모델(data-adaptive state-space models)**로 보아야 한다고 주장합니다. 어텐션 메커니즘은 과거 관측으로부터 암시적 상태를 구축하고, MLP는 국소적 흐름 맵을 근사합니다.
이론적 한계: 본 연구는 근본적인 표현 한계를 식별했습니다. 특히 소프트맥스의 볼록성으로 인해 단일 헤드 어텐션이 선형 시스템에서 혼합 부호 의존성을 모델링할 수 없다는 점을 지적했습니다. 이는 특정 물리적 영역을 위해 멀티 헤드 아키텍처나 대안적인 정규화 방식이 필요할 수 있음을 시사합니다.
설계 가이드라인: 연구 결과는 동역학계를 위한 어텐션 기반 모델 설계를 위한 실질적인 가이드라인을 제공합니다:
- 부분 관측성을 위해 시간적 문맥 길이( $n$ )가 $n \ge 2d_A + 1$ (타켄스의 정리)를 만족하도록 할 것.
- 매니폴드의 대칭성을 고려하여, 투영 전 어트랙터를 언폴딩할 수 있도록 잠재 차원( $d_{lat}$ )을 충분히 크게 설정할 것.
- 잠재 공간이 서로 다른 동역학적 영역을 고유하게 분리하지 못하는 경우, 시스템 파라미터(예: 레이놀즈 수)를 명시적으로 조건화할 것.

저자들은 트랜스포머가 일반적인 시간적 적분기(temporal integrator) 역할을 할 수 있지만, 그 유도 편향(inductive bias)(특히 스펙트럼 필터링 및 매니폴드 위상과 관련된)이 모델링하려는 물리적 시스템과 신중하게 정렬되어야 한다고 결론짓습니다. 이들은 트랜스포머를 이러한 기계론적 제약을 이해하지 않은 채 단순한 범용 "블랙박스" 근사기로 취급하는 것에 대해 경고합니다.