🤖 machine learning

Zero-shot generalization of transformer neural operators to larger domains

이 논문은 근본적인 구조를 변경하지 않으면서 공간적 국소성과 병진 불변성을 강제하기 위해 어텐션 로짓(attention logits)에 분해 가능한 편향(decomposable bias)과 회전 위치 임베딩(rotary positional embeddings)을 통합함으로써, 훨씬 더 큰 공간 도메인으로의 제로샷 일반화를 달성하는 새로운 트랜스포머 기반 신경 연산자(neural operator)를 제안한다.

원저자: Armand de Villeroché, Sibo Cheng, Vincent Le Guen, Marc Bocquet, Rem-Sophia Mouradi, Patrick Armand, Alban Farchi, Patrick Massin

게시일 2026-06-15

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Armand de Villeroché, Sibo Cheng, Vincent Le Guen, Marc Bocquet, Rem-Sophia Mouradi, Patrick Armand, Alban Farchi, Patrick Massin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 10피트 크기의 작은 수영장에서 물이 어떻게 흐르는지 예측하는 법을 가르치고 있다고 상상해 보십시오. 당신은 로봇에게 특정 10피트 상자 안에서 파도가 부서지고, 잔물결이 퍼지고, 조류가 소용돌이치는 수천 번의 시뮬레이션을 보여주었습니다. 로로봇은 이 작은 수영장에 대한 규칙을 완벽하게 학습했습니다.

이제, 동일한 로봇에게 새로운 학습 데이터 없이 100마일 길이의 거대한 강물이 흐르는 모습을 예측하라고 요청한다고 상상해 보십시오. 이것이 논문에서 말하는 **"도메인 확장(domain extension)"**입니다. 이는 마치 욕조를 보고 배양한 지식을 가지고 대양을 예측하라고 요구하는 것과 같습니다.

문제점: "유령" 상호작용

연구진은 기존의 AI 모델(구체적으로는 '트랜스포머 뉴럴 오퍼레이터')이 이 작업에 실패한다는 것을 발견했습니다. 그 이유는 다음과 같습니다.

AI의 어텐션(attention) 메커니즘을 북적이는 방 안에서 대화를 들으려는 사람이라고 생각해 보십시오.

기존 AI (RoPE): 이 AI는 거리를 이해하는 데 있어 "주기적인" 방식을 사용합니다. 이는 시계와 같습니다. 12시간을 앞으로 이동하면 다시 시작점으로 돌아옵니다. AI의 마음속에서 100마일 떨어진 지점은 시계가 한 바퀴 돌아 제자리로 왔기 때문에 수학적으로 1마일 떨어진 지점과 동일하게 보일 수 있습니다.
결과: AI가 거대한 도메인을 마주하면, 멀리 떨어진 지점들을 마치 이웃인 것처럼 서로 연결하기 시작합니다. 이는 **"유령 상호작상(ghost interactions)"**을 만들어냅니다. AI는 100마일 길이의 강의 왼쪽 기슭에서 발생하는 파도가 마치 오른쪽 기슭의 파도와 즉각적으로 대화하고 있는 것처럼 생각합니다. 하지만 물리 법칙은 이들이 아직 연결되지 않았음을 말해줍니다. 이로 인해 예측은 엉망진창으로 붕괴됩니다.

해결책: "국소적 이웃" 규칙

EDF R&D 및 CEREA의 파트너들과 함께 작업한 저자들은 해결책을 제안했습니다. 그들은 실제 물리 세계에서는 사물들이 보통 자신의 즉각적인 이웃에게만 영향을 미친다는 사실을 깨달았습니다. 이곳의 파도가 저곳의 물을 즉시 변화시키지는 않으며, 이동하는 데 시간이 걸립니다.

그들은 LAAPE(Local Anisotropic Asymmetric Positional Encoding)라고 불리는 새로운 방법을 도입했습니다.

이 비유를 들어보십시오:

기존 방식: AI는 모든 지점이 서로 대화할 수 있는 "글로벌 지도"를 가지고 있었지만, 규모(scale)에 대해 혼란을 겪었습니다.
새로운 방식 (LAAPE): 그들은 AI에게 **"국소적 이웃 규칙"**을 부여했습니다. 그들은 AI에게 이렇게 말했습니다: "너는 특정 반경 내의 지점들에만 귀를 기울일 수 있다. 만약 지점이 너무 멀리 있다면, 신호는 0으로 떨어진다."

하지만 그들은 단순히 딱딱한 원을 그린 것이 아닙니다. 그들은 이를 스마트하게 만들었습니다:

분해 가능성(Decomposable): 그들은 이 규칙을 기존의 초고속 컴퓨터 칩(예: FlashAttention)에 완벽하게 들어맞는 수학을 사용하여 구축했습니다. 이는 전체 카메라를 새로 만드는 대신 카메라 렌즈에 새로운 필터를 추가하는 것과 같습니다.
비대칭성(Asymmetric): 실제 세상에서는 바람이 왼쪽에서 오른쪽으로 불어 하류로 오염 물질을 운반할 수 있습니다. AI는 "하류"가 "상류"와 다르다는 것을 알아야 합니다. 이 새로운 방법은 실제 바람의 장(field)처럼 "듣는 반경"을 다양한 방향으로 늘리거나 압축할 수 있게 해줍니다.

실험: 욕조에서 도시까지

팀은 세 가지 서로 다른 과제를 통해 테스트를 진행했습니다.

천수(Shallow Water, 1D): 긴 채널에서 물의 높이를 시뮬레이션함.
그레이-스콧(Gray-Scott, 2D): 패턴(표범의 점 무늬 같은)을 생성하는 화학 반응을 시뮬레이션함.
도시 바람(Urban Wind, 3D): 무작위 건물들 사이로 바람이 부는 실제 산업 현장의 도전 과제. 이는 바람이 복잡하고 일방향적인 방식으로 건물과 상호작용하기 때문에 가장 어려운 테스트입니다(비대칭성).

결과:

기존 AI (RoPE): 도메인 크기가 커질 때(예: 1배에서 5배로), 오차가 급격히 치솟았습니다. 예측은 혼란스럽고 쓸모없게 변했습니다.
새로운 AI (LAAPE): 도메인 크기가 커졌음에도 불구하고, 오차는 낮고 안정적으로 유지되었습니다. AI는 학습 과정에서 본 적 없는 거대한 도시 시뮬레이션에서도 흐름을 성공적으로 예측했습니다.

핵심 요약

이 논문은 AI에게 공간적 국소성(가까운 것에만 주의를 기울임)을 준수하도록 강제하고, 그 주의력이 비대칭적(방향에 따라 다름)이 되도록 함으로써, 작은 데이터셋으로 학습하더라도 거대한 미지의 도메인에서 완벽하게 작동할 수 있다고 주장합니다.

그들은 단순히 AI를 더 "똑똑하게" 만든 것이 아니라, 거리에 대한 더 나은 이해를 제공했습니다. 그들은 AI가 먼 지점들 사이의 연결을 환각(hallucination)하지 못하게 함으로써, 재학습 없이도 현실 세계의 규모로 일반화할 수 있음을 보여주었습니다.

한계점에 대한 참고: 저자들은 이 방법이 규모를 키우는 데는 매우 효과적이지만, 만약 문제의 물리 법칙이 실제로 학습 데이터보다 더 긴 거리의 연결을 필요로 한다면(드물지만 가능함), 이 방법이 이를 놓칠 수도 있다고 인정했습니다. 또한, 수학적으로는 빠른 연산이 가능하지만, 아직 코드를 초고속으로 최적화하지는 않았으며, 우선 개념이 작동함을 증명하는 데 집중했다고 밝혔습니다.

기술 요약: 트랜스포머 신경 연산자의 더 큰 도메인에 대한 제로샷 일반화

문제 정의

트랜스포머 기반 신경 연산자는 복잡한 기하학적 구조를 가진 편미분 방정식(PDE)의 해 연산자를 근사하는 데 있어 강력한 성능을 입증해 왔습니다. 그러나 기존 방식은 일반적으로 훈련 중에 고정된 도메인 크기를 가정하며, 이는 추론 시의 일반화 능력을 제한합니다. 본 논문은 도메인 확장(domain extension), 즉 훈련 시에 경험했던 것보다 현저히 큰 공간 도메인에 대해 제로샷 추론을 수행하는 과제를 다룹니다.

초해상도(super-resolution)나 부분 관측(partial observation) 작업이 보간(interpolation) 문제인 것과 달리, 도메인 확장은 근본적으로 외삽(extrapolation) 문제입니다. 현재의 트랜스포머 기반 연산자들은 유한한 훈련 도메인에 의해 암시적으로 경계가 정해진 비국소적 통합 커널(non-local integration kernels)에 의존합니다. 추론 도메인의 크기가 변할 때, 표준 위치 임베딩(예: Rotary Positional Embeddings, RoPE)의 내재된 주기적 특성은 훈련 중에 함께 관찰되지 않은 공간적으로 멀리 떨어진 점들 사이에 "유령(ghost)" 상호작용을 유발할 수 있습니다. 이는 모델이 새로운 도메인 규모에 따른 물리적 국소성(physical locality)을 준수하지 못하게 함으로써 일반화 능력을 무너뜨립니다.

방법론

저자들은 기본 아키텍처를 변경하거나 최적화된 어텐션 커널(예: FlashAttention)과의 호환성을 희생하지 않으면서, 트랜스포머 신경 연산자의 어텐션 메커니즘 내에 **명시적이고 제어 가능한 공간적 국소성(explicit, controllable spatial locality)**을 강제하는 방법을 제안합니다.

핵심 메커니즘: 분해 가능한 국소성 편향 (Decomposable Locality Bias)

이 접근 방식은 **회전 위치 임베딩(RoPE)**과 어텐션 로짓(logits)에 더해지는 **분해 가능한 거리 편향(decomposable distance bias)**을 결합합니다.

RoPE 백본: RoPE는 이동 등변성(translation equivariance)과 표현력이 풍부한 상대적 위치 인코딩을 제공합니다. 그러나 이는 본질적으로 비국소적이며 준주기적(quasi-periodic)입니다.
국소성 제약: 불필요한 장거리 상호작용을 방지하기 위해, 어텐션 로짓에서 편향 항 $\phi$ 를 뺍니다. 이 편향은 기하학적 포텐셜 역할을 하여 어텐션 커널이 특정 거리 $r$ 너머에서 급격히 감쇠하도록 강제하며, 결과적으로 적분 지원 범위(integration support)를 근방 $B_r(c)$ 로 제한합니다.
분해 가능성: 효율적인 GPU 커널과의 호환성을 유지하기 위해, 편향은 쿼리 위치의 함수와 키 위치의 함수의 곱( $z = q^\top R_\theta k - \phi$ )으로 분해 가능해야 합니다.

제안된 임베딩

논문은 이 편향을 위한 두 가지 구체적인 공식을 도입합니다:

국소적 비등방성 대칭 위치 인코딩 (LASPE):
비등방성 $L_2$ 거리 편향을 사용합니다:
$z_{LASPE} = q^\top(c) R_\theta^\top(c-\xi) k(\xi) - \frac{\sqrt{d}}{2} (c-\xi)^\top A (c-\xi)$
여기서 $A$ 는 비등방성을 제어하는 대각 행렬입니다. 대칭 도메인에는 효과적이지만, 이 방법은 이차항(quadratic terms)에 의존하므로 좌표값이 매우 클 때 수치적 불안정성을 초래할 수 있습니다.
국소적 비등방성 비대칭 위치 인코딩 (LAAPE):
비대칭성(예: 상류와 하류의 상호작용이 다른 바람의 흐름)을 처리하고 수치적 안정성을 개선하기 위해, 저자들은 쌍곡선 함수(특히 지수 함수)에 기반한 편향을 제안합니다:
$z_{LAAPE} = q^\top(c) R_\theta^\top(c-\xi) k(\xi) - \frac{\sqrt{d}}{2} \sum_i \left[ \exp(A_-^{1/2}(c-\xi)\cdot e_i) + \exp(A_+^{1/2}(\xi-c)\cdot e_i) \right]$
이 공식은 양(+)의 방향과 음(-)의 방향에 대해 서로 다른 감쇠율( $A_+$ 및 $A_-$ )을 허용하여, 커널 지원 범위를 비대칭적이고 비등방적으로 만들 수 있게 합니다. 이는 작은 변위에서는 LASPE의 자연스러운 확장으로서 기능하면서도, 큰 도메인에 대해 우수한 안정성을 제공합니다.

커널 폭 선택

저자들은 커널 폭(감쇠 파라미터 $\lambda$ 에 의해 제어됨)이 훈련 도메인 크기에 따라 선택되어야 한다고 주장합니다. 구체적으로, $\lambda$ 는 어텐션 가중치가 훈련 도메인을 초과하는 거리에서 통계적으로 무의미해지도록 설정되어야 하며, 이를 통해 모델이 확장된 테스트 도메인으로부터 잘못된 상관관계를 학습하는 것을 방지해야 합니다.

주요 기여

문제 정식화: 본 논문은 도메인 확장을 신경 연산자의 제로샷 일반화 과제로 공식적으로 정의하며, 현재의 비국소적 가정의 한계를 강조합니다.
새로운 위치 인코딩: 저자들은 RoPE와 분해 가능한 거리 편향을 결합한 LAAPE 및 LASPE를 제안합니다. 이 인코딩들은 다음과 같은 특징을 제공합니다:
- 제어 가능한 국소성: 상호작용 범위를 명시적으로 제한합니다.
- 비등방성 및 비대칭성: 복잡한 물리 시스템(예: 유체 역학)에 필수적인 방향 의존적 상호작용 범위를 모델링할 수 있는 능력을 제공합니다.
- 효율성: 분해 가능성을 통해 최적화된 어텐션 커널(FlashAttention)과 완전히 호환됩니다.
실험적 검증: 제안된 방식은 두 가지 학술적 PDE 벤치마크(1차원 Shallow Water 방정식 및 2차원 Gray-Scott 방정식)와 도전적인 3D 산업 응용 분야(도시 환경 내 미세 규모 대기 흐름)에서 검증되었습니다.

실험 결과

모델은 작은 도메인에서 훈련되었으며, 점진적으로 커지는 도메인(스케일링 팩터 $s$ 최대 10배)에서 테스트되었습니다.

학술 벤치마크 (1D & 2D):
- 표준 RoPE 모델은 도메인 크기가 증가함에 따라 상당한 오차 저하를 보였습니다 (예: Gray-Scott의 L1 오차는 $s=10$ 에서 약 30%에서 >400%로 증가).
- LASPE 및 LAAPE 모델은 스케일링 팩터 전반에 걸쳐 거의 일정한 오차율을 유지했습니다.
- LAAPE는 좌표값으로 인해 수치적 불안정성을 보인 LASPE와 달리, 높은 스케일링 팩터( $s \ge 7$ )에서 Gray-Scott 벤치마크에서 LASPE보다 우수한 성능을 보였습니다.
산업 응용 (3D 대기 흐름):
- AB-SWIFT 모델(미세 규모 대기 흐름)의 과제는 강한 비등방성과 비대칭성(건물이 상류에 위치)을 포함했습니다.
- RoPE는 확장된 도메인( $5\times5$ )에서 일관성 없는 흐름 예측을 생성하며 처참하게 실패했습니다.
- LAAPE는 전체적인 흐름 구조를 보존하고 후류(wake) 영역을 정확하게 예측하였으며, 오차 증가폭이 RoPE보다 현저히 낮았습니다. 저자들은 LAAPE의 잔여 오차를 연산자 자체의 실패가 아니라, 훈련 데이터에 없었던 더 큰 도메인에서 발생하는 새로운 흐름 패턴 때문이라고 설명합니다.

의의 및 주장

본 논문은 구조화된 공간적 국소성을 강제하는 것이 신경 연산자를 산업적 응용 분야로 확장하기 위한 중요한 귀납적 편향(inductive bias)이라고 주장합니다. 상호작용의 유효 지원 범위를 훈련 도메인과 일치하도록 명시적으로 제한함으로써, 모델은 훈련 데이터나 모델 용량의 비례적인 증가 없이도 더 큰 도메인으로 일반화할 수 있습니다.

저자들은 이 연구를 머신러닝의 "적절한 스케일링 법칙(appropriate scaling laws)"을 향한 단계로 위치시키며, 성능 향상은 단순히 데이터와 모델 규모에 의존하는 것이 아니라, 정보가 공간을 통해 어떻게 전파되는지를 반영하도록 귀납적 편향을 조절함으로써 얻어질 수 있음을 시사합니다. 이 방법은 도메인 분해 전략이나 그래프 기반 모델에 의해 제한되었던 능력을 고성능 컴퓨팅 커널과 호환되는 통합된 트랜스포머 아키텍처 내에서 달성함으로써 견고한 제로샷 도메인 확장을 가능하게 합니다.

저자들은 국소성이 일반화를 개선하지만, 훈련 도메인보다 큰 규모에서 본질적으로 존재하는 물리적 상관관계까지 포착할 수는 없다는 한계를 인정합니다. 이들은 이러한 경우, 소수의 대규모 사례에 대한 미세 조정(fine-tuning)이 여전히 필요한 미래의 방향임을 시사합니다.