🤖 machine learning

Multi-Scale Wavelet Transformers for Operator Learning of Dynamical Systems

본 논문은 기존 신경 연산자의 스펙트럼 편향을 극복하고 혼돈 및 실제 기후 예측 작업에서 장기 안정성과 고주파수 충실도를 크게 향상시키기 위해 토큰화된 웨이블릿 영역에서 동적 시스템의 역학을 학습하는 새로운 아키텍처인 멀티 스케일 웨이블릿 트랜스포머 (MSWTs) 를 소개합니다.

원저자: Xuesong Wang, Michael Groom, Rafael Oliveira, He Zhao, Terence O'Kane, Edwin V. Bonilla

게시일 2026-05-07

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xuesong Wang, Michael Groom, Rafael Oliveira, He Zhao, Terence O'Kane, Edwin V. Bonilla

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다음은 '동적 시스템 연산자 학습을 위한 다중 스케일 웨이블릿 트랜스포머'라는 논문에 대한 설명을 쉬운 언어와 창의적인 비유로 풀어낸 것입니다.

큰 문제: '흐릿한 렌즈'

컴퓨터를 이용해 날씨를 예측하거나 강의 물 흐름을 시뮬레이션한다고 상상해 보세요. 과학자들은 이를 위해 두 가지 주요 방법을 사용합니다.

옛날 방식 (수치 해석기): 모든 물방울 하나하나를 계산하는 초정밀하지만 엄청나게 느린 회계사와 같습니다. 정확하지만 시간이 무진장 걸립니다.
새로운 방식 (AI 모델): 물의 '분위기'를 학습하고 다음 프레임을 즉시 예측하는 빠르고 직관적인 화가와 같습니다.

'빠른 화가'(구체적으로 신경 연산자라고 불리는 AI 유형) 의 문제는 **'스펙트럼 편향 (Spectral Bias)'**에 시달린다는 점입니다.

이를 초점이 약간 맞지 않는 카메라 렌즈라고 생각해 보세요. 이 렌즈는 구름의 크고 매끄러운 형태 (저주파 세부 사항) 는 완벽하게 포착하지만, 번개의 뾰족한 끝이나 파도의 잔물결 같은 작고 날카로운 가장자리 (고주파 세부 사항) 는 흐릿하게 만들어 버립니다.

실제 세계에서는 이러한 작은 세부 사항들이 중요합니다. AI 가 이를 흐릿하게 만들어 버리면 작은 오류들이 쌓이게 됩니다. 시간이 지남에 따라 날씨 모델의 미세한 흐림은 며칠 후 거대하고 잘못된 예측으로 변할 수 있습니다. AI 는 몇 초 만에 무너지는 카드 집처럼 불안정해집니다.

해결책: '다중 스케일 웨이블릿 트랜스포머 (MSWT)'

저자들은 MSWT라는 새로운 AI 아키텍처를 제안합니다. 이것이 어떻게 작동하는지 이해하기 위해 몇 가지 비유를 사용해 보겠습니다.

1. '마법 줌 렌즈' (웨이블릿 변환)

대부분의 AI 모델은 이미지나 날씨 지도를 거대하고 평평한 한 장의 그림으로 봅니다. 큰 그림을 보기 위해 줌 아웃을 시도하면 종종 작은 세부 사항을 잃어버립니다.

MSWT 는 웨이블릿 변환을 사용합니다. 고해상도 숲 사진이 있다고 상상해 보세요.

표준 AI 는 숲 전체를 한 번에 봅니다.
MSWT 는 이미지를 동시에 네 가지 명확한 층으로 분할하는 '마법 줌 렌즈'를 사용합니다.
- 큰 그림: 숲의 일반적인 형태 (저 - 저).
- 수직 가장자리: 키 큰 나무 줄기 (고 - 저).
- 수평 가장자리: 나뭇가지 (저 - 고).
- 작은 세부 사항: 나뭇잎과 작은 가지 (고 - 고).

중요한 점은 MSWT 가 '작은 세부 사항' 층을 결코 폐기하지 않는다는 것입니다. 네 가지 층을 모두 분리하여 함께 처리합니다. 이를 통해 AI 는 시스템의 날카롭고 혼란스러운 부분을 결코 '흐리게' 만들지 않습니다.

2. '토큰화된' 수신함

이 논문은 또한 패치 토크나이저를 소개합니다. 수백만 개의 행이 있는 거대한 스프레드시트가 있다고 상상해 보세요. 줄줄이 읽는 것은 느리고 혼란스럽습니다.

MSWT 는 스프레드시트를 작고 관리하기 쉬운 '포스트잇' (패치) 들로 잘라냅니다.
각 포스트잇을 단일 '토큰' (요약 카드) 으로 변환합니다.
이렇게 하면 데이터가 훨씬 작아지고 AI 가 각 패치 내부의 필수 정보를 잃지 않고 빠르게 처리하기가 쉬워집니다.

3. '스마트 대화' (웨이블릿 어텐션)

데이터가 서로 다른 주파수 층 (큰 그림 대 작은 세부 사항) 으로 나뉘면, AI 는 이들이 서로 어떻게 소통하는지 이해해야 합니다.

표준 AI 는 작은 세부 사항이 '노이즈'처럼 보이기 때문에 이를 무시할 수 있습니다.
MSWT 는 특별한 웨이블릿 어텐션 메커니즘을 사용합니다. 이는 회의에서 큰 추세를 외치는 사람만큼이나 작은 세부 사항에 대해 속삭이는 사람도 똑같이 크게 들릴 수 있도록 보장하는 사회자라고 생각하세요.
이를 통해 모델은 강의 작은 잔물결이 하류의 거대한 흐름에 어떻게 영향을 미치는지, 그리고 그 반대의 경우도 학습할 수 있습니다.

테스트 방법

저자들은 이 새로운 '마법 줌 렌즈' AI 를 세 가지 어려운 과제로 테스트했습니다.

혼돈적인 물 흐름 (콜모고로프 흐름): 소용돌이치는 혼돈적인 물을 시뮬레이션한 것입니다.
- 결과: 다른 AI 들은 혼란을 겪고 짧은 시간 후 시뮬레이션이 폭발 (불안정해짐) 했습니다. 반면 MSWT 는 훨씬 더 오랫동안 물을 현실적으로 소용돌이치게 유지했으며, 오류가 현저히 적었습니다.
얕은 물 파도: 표면을 이동하는 파도를 시뮬레이션한 것입니다.
- 결과: MSWT 는 파도를 평평한 선으로 매끄럽게 만드는 대신, 실제 파도처럼 보이게 유지하는 데 더 뛰어났습니다.
실제 세계 날씨 (ERA5): 10 년간의 실제 전 세계 날씨 데이터로 테스트했습니다.
- 결과: 매일 데이터를 수정하지 않고 미래를 예측하는 '자유 주행' 예보 시, MSWT 는 10 년 동안 안정적으로 유지되었습니다. 가상의 기후로 편향되지 않았습니다. 이전 최고 모델들보다 '기후 편향 (시간에 따른 평균 오류)'을 훨씬 낮게 유지했습니다.

핵심 요약

이 논문은 웨이블릿이라는 수학적 도구를 사용하여 크고 매끄러운 추세와 작고 날카로운 세부 사항을 명시적으로 분리하고 보존함으로써, AI 가 단순히 미래를 추측하는 것이 아니라 작은 것들의 물리 법칙을 존중하도록 만들었다고 주장합니다.

이는 AI 모델이 날씨나 유체 역학 같은 복잡한 시스템을 장기간 예측할 때 일반적으로 발생하는 '오류의 눈사태'를 방지합니다. 이는 AI 에게 산맥부터 단일 나뭇잎까지 전체 그림을 흐림 없이 선명하게 볼 수 있게 해주는 안경을 제공하는 것과 같습니다.

기술 요약: 동역학 시스템 연산자 학습을 위한 다중 스케일 웨이블릿 트랜스포머

문제 제기
동역학 시스템을 위한 데이터 기반 대리 모델, 특히 신경 연산자는 편미분 방정식 (PDE) 의 수치 해법보다 상당한 속도 이점을 제공합니다. 그러나 이러한 모델들은 종종 스펙트럼 편향(또는 과도한 평활화) 으로 고통받는데, 이는 신경 네트워크가 고주파 성분에 비해 저주파 성분을 더 쉽게 학습하는 현상입니다. 연산자 학습의 맥락에서 이는 고파수 (high-wavenumber) 성분의 체계적인 과소 평가로 나타납니다. 이러한 한계는 다중 스케일 및 카오스 시스템에서 치명적인데, 작은 규모의 오류가 빠르게 대규모 예측을 저하시켜 날씨 예보와 같은 응용 분야에서 장기 불안정성과 비물리적인 해를 초래할 수 있기 때문입니다. 기존 완화 전략인 다중 스케일 아키텍처나 주파수 인식 표현은 종종 공격적인 다운샘플링 중 고주파 특성을 유지하지 못하거나, 고해상도 물리 그리드에 직접 적용되는 계산 비용이 많이 드는 어텐션 메커니즘에 의존합니다.

방법론
저자들은 토큰화된 웨이블릿 도메인 내에서 시스템 동역학을 학습하도록 설계된 다중 스케일 웨이블릿 트랜스포머 (MSWT) 라는 연산자 학습 프레임워크를 제안합니다. 이 아키텍처는 계산 효율성을 유지하면서 명시적으로 스케일 간 저주파 및 고주파 성분을 분리함으로써 스펙트럼 편향을 해결합니다. MSWT 는 세 가지 주요 구성 요소로 이루어져 있습니다:

패치 토크나이저: 물리 장은 겹치지 않는 패치화 (patchification) 를 통해 토큰 공간에 매핑됩니다. 이는 어텐션 연산을 위한 유효 해상도를 줄여 최적화 지형을 매끄럽게 하고 고해상도 PDE 에 대한 효율성을 향상시킵니다.
다중 스케일 웨이블릿 구조: 모델은 $L$ $L$ 단계의 다운샘플링과 업샘플링을 가진 U 자형 토폴로지를 사용합니다.
- 웨이블릿 보존 다운샘플링: 고주파 정보를 폐기하는 표준 풀링이나 스트라이드 컨볼루션과 달리, 인코더는 디스크리트 웨이블릿 변환 (DWT)(특히 Haar 웨이블릿) 을 사용하여 특징을 Low-Low(LL), Low-High(LH), High-Low(HL), High-High(HH) 의 네 개의 서브밴드로 분해합니다. 모든 서브밴드는 유지되어 다음 스케일로 전달되므로 고주파 세부 정보가 손실되지 않습니다.
- 웨이블릿 보존 업샘플링: 디코더는 역 DWT(iDWT) 를 사용하여 서브밴드에서 더 높은 해상도의 특징을 재구성하고, 이를 인코더의 스킵 연결과 융합합니다.
웨이블릿 어텐션 블록 (WAttn): 웨이블릿 공간 내에서 작동하는 이 블록은 서로 다른 주파수 서브밴드 간의 의존성을 모델링합니다. 차원 압축을 적용하고 DWT 를 수행하여 웨이블릿 계수를 추출한 후, 컨볼루션과 자기 어텐션(특히 로컬 윈도우 어텐션) 의 조합을 사용하여 서브밴드 간 특징을 혼합합니다. 이를 통해 모델은 일반적으로 에너지가 낮지만 미세 규모 구조에 필수적인 고주파 성분을 증폭할 수 있습니다. 마지막으로 iDWT 가 계수를 토큰 공간으로 매핑합니다.

모델은 고주파 오류를 처벌하는 특수 목적 함수가 필요 없는 1 단계 예측 쌍에 대한 표준 상대 $\ell_2$ (MSE 유형) 손실 함수를 사용하여 훈련되며, 이는 아키텍처적 귀납적 편향의 기여도를 격리합니다.

주요 기여

웨이블릿 어텐션을 통한 스펙트럼 편향 완화: 이 논문은 스케일 간 멀티밴드 웨이블릿 콘텐츠를 모델링하는 트랜스포머 아키텍처를 소개합니다. 웨이블릿 도메인에서 작동함으로써 모델은 명시적으로 고주파 서브밴드를 보존하고 혼합하여 푸리에 기반 또는 표준 컨볼루션 연산자에 비해 향상된 스펙트럼 충실도를 달성합니다.
향상된 효율성 및 장기 안정성: 토크나이징과 웨이블릿 기반 다운/업샘플링을 결합함으로써, 이 방법은 공간 해상도가 감소된 상태에서 작동하는 어텐션 메커니즘의 계산 비용을 크게 줄이면서도 안정성을 유지합니다. 이는 다른 모델들이 일반적으로 발산하거나 오류를 누적하는 카오스 동역학 시스템의 정확한 장기 롤아웃을 가능하게 합니다.
실제 기후 데이터에 대한 장기 평가: 저자들은 ERA5 기후 재분석 데이터셋에서 이 방법을 검증했습니다. 그 결과, 자유 주행 예보에서 기후학적 편향이 감소하여 최첨단 베이스라인에 비해 장기 물리적 일관성이 향상되었음을 보여주었습니다.

실험 결과
MSWT 는 카오스 콜모고로프 흐름 (CKF), 얕은 물 방정식 (SWE), 그리고 ERA5 기후 재분석이라는 세 가지 벤치마크에서 평가되었습니다.

카오스 콜모고로프 흐름 (CKF): MSWT 는 베이스라인 (FNO, U-Net, WNO, SAOT, HFS) 대비 상당한 오류 감소를 달성했습니다. 64 단계에서 MSWT 는 두 번째로 안정적인 모델 (FNO) 대비 상대 L2 오류를 60% 이상 감소시켰습니다. 또한 스펙트럼 지표 (EMLR 및 EMAE) 에서 각각 76.5% 와 80.6% 의 개선을 보이며 우수한 성능을 발휘했고, 베이스라인들이 에너지 과대 평가나 비물리적인 해를 보인 반면 지상 진실 (ground truth) 과 밀접하게 일치하는 스펙트럼 충실도를 유지했습니다.
얕은 물 방정식 (SWE): MSWT 는 장기 롤아웃 (41 단계 및 81 단계) 에서 오류 누적을 더 낮게 보여주었으며, 상대 L2, EMLR, EMAE 에서 두 번째로 안정적인 베이스라인 (FNO) 을 약 30% 개선했습니다. 또한 다른 방법에서 관찰된 경계 아티팩트를 성공적으로 방지했습니다.
ERA5 기후 재분석: 10 년 단위의 자기회귀 롤아웃에서 MSWT 는 경량 비연결 기후 에뮬레이터 (LUCIE) 를 일관되게 능가했습니다. 모든 변수 (온도, 습도, 바람, 기압, 강수) 에서 더 낮은 평균 제곱근 오차 (RMSE) 를 달성했으며, 특히 극지방 근처의 표면 기압과 남극 상부의 자오선 바람 편향에서 기후학적 편향을 현저히 감소시켰습니다.

의의
이 논문은 MSWT 프레임워크가 스펙트럼 편향 완화에 있어 표현과 귀납적 편향의 역할을 효과적으로 격리한다고 주장합니다. 토큰화된 웨이블릿 공간에서 동역학을 학습함으로써 이 방법은 계산 효율성과 미세 규모 구조 보존 사이의 균형을 달성합니다. 그 결과들은 명시적인 웨이블릿 기반 샘플링과 어텐션 메커니즘이 카오스 및 다중 스케일 시스템의 장기 안정성에 더 우수하며, 장기적인 물리적 일관성 유지가 중요한 실제 예보 작업에 대한 견고한 해결책을 제공함을 시사합니다. 저자들은 이러한 개선이 표준 훈련 목적 함수를 수정하지 않고 달성되었음을 강조하며, 성능의 주요 동인이 아키텍처 설계임을 부각시킵니다.