🤖 machine learning

Renormalization Group Flow Matching for Scalable Local Generative Modeling

이 논문은 국소적 모델이 거의 선형적인 계산 비용으로 장거리 상관관계와 전역적 일관성을 정확하게 재현할 수 있도록 재규격화 군 원리를 활용하는 확장 가능한 생성 프레임워크인 재규격화 군 흐름 매칭(Renormalization Group Flow Matching, RGFM)을 소개한다.

원저자: Kanta Masuki, Yuto Ashida

게시일 2026-08-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kanta Masuki, Yuto Ashida

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능의 세계에서 컴퓨터는 점차 무에서 유를 창조하는 법을 배우고 있습니다. 컴퓨터는 방대한 기존 사례의 라이브러리를 학습함으로써 극사실적인 얼굴을 생성하거나, 음악을 작곡하거나, 복잡한 분자 구조를 설계할 수 있습니다. 이러한 시스템은 데이터가 결합되는 숨겨진 패턴을 학습함으로써, 정보의 한 조각이 다른 조각과 어떻게 연관되는지를 효과적으로 매핑합니다. 그러나 이 창조자들을 오랫동안 괴롭혀 온 근본적인 문제는 효율성과 포괄성을 동시에 달弦하기 어렵다는 점이었습니다. 이미지의 가장자리부터 가장자리까지 말이 되는 그림을 만들기 위해 컴퓨터는 보통 이미지를 한꺼번에 전체적으로 보아야 하며, 이 과정은 엄청난 컴퓨팅 능력과 메모리를 요구합니다. 반대로, 에너지를 아끼기 위해 컴퓨터가 작고 관리 가능한 조각들만을 본다면, 점들을 연결하는 데 실패하여 얼굴의 왼쪽과 오른쪽이 서로 맞지 않거나, 장면의 먼 부분들이 일관된 관계를 갖지 못하는 결과가 초래되곤 합니다. 이러한 국소적 효율성과 전역적 일관성 사이의 절충안은 이러한 기술을 더 크고 복잡한 작업으로 확장하는 데 있어 주요한 병목 현상이 되어 왔습니다.

도쿄 대학교의 연구진은 이론 물리학에서 알려진 강력한 개념인 '재규격화 군(renormalization group)'을 빌려와 이 난관을 헤쳐 나갈 새로운 방법을 제안했습니다. 물리학에서 이 방법은 원자의 미시적인 움직임부터 유체의 거시적인 흐름에 이르기까지, 다양한 크기에서 시스템이 어떻게 행동하는지 이해하는 데 사용됩니다. 핵심 아이디어는 시스템의 세부 사항이 확대하거나 축소함에 따라 변할지라도, 그 기저에 깔린 규칙은 종종 일관되게 유지된다는 것이며, 이를 통해 과학자들은 노이즈 속에서 길을 잃지 않고도 매우 작은 것과 매우 큰 것을 연결할 수 있습니다. 연구자 카나타 마스키(Kanta Masuki)와 유토 아시다(Yuto Ashida)는 이 원리를 응용하여 '재규격화 군 흐름 매칭(Renormalization Group Flow Matching)'이라는 새로운 생성 프레임워크를 만들었습니다. 이 방식은 고해상도 이미지를 한 번의 거대하고 값비싼 단계로 처리하려고 시도하는 대신, 넓고 거친 형태에서 시작하여 점차 미세한 세부 사항을 채워 넣으며 이미지를 단계적으로 구축합니다.

혁신의 핵심은 컴퓨터가 데이터를 통과하는 방식에 있습니다. 전통적인 방식은 종종 모든 단일 픽셀과 다른 모든 픽셀 사이의 관계를 동시에 학습하려고 시도하며, 이는 이미지가 커질수록 계산적으로 불가능해집니다. 그러나 새로운 접근 방식은 데이터의 자연스러운 척도 계층 구조를 존중하는 일련의 단계로 생성 과정을 조직합니다. 먼저 얼굴의 일반적인 배치나 풍경의 구성과 같은 데이터의 대규모 구조를 생성하는 것으로 시작합니다. 이러한 굵직한 선들이 배치되면, 시스템은 다음 단계로 넘어가 더 미세한 질감과 가장자리를 추가하며, 이 과정을 최종적인 고해상도 세부 사항이 완성될 때까지 지속합니다. 결정적으로, 각 진행 단계에서 컴퓨터는 이미지를 결정하기 위해 오직 작고 국소적인 이웃 영역만을 살펴볼 필요가 있습니다. 다음 선을 어떻게 그릴지 알기 위해 전체 그림을 볼 필요가 없는 것입니다.

이러한 국소적 집중은 '재규격화 군 흐름'과 관련된 특정 수학적 기법을 통해 가능해집니다. 이 과정에서 시스템은 이미 생성된 고주파 노이즈와 미세한 세부 사항을 효과적으로 걸러내어, 다루기 더 쉬운 단순화된 버전의 데이터를 남깁니다. 데이터를 반복적으로 단순화한 다음 다시 그 과정을 역전시켜 세부 사항을 추가함으로써, 연구진은 컴퓨터가 작은 패치만을 계산하면서도 전체 이미지에 대한 감각을 유지할 수 있는 경로를 만들어냈습니다. 연구진은 정확한 예측을 하기 위해 컴퓨터가 '보아야' 하는 거리가 이미지가 커짐에 따라 매우 느리게 증가한다는 것을 입증했습니다. 구체적으로, 특정 크기의 이미지에 대해 필요한 시야 영역은 로그 함수적으로만 증가하며, 이는 매우 큰 이미지라 할지더라도 컴퓨터가 작업을 완수하기 위해 상대적으로 작은 창만을 조사하면 된다는 것을 의미합니다. 이를 통해 시스템은 계산 비용의 폭발 없이도 거대한 해상도로 확장할 수 있습니다.

연구진은 단순한 수학적 분포와 FFHQ 데이터셋의 인물 사진을 포함한 복잡한 실제 이미지를 대상으로 이 방법을 테스트했습니다. 1차원 테스트에서 새로운 방식은 기존의 국소 모델이 놓쳤던 장거리 상관관계를 성공적으로 재현하여, 생성된 데이터의 먼 부분들이 서로 일관성을 유지하도록 했습니다. 이미지 생성에 적용했을 때 결과는 놀라웠습니다. 64x64 픽셀 해상도에서 새로운 방식은 표준 국소 모델보다 훨씬 더 일관된 구조와 현저히 적은 오류를 가진 얼굴을 만들어냈습니다. 계산적 도전 과제가 훨씬 큰 256x256 픽셀의 높은 해상도에서도, 이 새로운 접근 방식은 경쟁 모델들보다 더 높은 품질의 샘플을 생성했습니다. 비록 아직은 멀리 떨어진 얼굴 특징들 사이의 불일치가 나타나는 등 완벽하지는 않았지만, 전역적 일관성의 개선은 상당했습니다.

이 연구는 물리적 시스템이 다양한 척도에 걸쳐 스스로를 조직하는 방식을 모방하도록 생성 과정을 구조화함으로써, 효율적이면서도 거시적인 관점을 이해할 수 있는 인공지능을 구축하는 것이 가능하다는 점을 시사합니다. 연구진은 속도를 위해 전역적 일관성을 희생할 필요가 없음을 보여주었습니다. 거친 것과 미세한 것을 체계적으로 연결하는 프레 프레임워크를 사용함으로써, 그들은 기계가 오직 국소적인 계산만을 사용하여 복잡한 고차원 데이터를 생성할 수 있는 길을 열었습니다. 이 접근 방식은 단순히 그림을 더 빨리 그리는 법을 제공하는 것이 아니라, 기계가 세상 전체를 한꺼번에 기억 속에 담아두지 않고도, 한 번에 하나의 척도씩 복잡한 현실을 구축하는 법을 배우는 새로운 청사진을 제공합니다.

기술 요약: 확장 가능한 국소적 생성 모델링을 위한 재규격화 군 흐름 매칭 (Renormalization Group Flow Matching)

문제 정의
생성 모델, 특히 확산 기반(diffusion-based) 및 흐름 매칭(flow-matching, FM) 프레임워크는 전역적 구조의 일관성(global structural coherence)을 포착하는 것과 계산 효율적인 확장성(computational scalability)을 유지하는 것 사이의 근본적인 트레이드오프에 직면해 있다. 셀프 어텐션(self-attention)을 사용하는 전역적 접근 방식은 장거리 상관관계(long-range correlations)를 모델링할 수 있지만, 데이터 차원 $D$ 에 대해 제곱( $O(D^2)$ )으로 증가하는 계산 비용 문제로 인해 고해解 이미지나 거대 물리계에 적용하기에는 불가능하다. 반대로, 공간적 이웃만을 사용하여 속도장(velocity fields)을 근사하는 국소적 생성 모델은 거의 선형적인 스케일링을 제공하지만, 일반적으로 장거리 상관관계와 전역적 일관성을 재현하는 데 실패한다. 이러한 실패는 생성 과정의 중간 단계에서 스코어(score) 또는 속도장의 비국소적 의존성(nonlocal dependence) 때문이며, 순수하게 국소적인 근사 방식으로는 먼 지역 간의 조율이 불가능하기 때문이다.

방법론: 재규격화 군 흐름 매칭 (RGFM)
저자들은 전역적 구조와 국소성 사이의 간극을 메우기 위해 이론 물리학의 재규격화 군(Renormalization Group, RG) 형식을 흐름 매칭 패러다임에 통합한 **재규격화 군 흐름 매칭(RGFM)**을 제안한다.

확률 경로로서의 RG:
표준적인 노이즈와 데이터 사이의 선형 보간 대신, RGFM은 정확한 RG 흐름을 사용하여 확률 경로(probability path)를 정의한다. 순방향 과정(RG 확산)은 고파수(high-wavenumber, 단파장) 모드를 점진적으로 통합하여 독립적인 가우시안 노이즈로 변환하는 한편, 저파수(low-wavenumber, 장파장) 모드의 비자명한 구조를 유지한다. 역방향 과정은 이 흐름을 역전시켜 거친 스케일(장파장)에서 미세한 스케일(단파장)로 신호를 구축함으로써 데이터를 생성한다.
재스케일링 및 사이트 데시메이션(Site Decimation):
핵심적인 혁신은 흐름을 따르는 연속적인 격자 재스케일링(사이트 데시메이션)의 도입이다. RG 스케일 $\Lambda(t)$ 가 감소함에 따라, 정확한 근사를 위해 필요한 국소성 길이(locality length)는 자연스럽게 시스템 크기 $L$ 까지 커지게 된다. 이를 방지하기 위해, 본 프레임워크는 디커플링된 고파수 가우시안 모드를 주기적으로 제거하고 남은 저파수 모드를 더 거친 격자로 재스케일링한다. 이 변환은 시스템 크기에 관계없이 현재 격자에 대한 국소성 길이를 미시적 크기( $O(1)$ rescaled units)로 복원한다.
국소적 생성 모델링:
국소적 역방향 ODE 진화(국소 속도장에 의해 제어됨)와 확률적 리프팅(discarded 된 가우시안 모드의 재샘플링)을 교대로 수행함으로써, RGFM은 고정된 패치 크기를 가진 국소 신경망의 사용을 가능하게 한다. 이론적 분석에 따르면, 필요한 패치 크기는 $O(\ln L)$ 로 스케일링되며, 이를 통해 계산 비용을 시스템 부피에 대해 거의 선형적으로 스케일링할 수 있다.
이론적 프레임워크:
본 논문은 이러한 국소적 근사에 대한 엄격한 오차 경계(error bounds)를 설정한다. 저자들은 두 가지 클래스의 데이터 분포를 정의한다: 국소 분포(단거리 상관관계를 가짐)와 조건부 국소 분포(잠재 변수에 의해 장거리 의존성이 매개됨). RG 준국소성(quasi-locality) 및 잠재 예측 가능성(latent predictability)에 대한 가정을 바탕으로, 저자들은 국소 근사 오차가 버퍼 폭 $l_B$ 에 따라 지수적으로 감소함을 증명한다. 구체적으로, 특정 오차 허용 범위 $\varepsilon$ 을 달ata하기 위해 필요한 국소성 길이는 다음과 같다:
$l_{B,t} = O\left(\Lambda(t)^{-1} [\ln L + \ln(1/\varepsilon)]\right)$
이는 타겟 분포와 국소적으로 생성된 분포 사이의 2-Wasserstein 거리가 $\varepsilon$ 이내로 유지됨을 보장한다.

주요 기여

RGFM 프레임워크: 확률 경로가 정확한 RG 흐름에 의해 정의되는 생성 프레임워크를 도입하여, 공간적 스케일에 따라 데이터를 체계적으로 구조화하였다.
확장 가능한 국소적 근사: RGFM 확률 흐름이 $O(\ln L)$ 의 공간 범위를 갖는 국소 속도장에 의해 정확하게 근사될 수 있음을 보여주는 이론적 증명을 제시하여, 계산 비용을 시스템 부피에 대해 거의 선형적으로 스케일링할 수 있게 하였다.
오차 경계: 국소 및 조건부 국소 데이터 분포에 대한 엄격한 오차 경계를 도출하였으며, 국소 근사 오차가 실행 중인 RG 스케일에 의해 제어되는 버퍼 폭에 따라 지수적으로 감소함을 입증하였다.
알고리즘 구현: 국소 ODE 적분과 버려진 모드의 확률적 재샘플링을 교대로 수행하는 구체적인 훈련 및 샘플링 절차(Algorithm 1 및 2)를 제공한다.

결과
저자들은 R-GFM의 효능을 입증하기 위해 수치적 시연을 제공한다:

1차원 분포: 1D Ising 모델과 비감쇄 진동 상관관계를 가진 조건부 국소 분포에서, 국소 RGFM은 신경망의 수용 영역(receptive field)을 훨씬 넘어서는 거리에서도 상관 함수를 성공적으로 재현한다. 반면, 기존의 국소 흐름 매칭은 장거리에서 상당한 오차를 보이며 전역적 일관성을 유지하는 데 실패한다.
이미지 생성 (FFHQ):
- 64×64 해상도에서, 국소 RGFM은 다양한 수용 패치 크기에 대해 국소 흐름 매칭보다 훨씬 더 일관된 얼굴 구조를 생성하며 더 낮은 FID 점수를 달성한다.
- 256×256 해상도에서, 전역 모델 학습이 계산적으로 매우 어려운 상황임에도 불구하고, 국소 RGFM은 실행 가능하다. RGFM은 국소 흐름 매칭보다 더 높은 품질과 전역적 일관성을 가진 샘플을 생성하지만, 공간적으로 떨어진 얼굴 구성 요소들 사이의 일부 불일치는 잔존한다.

의의 및 주장
본 논문은 RGFM이 장거리 구조를 포착하면서도 국소적 계산만을 사용하는 확장 가능한 생성 모델링을 향한 유망한 경로를 구축한다고 주장한다. **스케일 분리(scale separation)**와 **준국소성(quasi-locality)**이라는 RG 원리를 활용함으로써, 이 프레임워크는 계산 효율성과 전역적 일관성 사이의 긴장을 해결한다. 저자들은 이 접근 방식이 전역 어텐션 메커니즘의 이차 스케일링 비용 없이도 고차원 구조적 데이터(고해상도 이미지 및 다체 물리계 등)를 생성할 수 있게 한다고 단언한다. 또한, 이 연구는 RG를 단순히 특징 추출 도구가 아니라 확률 흐름의 국소성을 제어하기 위한 설계 원칙으로 활용함으로써, 머신러닝과 이론 물리학 사이의 깊은 시너지를 강조한다.

기술 요약: 확장 가능한 국소적 생성 모델링을 위한 재규격화 군 흐름 매칭 (Renormalization Group Flow Matching)

유사한 논문