📊 statistics

Heavy-Tailed Flow Matching via Random Clocks

본 논문은 표준 플로우 매칭(flow matching)의 효율성을 유지하면서도 모드 커버리지, 샘플 품질 및 꼬리 통계량 회복을 개선하기 위해 절단된 로그 시그니처(truncated logsignature) 특징을 사용하여 헤비 테일 데이터를 클락 조건부 가우시안 소스들의 혼합으로 모델링하는 무작위 시계 기반 헤비 테일 플로우 매칭(Heavy-Tailed Flow Matching via Random Clocks, HTFM) 프레임워크를 제안한다.

원저자: Zhouhao Yang, Yezhen Wang, Kenji Kawaguchi, Vladimir Braverman, Haoyang Cao

게시일 2026-07-16

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhouhao Yang, Yezhen Wang, Kenji Kawaguchi, Vladimir Braverman, Haoyang Cao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 세상의 그림을 그리는 법을 가르치려 한다고 상상해 보십시오. 대부분의 경우, 로봇은 빈 캔버스에 덮인 정적 노이즈—마치 오래된 TV의 흐릿한 회색 눈보라 같은 것—에서 시작하여 이미지가 나타날 때까지 천천히 깨끗하게 만드는 방식으로 학습합니다. 이것은 카펫 위에 앉아 있는 고양이나 화창한 날과 같은 "정상적인" 것들을 그릴 때는 아주 잘 작동합니다. 하지만 만약 당신이 로봇에게 아주 드물고 극단적인 것을 그리게 하고 싶다면 어떨까요? 백 년에 한 번 올까 말까 한 허리케인, 거대한 금융 위기, 또는 번개와 같은 것들 말입니다. 이것들은 현실의 "헤비 테일(heavy tails, 두꺼운 꼬리)"입니다. 즉, 매우 드물게 발생하지만 엄청난 영향을 미치는 사건들입니다.

문제는 표준적인 페인팅 로봇들이 "라이트 테일(light-tailed, 얇은 꼬리)" 노이즈를 기반으로 훈련된다는 점입니다. 그들은 평균적이고 예측 가능한 것을 기대합니다. 당신이 허리케인을 그려달라고 요청하면, 그들은 극단적인 날씨가 거의 불가능하다는 것이 그들의 훈련 데이터에 암시되어 있기 때문에 혼란에 빠질 수 있습니다. 그들은 폭풍 대신 부드러운 미풍을 그리거나, 드문 사건들을 아예 놓쳐버릴 수도 있습니다. 이를 해결하기 위해 과학자들은 로봇에게 "헤비 테일" 노이즈—자연스럽게 거칠고 극단적인 변동을 포함하는 노이즈—를 가지고 시작하도록 가르치려고 시도했습니다. 하지만 이는 까다로운 일입니다. 이러한 거친 노이즈의 수학은 복잡하고 계산하기 어려우며, 로봇이 단 하나의 그림을 완성하기 위해 수천 번의 작고 느린 단계를 거쳐야 할 때가 많습니다. 이는 마치 눈을 가린 채 허리케인 속을 걷는 것과 같습니다. 결국 도착할 수는 있겠지만, 매우 지치고 비효율적인 일입니다.

이 논문은 이 로봇들이 복잡한 수학에 길을 잃지 않고도 극단적인 상황을 다루는 법을 배우는 영리한 새로운 방법을 소개합니다. 저자인 Zhouhao Yang과 동료들은 **무작위 시계를 이용한 헤비 테일 플로우 매칭(HTFM)**이라는 방법을 제안합니다. 로봇에게 극단적인 사건의 복잡한 수학을 직접 배우도록 강요하는 대신, 그들에게 "마법의 시계"를 주는 것입니다.

이 마법의 시계가 어떻게 작동하는지 알아봅시다. 로봇이 그림을 그리고 있다고 상상해 보십시오. 그런데 로봇이 일정하고 지루한 속도로 움직이는 대신, 속도가 빨라지거나, 느려지거나, 심지어 무작위로 앞으로 건너뛰는 시계를 가지고 있습니다. 때때로 시계는 천천히 흘러가서 차분하고 집중된 시작점을 만들어냅니다. 다른 때에는 시계가 격렬하게 요동치며 시작 노이즈를 넓고 혼란스러운 구름으로 확장시킵니다. 핵심적인 트릭은 로봇이 그 미친 듯한 시계 자체를 이해할 필요가 없다는 것입니다. 로봇은 단지 특정 시계 설정이 주어졌을 때 어떻게 그려야 하는지만 배우면 됩니다. 시계가 차분하면 로봇은 차분하게 그리고, 시계가 격렬하면 로봇은 격렬하게 그립니다. 이 다양한 "시계 설정"들을 모두 섞음으로써, 로봇은 일반적인 장면과 드문 극단적인 사건들 모두를 완벽하게 생성하는 법을 배웁니다.

저자들은 이 접근 방식이 게임 체인저라는 것을 발견했습니다. 그들은 세 가지 과제를 통해 테스트했습니다: 불균형한 모양이 있는 간단한 2D 수학 퍼즐, 매우 희귀한 카테고리가 존재하는 이미지 데이터셋(예: 트럭들 사이의 특정한 종류의 자동차), 그리고 강한 폭우를 추적하는 실제 기상 데이터입니다. 모든 경우에서, 그들의 "무작위 시계" 방식은 이전의 헤비 테일 모델들보다 더 나은 결과를 만들어냈습니다. 그것은 드문 극단적 사건들을 훨씬 더 정확하게 포착해 냈으며, 아마도 가장 인상적인 점은 훨씬 더 빠르게 수행했다는 것입니다. 다른 방법들은 단 하나의 이미지를 생성하는 데 수백 단계가 필요했던 반면, 그들의 방법은 품질 저하 없이 단 몇 단계만으로도 해낼 수 있었습니다.

그들은 또한 시계의 "모양"이 중요하다는 것을 발견했습니다. 단순히 꼬리가 얼마나 두꺼운지의 문제가 아니라, 시계가 행동하는 구체적인 방식(개처럼 뛰는지, 혹은 강처럼 흐르는지)에 따라 로봇이 학습하는 드문 사건의 종류가 달라집니다. 이는 과학자들에게 모델을 조절할 수 있는 새로운 "다이얼"을 제공하여, 생성된 데이터가 얼마나 극단적이어야 하는지를 정확하게 제어할 수 있게 해줍니다. "로그 시그니처(log-signatures)"라는 수학적 도구를 사용하여 시계의 경로를 요약함으로써, 그들은 시스템을 단순하고 빠르게 유지할 수 있었으며, 가장 거친 데이터를 생성하기 위해 반드시 가장 어려운 수학 문제를 풀어야 하는 것은 아니라는 점을 증证明했습니다. 단지 적절한 시계가 필요할 뿐입니다.

기술 요약: 무작위 시계(Random Clocks)를 통한 헤비 테일 플로우 매칭(Heavy-Tailed Flow Matching)

문제 정의
금융 위기나 기상 이변, 불균형한 이미지 클래스와 같이 드문 사건이 불균형적으로 큰 영향을 미치는 특성을 가진 헤비 테일(heavy-tailed) 데이터는 현대 생성 모델링에 있어 중요한 과제입니다. 표준 확산(diffusion) 및 플로우 매칭(flow matching) 모델은 일반적으로 가우시안 소스 분포나 노이즈 프로세스에 의존합니다. 가우시안 소스는 학습 타겟으로서 다루기 쉽다는 장점이 있지만, 헤비 테일 데이터에 대한 유도적 일치성(inductive match)은 떨어집니다. 데이터 분포가 소스보다 훨씬 더 무거운 꼬리를 가질 경우, 모델은 학습된 수송 맵(transport map)을 통해 꼬리 행동을 완전히 학습해야 하며, 이는 종종 희귀 사건의 부정확한 재현으로 이어집니다.

이를 해결하기 위해 가우시안 노이즈를 헤비 테일 대안(예: $\alpha$ -stable 레비 프로세스, Student-t 커널)으로 교체하려는 기존의 시도들은 한계에 직면해 있습니다. 이러한 접근 방식은 비로컬 분수 차수 스코어(non-local fractional-score) 메커니즘을 요구하거나, 특정 꼬리 가족(예: 유한 분산을 가진 Student-t)에 국한되거나, 혹은 효율적인 학습에 필수적인 $L^2$ 투영 구조를 깨뜨리는 강건한 집계 손실(robust aggregation losses)에 의존합니다. 현재로서는 다양한 헤비 테일 소스 법칙을 수용하면서도 플로우 매칭의 낮은 NFE(Number of Function Evaluations) 샘플링 효율성을 유지할 수 있는 통합된 프레임워크가 부족한 실정입니다.

방법론: 무작위 시계를 통한 헤비 테일 플로우 매칭 (HTFM)
저자들은 HTFM을 제안하며, 이는 시계 조건부 가우시안 소스(clock-conditioned Gaussian sources)의 혼합으로 헤비 테일 소스를 모델링하는 프레임워크입니다. 핵심 혁신은 소스 분포의 조건부 공분산을 제어하는 비감소(non-decreasing) 경로 값 잠재 변수인 무작위 시계(random clock) $T = (T_t)_{t \in [0,1]}$ 의 도입입니다.

시계 조건부 역학 (Clock-Conditioned Dynamics):
- 실현된 시계 경로 $T_{[0,1]}$ 에 대해 조건화하면, 소스 분포 $X_0$ 와 소스 및 데이터 사이의 플로우는 가우시안을 따릅니다.
- 구체적으로, $X_0 | T_{[0,1]} \sim \mathcal{N}(0, \Sigma(T_{[0,1]}))$ 입니다.
- 플로우는 아핀 경로(affine path)를 따릅니다: $X_t^T = \alpha_t^T X_1 + \beta_t^T X_0^T$ .
- 조건부 문제가 가우시안이기 때문에, 엔드포인트 조건부 속도 타겟 $v_t^T(x | x_1)$ 은 표준 가우시안 플로우 매칭과 동일하게 다루기 쉬운 대수적 형태를 유지합니다. 이를 통해 경로별(pathwise)로 표준 $L^2$ 회귀 목적 함수를 사용할 수 있습니다.
한계 분포와 헤비 테일 (Marginalization and Heavy Tails):
- 헤비 테일 성질의 한계 소스 분포는 무작위 시계 $T$ 에 대해 적분(한계화)한 후에만 나타납니다.
- 특정 시계 법칙을 선택함으로써 프레임워크는 다양한 헤비 테일 가족을 복구합니다:
  - 결정론적 시계 ( $T_t = t$ ): 표준 가우시안 플로우 매칭을 복구합니다.
  - $\alpha$ -Stable Subordinator 시계: $\alpha$ -stable 소스 한계 분포를 생성합니다.
  - Inverse-Gamma 시계: 자유도 $\nu > 0$ 인 모든 Student-t 한계 분포를 생성하며, 여기에는 다른 방법들이 배제하는 무한 분산 영역( $\nu \le 2$ )도 포함됩니다.
시그니처 기반 조건화 (Signature-Based Conditioning):
- 시계 경로 $T_{[0,1]}$ 은 무한 차원이므로, 이를 신경망에 직접 전달하는 것은 불가능합니다.
- 저자들은 러프 경로 이론(rough path theory)에서 유도된 절단된 로그 시그니처 특징량( $\ell_m(T)$ )을 사용하여 실현된 시계 경로를 인코딩합니다. 이 특징량들은 경로의 유한 차원적이고 보편적인 표현을 제공합니다.
- 신경 속도장 $u_\theta$ 는 시간 $t$ 및 상태 $X_t$ 와 함께 이 특징량들에 의해 조건화됩니다. 이를 통해 네트워크는 계산 오버헤드를 거의 없이 실현된 시계에 의해 정의된 특정 조건부 가우시안 공간에 적응할 수 있습니다.

주요 기여

통합된 무작위 시계 프레임워크: HTFM은 시계 법칙을 변경하는 것만으로 가우시안, $\alpha$ -stable, Student-t 소스를 생성할 수 있는 단일 플로우 매칭 목적 함수를 제공합니다. 이는 특정 가족의 스코어 공식이나 사용 불가능한 밀도 함수를 사용하는 대신, 조건부 가우시안 공간 내에서 작동함으로써 문제를 해결합니다.
시그니처 기반 조건화: 절단된 로그 시그니처 특징량을 사용하여 시계 조건부 벡터장을 구현하는 실용적인 인터페이스를 도입했습니다. 이를 통해 속도장은 연산자 학습(operator learning)의 비용 없이 실현된 조건부 공간에 적응할 수 있습니다.
이론적 보장: 프레임워크는 경로별 조건부-한계 등가성(pathwise conditional-marginal equivalence, Proposition 3.1)을 확립하여, 적분 가능 조건이 충족되는 한 시계 조건부 목적 함수를 최소화하는 것이 한계 헤비 테일 목적 함수를 최소화함을 보장합니다.

실험 결과
저자들은 세 가지 벤치마크(2D 불균형 $\alpha$ -stable mixture, CIFAR10-LT long-tailed 이미지 데이터셋, HRRR 기상장)에서 HTFM을 평가했습니다.

성능: HTFM은 모드 커버리지(mode coverage), 샘플 품질(FID), 그리고 꼬리 통계량 회복(Kurtosis Ratio, Skewness Ratio, KS statistic) 측면에서 가우시안 플ow 매칭(HTFM-G) 및 경쟁력 있는 헤비 테일 베이스라인(LIM, DLPM, t-Flow)을 일관되게 능가합니다.
낮은 NFE 효율성: HTFM의 주요 장점은 낮은 NFE 샘플링 효율성을 유지한다는 점입니다. HTFM은 $\alpha$ -stable 확산 베이스라인(DLPM 등)이 느린 수렴으로 인해 어려움을 겪는 낮은 NFE(예: 20~100 단계) 구간에서 이를 크게 앞섭s니다.
꼬리 교정 (Tail Calibration): 실험을 통해 네트워크 아키텍처를 변경하지 않고도 시계 법칙이나 그 꼬리 파라미터를 조정함으로써 생성된 꼬리의 "무거움"을 교정할 수 있음을 입증했습니다.
어블레이션 연구 (Ablation Studies):
- 시계 가족 (Clock Family): 서로 동일한 다항 꼬리 감쇠율을 가짐에도 불구하고 서로 다른 시계 가족(예: $\alpha$ -stable vs Student-t)이 서로 다른 성능을 보였으며, 이는 시계 가족이 단순히 꼬리의 무거움을 넘어 의미 있는 설계 요소임을 나타냅ers.
- 시그니처 조건화 (Signature Conditioning): 속도장에 시계 시그니처를 명시적으로 조건화하는 것( $m \ge 1$ )이 시계 조건화 없이 헤비 테일 소스만을 사용하는 것( $m=0$ )보다 더 나은 결과를 냈으며, 이는 조건부 공간에 적응하는 것의 가치를 확인시켜 줍니다.

의의 및 주장
본 논문은 HTFM이 가우시안 플로우 매칭의 다루기 쉬운 특성과 실제 세계의 극한 사건을 모델링하기 위한 헤비 테일 모델링의 필요성 사이의 간극을 메운다고 주장합니다. 꼬리 행동(무작위 시계에 의해 제어됨)을 조건부 회귀 문제(가우시안으로 유지됨)로부터 분리함으로써, 이 방법은 기존의 헤비 테일 확산 접근 방식이 가진 계산적 및 이론적 난관을 피합니다.

저자들은 HTFM이 실용적인 꼬리 제어 인터페이스를 제공한다는 점을 강조합니다. 즉, 사용자는 시계 법칙을 조정하는 것만으로 다양한 분포 가족에 걸쳐 생성된 샘플의 "무거움"을 교정할 수 있습니다. 또한, 로그 시그니처 특징량을 사용함으로써 모델이 고비용의 무한 차원 연산자 학습 없이도 시계의 전체 경로 정보를 활용할 수 있게 하여, 고차원 헤비 테일 생성 모델링을 위한 확장 가능한 솔루션을 제공합니다.

유사한 논문