🤖 machine learning

Measure-to-measure Regression with Transformers

본 논문은 비선형 측정 간 회귀의 형식화를 제시하고 확률 분포 간의 변환을 학습하기 위해 정적 맵과 동적 속도장이라는 두 가지 확장 가능한 트랜스포머 기반 접근법을 제안하며, 합성, 물리 및 생물학적 데이터셋을 통한 인구 진화 예측에서 그 효과성을 입증한다.

원저자: Matthew Vandergrift, Martha White, Yury Polyanskiy, Philippe Rigollet, Lazar Atanackovic

게시일 2026-05-28

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Matthew Vandergrift, Martha White, Yury Polyanskiy, Philippe Rigollet, Lazar Atanackovic

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇이 사람 군중의 움직임을 어떻게 예측할지 가르치려 한다고 상상해 보세요.

기존 방식 (고전적 회귀):
보통 움직임을 예측하려면 한 명씩 살펴봅니다. "앨리스가 왼쪽으로 걸으면 여기 도착할 거야. 밥이 오른쪽으로 걸으면 저기 도착할 거야."라고 말합니다. 즉, 모든 사람을 독립적인 여행자처럼 취급합니다.

새로운 문제 (측도 간 회귀, Measure-to-Measure Regression):
하지만 많은 실제 상황—물고기 떼, 벌떼, 또는 몸속의 세포 군집과 같은—에서는 사람들이 혼자 움직이지 않습니다. 그들은 집단으로 움직입니다. 전체 군중이 이동하는 것은 서로 간의 상호작용 때문입니다. 한 사람만 보면 안 됩니다. 사람 전체의 '구름'(분포) 을 보고 그 '전체 구름'이 어떻게 재형성될지 예측해야 합니다.

이 논문은 이를 **측도 간 회귀 (Measure-to-Measure, M2M Regression)**라고 부릅니다. 한 점의 이동 위치를 예측하는 대신, 전체 모양이나 점들의 구름이 새로운 모양으로 어떻게 변형되는지 예측하는 것입니다.

해결책: 군중 관리자로서의 "트랜스포머"

저자들은 이를 해결하기 위해 **트랜스포머 (Transformer)**라는 특정 유형의 AI(현대 챗봇 뒤의 기술과 동일) 를 사용하자고 제안합니다. 하지만 이를 특별한 방식으로 활용합니다.

표준 트랜스포머를 상상해 보세요. 이는 항목 목록을 보고 다른 항목들을 기반으로 각 항목에 무엇을 할지 결정하는 초정리된 관리자입니다.

마법 같은 점: 이 논문에서 트랜스포머는 단순히 목록을 보는 것이 아니라, 전체 군중을 단일 실체로 봅니다. "이 군중의 현재 모양을 고려할 때, 이 모양을 저 새로운 모양으로 바꾸기 위해 각 개인이 어떻게 움직여야 하는가?"라고 묻습니다.

논문은 이를 수행하는 두 가지 주요 방법을 소개합니다:

1. "스냅 (Snap)" 방식 (정적 트랜스포머)

시작 위치의 군중 사진과 완성된 위치의 군중 사진이 있다고 상상해 보세요.

작동 원리: AI 는 시작 사진을 보고 각 개인이 한 번에 거대한 점프로 목적지에 도달하도록 정확히 어디로 점프해야 하는지 알려주는 "마법 지도"를 즉시 계산합니다.
비유: 감독이 "모두, 지금 최종 위치로 점프해!"라고 외치자 군중이 즉시 새로운 포메이션으로 순간이동하는 것과 같습니다.
장단점: 빠르지만, 모든 사람을 위한 완벽한 "점프"를 한 번에 계산하는 것은 수학적으로 매우 어렵고 복잡할 수 있습니다.

2. "흐름 (Flow)" 방식 (동적 트랜스포머 / M2M-TFM)

이것이 이 논문의 주인공입니다. 거대한 점프 대신 군중이 유체나 강처럼 움직인다고 상상해 보세요.

작동 원리: AI 는 사람들이 어디로 점프할지 말해주지 않습니다. 대신 바람이나 흐름처럼 작용합니다. 군중을 밀어내는 "속도장 (velocity field)"—부드러운 바람—을 계산합니다.
- 시간 0 에는 바람이 약합니다.
- 시간 0.5 에는 바람이 특정 방향으로 더 강하게 밀어냅니다.
- 시간 1 에는 군중이 새로운 모양으로 부드럽게 흘러들어갑니다.
비유: 물병에서 물이 담긴 잔으로 물을 따르는 것을 생각해 보세요. 모든 물 분자에게 어디로 가라고 말하지 않습니다. 단지 물줄기의 흐름을 조절할 뿐이며, 물은 자연스럽게 잔을 채울 길을 찾습니다.
더 나은 이유: 논문은 이 "흐름" 방식이 훨씬 더 유연하고 정확하다고 보여줍니다. 시작점과 끝점을 단순히 암기하는 것이 아니라 움직임의 규칙을 학습합니다.

어디에서 테스트했나요?

저자들은 이론만 이야기하지 않았습니다. 그들은 "군중 관리자"를 세 가지 구체적인 도전 과제에서 테스트했습니다:

모양을 바꾸는 글자: "A"나 "B"와 같은 글자를 형성하는 점들의 구름을 가져와서 손상시켰습니다 (점들을 흩뿌림). AI 는 흩어진 점들을 올바른 글자 모양으로 다시 밀어넣는 방법을 배워야 했습니다. 그들의 "흐름" 방식이 이 부분에서 가장 뛰어났습니다.
시뮬레이션 물리학: 입자들이 상호작용하는 복잡한 시스템을 시뮬레이션했습니다 (예: "쿠라모토 모델", 이는 함께 흔들리는 진자들의 그룹과 같습니다). AI 는 시간이 지남에 따라 그룹이 어떻게 진화할지 예측해야 했습니다. 다시 한번 흐름 방식이 승리했습니다.
실제 생물학 (대장암): 이것이 가장 중요한 부분입니다. 그들은 환자 유래 오가노이드 (patient-derived organoids)—환자의 종양에서 자란 미세한 3 차원 세포 클러스터—데이터를 사용했습니다.
- 설정: 치료 전과 치료 후 환자의 세포 모양을 보여주는 데이터가 있었습니다.
- 목표: 그들은 9 명의 환자를 대상으로 AI 를 훈련시킨 후, 본 적이 없는 10 번째 환자에 대한 치료 반응을 예측하도록 요청했습니다.
- 결과: AI 는 성공적으로 이러한 특정 암 세포가 약물에 반응하는 "규칙"을 학습했으며, 이전 방법들보다 새로운 환자에 대한 결과를 더 잘 예측할 수 있었습니다.

결론

이 논문은 세포, 입자, 또는 군중처럼 함께 움직이는 그룹을 다룰 때는 그들을 개인으로 취급해서는 안 된다고 주장합니다. 대신 그들을 단일하고 이동하는 구름으로 취급해야 합니다.

트랜스포머를 "스냅" 지도나 "흐름" 흐름으로 작용하게 함으로써, 그들은 이러한 구름을 재형성하는 방법을 학습할 수 있는 도구를 만들었습니다. 그들의 "흐름" 접근법 (M2M-TFM) 은 특히 강력합니다. 전체 군중을 이동시키는 복잡한 문제를 부드럽고 단계적인 여정으로 분해하여 학습을 더 쉽게 하고, 완전히 새로운 상황에서도 예측을 더 정확하게 만들기 때문입니다.

기술적 요약: 트랜스포머를 활용한 측정 간 회귀

문제 정의

본 논문은 개별 데이터 포인트 간 매핑이 아닌 확률 측정 (probability measures) 간의 매핑을 학습하려는 측정 간 (Measure-to-Measure, M2M) 회귀 문제를 다룹니다. 세포 및 분자 생물학과 같은 많은 과학 분야에서 집단은 독립적인 개체가 아닌 집단으로 진화합니다. 따라서 데이터는 자연스럽게 점 구름 (point clouds) 또는 분포 (측도) $\mu$ 와 $\nu$ 로 표현됩니다. 목표는 유한한 관측 입력 - 출력 쌍 $\{(\mu_i, \nu_i)\}_{i=1}^n$ 이 주어졌을 때, $\nu = T^*(\mu)$ 가 되도록 연산자 $T^*: \mathcal{P}(\mathbb{R}^d) \to \mathcal{P}(\mathbb{R}^d)$ 를 학습하는 것입니다.

표본이 독립적으로 변환되는 고전적 회귀와 달리, M2M 회귀는 전체 분포를 기본 데이터 포인트로 취급합니다. 중요한 과제는 학습된 연산자가 훈련 중 관찰된 경험적 지지체 (empirical supports) 간 보간을 넘어, 다른 지지 크기나 매끄러운 극한을 가진 보이지 않는 측정 (unseen measures) 에도 일반화되어야 한다는 점입니다. 기존 접근법은 종종 표현력이나 확장성이 부족하여 복잡한 비선형 동역학에 적합하지 않은 제한된 함수 클래스 (예: 선형 수송 맵 또는 커널 방법) 에 의존합니다.

방법론

저자들은 트랜스포머의 고유한 측정 의존적 (measure-dependent) 및 평균장 (mean-field) 구조를 활용하여 확률 측정 연산자로 트랜스포머를 활용하는 것을 제안합니다. 자기 주의 (self-attention) 메커니즘을 통해 트랜스포머는 토큰 (입자) 집합을 집단으로 처리할 수 있으며, 이는 입력의 경험적 분포에 조건부 (conditioning) 로 출력을 생성하는 효과를 가집니다.

본 논문은 비선형 M2M 연산자를 $T(\mu) = (f_\mu)^\sharp \mu$ 형태의 푸시포워드 맵 (pushforward maps) 으로 공식화하며, 여기서 수송 맵 $f_\mu$ 는 명시적으로 소스 측정 $\mu$ 에 의존합니다. 두 가지 고유한 트랜스포머 기반 패러다임이 소개됩니다:

1. 정적 M2M 회귀 (한 단계 푸시포워드)

이 접근법은 트랜스포머로 매개변수화된 직접적인 단일 단계 맵 $F_\mu: \mathbb{R}^d \to \mathbb{R}^d$ 로 변환을 모델링합니다.

메커니즘: 트랜스포머는 입력 측정 $\mu$ 를 정의하는 입자 집합을 입력으로 받아, 목표 측정 $\nu$ 를 나타내는 변환된 입자 집합을 출력합니다.
훈련: 모델은 입력과 출력 측정 간의 결합 (couplings) $\gamma_i$ 에 대해 분포 손실 $D(F_\mu(x), y)$ 를 최소화하여 훈련됩니다. 저자들은 Sinkhorn 알고리즘을 통해 계산된 최대 평균 불일치 (MMD), 에너지 거리 (ED), 그리고 Wasserstein 거리 ( $W_1, W_2$ ) 를 포함한 다양한 손실 함수를 활용합니다.
한계: 고차원에서 분포 거리를 최적화하는 것은 통계적, 계산적으로 어렵습니다.

2. 동적 M2M 회귀 (트랜스포머 흐름 매칭 - M2M-TFM)

직접적인 분포 최적화의 어려움을 극복하기 위해, 저자들은 변환을 연속 시간 흐름으로 모델링하는 동적 접근법을 도입합니다.

메커니즘: 단일 맵 대신, 변환은 측정의 현재 상태에 의존하는 시간 의존 속도장 $\chi_t[\mu(t)]$ 로 정의됩니다. 측정의 진화는 연속 방정식 $\partial_t \mu(t) + \nabla \cdot (\mu(t) \chi_t[\mu(t)]) = 0$ 에 의해 지배됩니다. 최종 출력은 $t=0$ 에서 $t=1$ 까지 이 상미분 방정식 (ODE) 을 적분하여 얻습니다.
아키텍처: 시간 의존 트랜스포머가 속도장 $\chi_t$ 를 매개변수화합니다. 트랜스포머는 현재 입자 집합과 시간 단계 $t$ 를 처리하여 각 입자에 대한 속도 벡터를 예측합니다.
훈련 (M2M-TFM): 이 방법은 조건부 흐름 매칭 (Conditional Flow Matching, CFM) 을 사용합니다. 소스 및 목표 입자 간의 선형 보간 경로 $\phi_t(x, y) = (1-t)x + ty$ 의 목표 속도와 속도장이 일치하도록 훈련합니다. 손실 함수는 측정 쌍 데이터셋에 대해 주변화 (marginalized) 된 예측 속도와 목표 속도 $(y-x)$ 간의 제곱 오차를 최소화합니다. 이는 어려운 분포 최적화 문제를 처리 가능한 점별 회귀 작업으로 변환합니다.
추론: 새로운 입력 측정이 주어지면, 모델은 예측된 출력 측정을 생성하기 위해 ODE 궤적을 단계별로 시뮬레이션합니다.

주요 기여

공식화: 본 논문은 확률 측정 공간 $\mathcal{P}(\mathbb{R}^d)$ 에서의 연산자 학습으로서 비선형 M2M 회귀를 엄격하게 공식화하여, 직접적 매핑과 연속 시간 동역학을 구분합니다.
새로운 프레임워크: 확장 가능하고 표현력 있는 두 가지 접근법을 도입합니다:
- 정적 트랜스포머: 표준 트랜스포머를 사용하여 M2M 맵을 직접 근사합니다.
- M2M-TFM: 흐름 매칭을 트랜스포머의 측정 의존적 특성과 통합하는 동적 프레임워크로, 훈련 중 명시적인 분포 손실 최적화가 필요하지 않습니다.
실증적 검증: 저자들은 세 가지 다른 설정에서 이러한 방법의 효과성을 입증합니다:
- 합성 다중 측정 객체: 문자 모양 및 다중 객체 구성에 대한 확산 및 커널 상호작용 과정의 역변환을 예측합니다.
- 맥키 - 블라소프 (McKean-Vlasov) 시스템: 2D, 50D, 100D 시스템 (쿠라모토, 피츠휴 - 나구모, 평균장 아틀라스) 에서 인구 동역학의 진화를 예측합니다.
- 실제 응용: 대규모 환자 유래 장기체 (PDO) 데이터셋을 사용하여 대장암의 치료 반응을 예측하며, 여기서 모델은 보이지 않는 환자에게 일반화되어야 합니다.

결과

제안된 방법, 특히 동적 M2M-TFM은 모든 실험 설정에서 기존 베이스라인을 일관되게 능가합니다:

합성 객체: M2M-TFM 은 조건부 흐름 매칭 (CFM), 메타 흐름 매칭 (Meta-FM), 그리고 Wasserstein 흐름 매칭 (WFM) 을 크게 능가하는 가장 낮은 Wasserstein ( $W_1$ ) 및 에너지 거리 (ED) 오차를 달성했습니다.
맥키 - 블라소프 시스템: 고차원 (100D) 설정에서 M2M-TFM 은 신경 맥키 - 블라소프 (NMKV) 및 평균장 트랜스포머 (MF-Transformer) 에 비해 우수한 일반화 능력과 표현력을 보여주었으며, 종종 오차를 상당한 폭으로 감소시켰습니다.
생물학적 응용: 대장암 데이터셋에서 M2M-TFM 은 모든 지표 ( $W_1$ , ED, $r^2$ ) 에서 균형 잡힌 성능을 보인 반면, 정적 방법은 특정 손실 함수에 해당하는 지표에서만 우수한 성능을 보였습니다. M2M-TFM 은 가장 높은 $r^2$ (0.9029) 와 경쟁력 있는 $W_1$ 점수를 달성하여 보이지 않는 환자에 대한 강력한 일반화를 나타냈습니다.

중요성 및 주장

본 논문은 트랜스포머가 측정 의존적 동역학을 모델링하는 고유한 능력을 바탕으로 M2M 회귀에 자연스럽고 강력한 아키텍처라고 주장합니다. $\mathcal{P}(\mathbb{R}^d)$ 상의 연산자라는 렌즈를 통해 문제를 공식화함으로써, 저자들은 트랜스포머의 이론적 평균장 극한과 실제 응용 사이의 간극을 메웠습니다.

주요 중요성은 M2M-TFM 프레임워크에 있으며, 이는 M2M 회귀 문제에 대한 확장 가능하고 표현력 있는 해결책을 제공합니다. 복잡한 분포 연산자의 학습을 속도장에서의 점별 회귀로 축소함으로써, 이 방법은 분포 거리를 직접 최적화할 때 발생하는 차원의 저주를 피합니다. 저자들은 이 작업을 과학적 응용 분야에서 집단 동역학을 모델링하기 위한 다목적 기반으로 위치시키며, 특히 데이터가 본질적으로 분포되어 있는 세포 진화 및 치료 반응 예측에서의 성공을 강조합니다.

본 논문은 이론적 보장에 대해서는 겸손하게 접근하며, 심층 트랜스포머가 M2M 맵에 대한 보편적 근사기임은 알려져 있지만, 흐름 매칭 프레임워크 하에서 벡터장 모델을 통한 비선형 연산자 학습에 대한 공식적 보장은 향후 연구의 열린 방향임을 지적합니다. 마찬가지로, 현재 구현은 선형 보간 경로와 결정론적 동역학을 가정하므로, 비선형, 확률적, 그리고 불균형 설정으로의 확장은 향후 연구 과제로 남깁니다.