🤖 machine learning

Path-dependent Discrete Amortized Inference

이 논문은 표준적인 마르코프 가정을 학습 가능한 잠재 역학계로 대체함으로써 비정규화된 사후 확률로부터의 이산 샘플링을 향상시키는 방법론인 "경로 의존적 이산 아모티제이션 추론(Path-dependent Discrete Amortized Inference)"을 제안하며, 이를 통해 정책이 전체 궤적 이력을 활용하여 상태 에일리어싱을 극복하고 수렴과 탐색을 개선할 수 있도록 한다.

원저자: Tiago da Silva, Esmeralda S. Whitammer, Salem Lahlou

게시일 2026-08-11

📖 5 분 읽기🧠 심층 분석

CC0 1.0

원저자: Tiago da Silva, Esmeralda S. Whitammer, Salem Lahlou

원본 논문은 CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/)에 따라 공공 도메인에 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 레고 성이나 DNA 가닥처럼 복잡한 구조물을 한 조각씩 만드는 법을 가르치려 한다고 상상해 보세요. 로봇에게는 어떤 완성된 구조물이 가장 가치 있는지를 알려주는 "목표 시트"(수학적 지도)가 있습니다. 과제는 로봇이 단순히 최고의 성을 고르는 것이 아니라, 그곳에 도달하기 위해 수백만 개의 작은 결정을 내려야 한다는 점입니다. 인공지능의 세계에서 이것은 "분포로부터 샘플링하는 것(sampling from a distribution)"이라고 불립니다. 매끄럽고 연속적인 것(곡선을 그리는 것과 같은)의 경우, 컴퓨터는 이를 수행할 강력한 도구들을 가지고 있습니다. 하지만 작업이 이산적이고 블록 형태인 것(그래프, 문장, 또는 화학 분자와 같은)을 만드는 것과 관련될 때, 상황은 복잡해집니다. 가능성의 공간이 너무 거대하고 울퉁불퉁해서 표준적인 방법들은 종종 막히거나, 혼란에 빠지거나, 최선의 설계를 찾는 데 실패합니다. 여기서 "GFlowNets"라고 불리는 새로운 방법이 등장합니다. GFlowNets를 복잡한 구조물을 만드는 똑똑한 건설 팀이라고 생각해보세요. 이 팀은 모든 단계가 마르코프 결정 과정(MDP)의 하나의 '수(move)'가 되는 게임처럼 객체를 구축하는 법을 배웁니다. 이 게임에서 로봇은 다음 수를 결정하기 위해 오직 현재의 상태만을 바라보며, 어떻게 그 상태에 도달했는지에 대한 이력은 무시합니다.

하지만 여기에는 함정이 있습니다. 인간 건축가가 세 단계 전에 잘못된 길로 들었다는 사실을 잊어버리고 계속해서 같은 실수를 반복할 수 있는 것처럼, 현재의 상태만을 보는 로봇은 혼란에 빠질 수 있습니다. 이를 "상태 에일리어싱(state aliasing)"이라고 하며, 서로 매우 다른 구축 이력이 로봇에게는 똑같이 보이는 현상을 말합니다. 로봇은 두 가지 다른 구축 이력이 동일하게 보이기 때문에 혼란을 겪고, 올바른 걸작을 만들기 위한 전략을 배우지 못하게 됩니다. 당신이 읽게 될 논문은 바로 이 구체적인 문제를 다룹니다. 저자인 티아고 다 실바(Tiago da Silva)와 동료들은 "현재 상태만을 보라"는 규칙이 너무 제한적이라고 주장합니다. 그들은 이 건설자들을 가르치는 새로운 방법, 즉 기억력을 부여하는 방법을 제안합니다. 단순히 현재의 레고 탑을 보는 대신, 로봇이 그 탑을 구축해 온 전체 경로를 기억해야 한다는 것입니다. "잠재 역학계(latent dynamical system)"—즉, 로봇이 구조물을 만들면서 업데이트되는 내장된 기억 장치—를 추가함으로써, 그들은 로봇이 훨씬 더 빠르게 학습하고 더 복잡한 구조물을 만들 수 있음을 보여줍니다. 그들은 수학적으로 이 "경로 의존적(path-dependent)" 접근 방식이 기존의 "기억 상실형(memory-less)" 접근 방식이 해결할 수 없는 문제들을 해결할 수 있음을 증명하며, 실험을 통해 이것이 표준 테스트에서 더 잘 작동함을 보여줍니다.

문제점: 기억상실증에 걸린 로봇

당신이 블록으로 탑을 쌓는 게임을 하고 있다고 상상해 보세요. 당신은 바닥에서 시작하며, 매 단계마다 왼쪽이나 오른쪽에 블록을 추가하거나 멈출 수 있습니다. 당신의 목표는 특정하고 복잡한 색상 패턴에 맞는 탑을 쌓는 것입니다.

기존의 방식(이를 마르코프(Markovian) 방식이라 부릅니다)에서는, 탑을 만드는 로봇은 오직 현재 상태의 탑만을 봅니다. 로봇은 빨간 블록을 먼저 놓았는지 파란 블록을 먼저 놓았는지 기억하지 못하며, 오직 현재의 모양만을 봅니다. 이는 단순한 탑을 만드는 데는 문제가 없습니다. 하지만 까다로운 상황을 가정해 봅시다. 10단계에서 모양은 똑같지만, 한 경로는 아름다운 걸작으로 이어지고 다른 경로는 흔들거리는 엉망진창인 탑으로 이어지는 두 가지 서로 다른 구축 방법이 있다고 해봅시다. 로봇은 10단계에서 동일한 모양만을 보기 때문에 그 차이를 구분할 수 없습니다. 이는 마치 기억상실증과 같습니다. 논문에서 저자들은 이를 **상태 에일리어싱(state aliasing)**이라고 부릅니다. 로봇은 서로 다른 이력이 동일하게 보이기 때문에 혼란을 겪으며, 걸작을 만들기 위한 올바른 전략을 배울 수 없게 됩니다.

저자들은 이것이 단순한 작은 오류가 아니라 근본적인 한계임을 보여줍니다. 설령 로봇에게 초지능적인 뇌(심층 신경망)를 준다 하더라도, 현재 상태만을 보도록 강제된다면, 로봇은 특정 복잡한 퍼즐을 해결하는 법을 배우는 것이 물리적으로 불가능합니다. 그들은 수학적으로 이를 증명했는데, "기억 상실형" 로봇은 가능성의 상자에 갇혀 있는 반면, 기억을 가진 로봇은 훨씬 더 큰 상자에서 놀 수 있다는 것을 보여주었습니다.

해결책: 로봇에게 일기장을 주다

이를 해결하기 위해, 저자들은 **경로 의존적 이산적 아모티제이션 추론(Path-Dependent Discrete Amortized Inference)**이라는 새로운 방법을 도입했습니다. 이제 로봇은 단순히 현재의 탑을 보는 것이 아니라, 일기장(또는 "잠재 역학계")을 지니고 있습니다.

로봇이 블록을 추가할 때마다, 단순히 탑을 업데이트하는 것이 아니라 자신의 일기장도 함께 업데이트합니다. 일기장은 탑이 어떻게 구축되었는지에 대한 전체 여정을 기록합니다. 로봇이 다음 행동을 결정해야 할 때, 탑과 자신의 일기장을 모두 살펴봅니다.

이것은 마치 사건을 해결하는 탐정과 같습니다. 기억이 없는 탐정은 현재의 범죄 현장만을 봅니다. 하지만 경로 의존적인 탐정은 범죄 현장과 그 현장에 이르게 된 사건의 타임라인을 함께 봅니다. 일기장이 있으면, 로봇은 비록 탑의 모양이 같더라도 "아, 이 모양을 알겠어! 하지만 내 일기장을 보니 세 단계 전에 왼쪽으로 꺾었구나. 그러니 지금은 빨간색이 아니라 파란색 블록을 놓아야 해"라고 말할 수 있습니다.

저자들은 단순히 이것이 효과가 있을 것이라고 추측한 것이 아니라, **자기 참조 가중치 행렬(Self-Referential Weight Matrix, SRWM)**이라는 영리한 수학적 기법을 사용하여 특수한 형태의 "일기장"을 구축했습니다. 이것은 로봇이 구조물을 만들 때마다 스스로 업데이트되며, 고유한 이력을 추적하기 위해 내부 상태를 회전시키고 이동시키는 특수한 종류의 기억입니다. 이는 마치 당신이 새로운 기록을 남길 때마다 비밀 코드로 자신의 페이지를 다시 쓰는 일기장과 같아서, 어떤 두 이력도 서로 뒤섞이지 않도록 보장합니다.

발견한 점: 더 빠르고 똑똑한 건설자들

연구팀은 숫자 집합, DNA 서열 설계, 그리드 월드 탐색 등 여러 표준적인 도전 과제들을 통해 새로운 "경로 의존적" 로봇을 기존의 "기억 상실형" 로봇과 비교 테스트했습니다.

불가능한 것을 해결하기: 일부 실험에서 기억 상실형 로봇은 올바른 패턴을 학습하는 데 완전히 실패했습니다. 서로 다른 경로를 구분할 수 없었기 때문에 계속해서 잘못된 것을 만들었습니다. 그러나 경로 의존적 로봇은 패턴을 완벽하게 학습했습니다. 저자들은 특정 유형의 문제에 대해 기억 상실형 로봇은 올바른 답을 얻도록 훈련하는 것이 수학적으로 불가능하며, 경로 의존적 로봇은 가능하다는 것을 증명했습니다.
속도 향상: 기억 상실형 로봇이 결국 정답을 배울 수 있는 경우라 할지라도, 시간이 매우 오래 걸렸습니다. 경로 의존적 로봇은 훨씬 더 빠르게 학습했습니다. 한 테스트에서 기억 상실형 로봇은 경로 의존적 로봇이 거의 즉시 파악해낸 두 유사한 상태 사이의 차이를 파악하기 위해 약 100배 더 많은 훈련 단계가 필요했습니다.
더 나은 결과: 로봇의 출력이 완벽한 목표에 얼마나 근접했는지 측정했을 때, 경로 의존적 로봇이 일관되게 더 높은 성과를 보였습니다. 숫자 집합을 생성하든, DNA 서열을 설계하든, 혹은 그리드를 탐색하든, 일기장을 가진 로봇은 더 높은 품질의 결과를 만들어냈습니다.

핵심 요약

이 논문은 우리가 AI에게 복잡한 단계별 객체를 만드는 법을 가르칠 때, 과거를 잊게 만드는 것이 좋지 않은 아이디어라는 점을 시사합니다. AI에게 전체 여정에 대한 "기억"을 부여함으로써, 우리는 더 높은 수준의 지능을 끌어낼 수 있습니다. 저자들은 이것이 단순히 있으면 좋은 기능이 아니라, 이전에는 손이 닿지 않았던 문제들을 해결하기 위해 반드시 필요한 업그레이드임을 증명했습니다. 그들은 경로 의존적 접근 방식이 전통적인 방식보다 엄격하게 더 강력하고 효율적이라는 것을 단순한 추측이 아닌 엄밀한 수학과 컴퓨터 시뮬레이션을 통해 보여주었습니다.

그러므로 다음에 AI가 복잡한 무언가를 만들려고 하는 것을 보게 된다면, 그것은 단지 현재 보이는 것뿐만이 아니라는 점을 기억하세요. 그것은 자신이 어떻게 그곳에 도달했는지를 기억하는 것에 관한 것입니다. 그리고 약간의 기억력만 있다면, 그것은 이전에는 불가능했던 경이로운 것들을 만들어낼 수 있습니다.

기술 요약: 경로 의존적 이산 아모티제이션 추론 (Path-dependent Discrete Amortized Inference)

문제 정의

본 논문은 주어진 비정규화된 사후 분포(unnormalized posterior distribution)로부터 구성적이고 이산적인 객체(예: 그래프, 시퀀스, 계통수)를 샘플링하는 과제를 다룹다. 최근 Generative Flow Networks (GFFlowNets)의 발전은 이를 객체를 단계별로 구축하는 마르코프 결정 과정(MDP)을 학습하는 것으로 프레임워크화했으나, 저자들은 표준 마르코프 가정의 결정적인 한계를 지적한다. 구체적으로, 정책이 현재 상태에만 의존하는 마르코프 성질은 훈련 중 신호 전파를 방해하고 **상태 에일리어싱(state aliasing)**을 유발할 수 있다. 상태 에일liasing에서, 서로 다른 상태들이 에이전트에게 표현론적으로 구별 불가능해지며, 이로 인해 학습된 샘플러가 동일한 상태로 수렴하는 서로 다른 궤적들에 대해 최적의 행동을 구별하는 데 실패하게 된다. 이 문제는 보상이 희소하거나 구조적 의존성이 복잡한 환경에서 특히 두드러지며, 표준 딥 뉴럴 네트워크가 최적의 정책을 표현할 만큼의 표현력을 갖추지 못할 때 발생한다.

방법론

이러한 한계를 극복하기 위해, 저자들은 경로 의존적 이산 아모티제이션 추 inference를 제안한다. 핵심 방법론은 학습 가능한 상태 조건부 잠재 역학계(latent dynamical system) $\{W_t\}_{t \ge 1}$ 를 도입하여 원래의 MDP 상태 공간을 "리프팅(lifting)"하는 것이다.

1. 리프팅된 포인티드 DAG (Lifted Pointed DAG)

표준 상태 그래프 $G = (S, X, E)$ 대신, 이 방법은 리프팅된 포인티드 DAG $G^\star$ 상에서 작동한다. 상태 공간은 $S$ 에서 $S^\star \subseteq S \times \Omega$ 로 확장되며, 여기서 $\Omega$ 는 잠재 공간(일반적으로 $\mathbb{R}^d$ )이다.

잠재 역학 (Latent Dynamics): 잠재 변수 $W_t$ 는 학습 가능한 벡터장 $\phi$ 를 통해 현재 상태 $s_t$ 와 이전 잠재 상태 $W_{t-1}$ 에 따라 결정론적으로 진화한다:
$W_t = W_{t-1} + \phi(s_t, W_{t-1})$
정책 의존성 (Policy Dependence): 순방향 정책 $p_F$ 는 $(s_t, W_t)$ 쌍에 조건화되어 경로 의존적이 된다. 이를 통해 정책은 동일한 상태 $s_t$ 로 이어지는 서로 다른 궤적들을 구별할 수 있으며, 결과적으로 원래 상태 공간의 마르코프 제약을 깨뜨릴 수 있다.

2. 아키텍처: 자기 참조 가중치 행렬 (Self-Referential Weight Matrix, SRWM)

잠재 역학계를 효율적으로 구현하기 위해, 저자들은 수정된 **자기 참조 가중치 행렬 (SRWM)**을 활용한다.

잠재 상태(가중치 행렬 $W_t$ 로 표현됨)의 업데이트 규칙은 특정 재귀를 따른다:
$q_t, k_t, v_t, \beta_t = W \psi(s_t) + b$
$\bar{v}_t = W_{t-1} \zeta(k_t)$
$W_t = W_{t-1} R + \sigma(\beta_t) \cdot (v_t - \bar{v}_t) \otimes \zeta(q_t)$
핵심 메커니즘: 고정된 에르고딕(ergodic) 회전 행렬 $R$ 의 포함이 매우 중요하다. 이는 궤적 롤아웃 동안 가중치 행렬의 고유벡터를 회전시킨다. 이 메커리즘은 정책의 은닉 표현의 다양성을 강제하도록 설계되었으며, 이를 통해 LSTM이나 GRU와 같은 표준 순환 신경망보다 상태 에일리어싱을 더 효과적으로 완화한다.

3. 학습 목적 함수 (Learning Objectives)

저자들은 기존의 GFlowNet 학습 알고리즘이 이 리프팅된 설정으로 확장될 수 있음을 증명한다. 그들은 궤적 균형 (Trajectory Balance, TB), 부분 궤적 균형 (Subtrajectory Balance, SubTB), 그리고 대조 균형 (Contrastive Balance, CB) 조건이 리프팅된 DAG에서도 여전히 유효함을 입증한다.

학습 과정은 좌변과 우변의 로그 제곱 차이의 기댓값을 최소화한다.
결정적으로, 벡터장 $\phi$ 와 정책 네트워크는 단일 손실 함수에 대한 확률적 경사 하강법을 통해 공동으로 학습된다.
이론적 결과(Proposition 4.8)에 따르면, 만약 역방향 정책 $p_B$ 가 마르코프적(즉, $W_t$ 와 독립적)이라면, 최적의 순방향 정책 $p_F$ 역시 리프팅되지 않은 상태에 대해 마르코프적일 것이다. 그러나 $p_B$ 가 경로 의존적일 경우, $p_F$ 는 더 나은 표현력을 달성하기 위해 전체 이력을 활용할 수 있다.

주요 기여

경로 의존적 알고리즘: 마르코프 샘플러의 표현력 한계를 명시적으로 해결하며, 이산 및 구성적 공간에서의 아모티제이션 추론을 위한 범용적인 경로 의존적 알고리즘을 도입하였다.
이론적 표현력 증명:
- 선형 정책: 저자들은 선형 정책에 대해, 경로 의존적 설정에서의 학습 가능한 분포 공간이 마르코프적 설정보다 엄격하게 더 크다는 것을 증명한다 (Proposition 3.1).
- GNN 정책: 이를 GNN으로 확장하여, 경로 의존적 파라미터화가 1-WL GNN이 구분할 수 없는 상태(예: 서로 다른 시간에 추가된 엣지 구분)를 구분할 수 있음을 보여줌으로써 표현력을 엄격하게 향상시킨다 (Proposition 3.2).
학습 이론의 확장: 기존 GFlowNet 학습 목적 함수(TB, SubTB, CB)가 리프팅된 경로 의존적 설정에서도 올바른 샘플링을 보장하기에 충분하다는 것을 공식적으로 증명한다 (Proposition 4.5 및 Corollary 4.6, 4.7).
실험적 검증: 표준 벤치마크(Set Generation, Sequence Design, Grid World, Ising Models 등)에 대한 광범위한 실험을 통해, 경로 의존적 접근 방식이 유사한 파라미터의 마르코프 모델에 비해 더 빠른 수렴과 더 나은 적합도(Total Variation distance 및 Flow Consistency Score로 측정)를 달성함을 입증하였다.

결과

실험적 분석은 다음과 같은 일관된 발견을 강조한다:

표현력: "LINES" 환경과 그래프 구조 작업에서, 마르코프 샘플러는 비균등 분포를 학습하거나 구조적으로 유사한 상태를 구별하는 데 실패했으나, 경로 의존적 모델은 거의 완벽한 적합도를 달 achievement 했다.
수렴 속도: 경로 의존적 모델은 일관되게 더 빠르게 수렴했다. 예를 들어, 희소한 LINES 환경에서 마르코프 ReLU 네트워크는 경로 의존적 대응 모델에 비해 별개의 상태를 위한 정책을 분리하는 데 약 100배 더 많은 반복 횟수가 소요되었다.
아키텍처 효율성: 회전 행렬을 가진 SRWM은 회전 메커니즘을 통한 상태 에일리어싱 완화 능력 덕분에 수렴 속도와 최종 성능 측면에서 표준 게이트형 RNN(LSTM, GRU)보다 우수한 성능을 보였다.
강건성: 이 방법은 생물학적 시퀀스 설계(DNA 결합 친화도), 선호도 학습, Ising 모델 시뮬레이션을 포함한 다양한 작업에서 우수한 성능을 보여주었다.

의의 및 주장

본 논문은 연속 공간에 모멘텀 변수를 추가하여 수렴을 가속화하는 해밀토니안 몬테카를로(HMC)와 유사하게, 잠재 역학계로 상태 공간을 리프팅하는 것이 이산 아모티제이션 샘플링을 위한 필수적인 전략이라고 주장한다. 저자들의 주장은 다음과 같다:

상태 에일리어싱은 근본적인 병목 현상이다: 궤적 이력을 바탕으로 상태를 구별하지 못하는 마르코프 샘플러의 무능력은 복잡한 구성적 공간에서 낮은 성능의 주요 원인이다.
경로 의존성은 증명 가능한 우월성을 가진다: 이론적 결과는 경로 의존적 파라미터화가 학습 가능한 분포의 가설 집합을 엄격하게 확장함을 확인시켜 준다.
실용적 적용 가능성: 제안된 방법은 상태 표현의 수정과 리프팅된 공간에서도 유효한 특정 학습 목적 함수의 사용만을 요구하므로, 표준 GFlowNet 훈련의 드롭인 교체(drop-in replacement)가 가능하다.

저자들은 부분 관측 가능 MDP(POMDP)를 위해 설계된 알고리즘들이 이산 아모티제이션 샘플링에 적합하다고 결론짓는다. 또한, 본 연구에서는 결정론적 잠재 역학에 집중했으나, 확률적 역학의 타당성은 향-후 연구를 위한 열린 과제로 남겨둔다고 언급하였다. 이 연구는 모든 이산 샘플링 문제를 해결한다고 주장하는 것이 아니라, 현재의 마르코프적 접근 방식이 가진 구체적인 한계를 완화하기 위한 일반적인 프레임워크를 제공하는 데 목적이 있다.