🤖 machine learning

Generative Modeling of Discrete Latent Structures via Dynamic Policy Gradients

이 논문은 간접적인 관측으로부터 조합론적 기계론적 잠재 상태를 정확하게 추론하기 위해 동적으로 재조정된 보상을 활용하는 정책 학습 프레임워크인 GReinSS를 소개하며, 이는 합성 벤치마크와 실제 RNA 아이소폼 재구성 모두에서 기존 방법들을 능가한다.

원저자: Stefan Ivanovic, Ge Liu, Mohammed El-Kebir

게시일 2026-06-08

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Stefan Ivanovic, Ge Liu, Mohammed El-Kebir

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

개요: 단서 없이 미스터리를 해결하기

당신이 범죄를 해결하려는 탐정이라고 상상해 보세요. 당신은 범인(잠재 상태, latent state)이나 범죄 현장을 직접 보지 못합니다. 대신, 진흙 묻은 발자국이나 찢어진 천 조각처럼 남겨진 흐릿하고 간접적인 단서들(간접 관측값, indirect observations)만을 가지고 있습니다.

당신의 목표는 오직 이 단서들만을 바탕으로 범인이 정확히 어떻게 생겼고 무엇을 했는지 알아내는 것입니다.

과학계에서도 이런 일이 자주 일어납니다. 과학자들은 데이터(예: 세포의 RNA 조각)를 가지고 있지만, 그 데이터를 만들어낸 숨겨진 생물학적 구조(예: 단백질의 전체 형태)를 파악해야 합니다.

문제점: "너무 많은 선택지"라는 함정

이 논문은 이러한 미스터리를 해결하는 기존 방식들에 두 가지 주요 결함이 있다고 주장합니다.

"추측하고 확인하기" 방식 (고전 통계학): 마치 도시 크기만 한 건초더미에서 특정 바늘 하나를 찾는 것과 같습니다. 전통적인 수학적 방법은 모든 건초 조각을 일일이 확인하려고 시도합니다. 하지만 가능성의 수가 엄청나게 많아지면(조합론적으로 거대해지면), 이 과정은 영원히 끝나지 않으며 컴퓨터를 다운시켜 버립니다.
"가짜 단서" 방식 (표준 AI): 현대의 AI(Variational Autoencoders와 같은 모델)는 패턴을 찾는 데 뛰어나지만, 종종 자신만의 "가짜" 숨겨진 상태를 만들어냅니다. 이는 마치 탐정이 진흙 묻은 발자국은 무시한 채, 실제 범인은 아닐지라도 이야기와 그럴듯하게 맞아떨어지는 가짜 용의자를 만들어내는 것과 같습니다. AI는 수학적인 적합성을 찾아내지만, 실제 정답(ground truth)을 재구성하지는 못합니다.

해결책: GReinSS (동적인 점수판을 가진 똑똑한 탐정)

저자들은 GReinSS(Generative Reinforcement Learning of Structured States)를 소개합니다. GReinSS를 게임 전략을 사용하여 사건을 해결하는 탐정이라고 생각해 보세요.

작동 방식은 다음과 같습니다.

1. 탐정이 게임을 플레이함 (정책 학습)

모든 가능성을 일일이 확인하는 대신, 탐정(AI)은 용의자를 생성하는 '게임'을 하는 법을 배웁니다. 용의자를 조각별로(예: 모자를 쓰고, 그다음 코트를 입히고, 그다음 가면을 씌우는 식으로) 하나씩 만들어 나갑니다. 이를 **정책(policy)**이라고 합니다.

2. 동적인 점수판 (비법)

일반적인 비디오 게임에서는 목표물을 맞히면 점수를 얻습니다. 목표를 맞히면 보상을 받습니다.

기존 방식: 만약 어떤 용의자가 단서에 완벽하게 부합한다면, AI는 그 하나의 용서만을 계속해서 반복해서 생성할 것입니다. 이는 부분적으로는 사실일 수 있는 다른 가능성들을 무시하게 만듭니다.
GReinSS 방식: 저자들은 **동적인 보상 시스템(dynamic reward system)**을 발명했습니다. 게임이 진행되는 동안 규칙이 변하는 점수판을 상상해 보세요.
- 만약 AI가 모든 단서를 잘 설명하는 용의자를 생성하면, 큰 보상을 받습니다.
- 하지만 여기에는 기술이 있습니다. 보상은 **재조정(rescaled)**됩니다. 만약 AI가 특정 단서 하나를 설명하는 데 너무 몰두한다면, 그 단서에 대한 보상은 줄어들고, 다른 단서들을 설명하는 것에 대한 보상은 높아집니다.

이 방식은 AI가 하나의 완벽한 추측에 집착하는 것을 멈추고, 대신 **균형 잡힌 분포(balanced distribution)**를 학습하도록 강제합니다. 즉, AI가 "범인은 60%의 확률로 모자를 썼고, 40%의 확률로는 쓰지 않았다"라고 말할 수 있게 학습시키는 것입니다. 이는 단순히 하나의 고정된 답을 선택하는 것이 아니라, 데이터가 만들어낸 실제 다양성을 재구성할 수 있게 해줍니다.

결과: 성공했는가?

논문은 이 탐정을 세 가지 시나리오에서 테스트했습니다.

지도 미스터리 (그래프 추론):
- 설정: AI는 보이지 않는 자동차들이 이동한 무작위 경로(random walks)의 시작점과 끝점 목록만을 바탕으로, 숨겨진 도시 지도(그래프)의 레이아웃을 추측해야 했습니다.
- 결과: GReinSS는 기존 방식들보다 지도를 훨씬 더 잘 재구성했습니다. 단서가 매우 부족할 때(무작위 경로가 10개뿐일 때)도 GReinSS는 정확도를 유지했지만, 다른 방법들은 완전히 실패했습니다.
상자 미스터리 (집합 추론):
- 설정: AI는 노이즈가 섞인 측정값(예: 무게를 약간 틀리게 알려주는 저울)을 바탕으로 숨겨진 상자 안에 어떤 아이템들이 들어있는지(집합) 추측해야 했습니다.
- 결과: GReinSS는 컴퓨터가 다운되거나 정확도를 잃지 않고도 수천 개의 아이템이 담긴 거대한 상자를 다룰 수 있는 유일한 방법이었습니다. 다른 방법들은 상자가 커질수록 혼란에 빠졌습니다.
실제 사례 테스트: RNA 스플라이싱 ("생명의 자르고 붙이기")
- 설정: 이것은 가장 실용적인 테스트입니다. 세포는 RNA 조각(엑손, exons)을 자르고 붙여서 단백질을 만듭니다. 서로 다른 방식으로 자르면 서로 다른 버전의 단백질(isoform)이 생성됩니다.
- 문제: 과학자들은 짧고 저렴한 RNA 조각(short-reads)을 가지고 있지만, 이로부터 전체 길이를 가진 단백질 형태를 알아내야 합니다. 이 분야의 표준 도구는 RSEM이라고 불립니다.
- 결과: 저자들은 실제 인간 조직 데이터를 사용하여 GReinSS를 RSEM과 비교했습니다. 그들은 '롱 리드(long-read)' 시퀀싱(전체 단백질을 직접 관찰하여 정답으로 간주되는 방식)을 기준으로 정답을 확인했습니다.
- GReinSS가 승리했습니다. G

GReinSS는 RSEM보다 올바른 단백질 버전과 그 비율을 훨씬 더 정확하게 예측했습니다. 예를 들어, 한 테스트에서 RSEM은 잘못된 단백질 혼합물을 예측할 확률이 53%였던 반면, G-

GReinSS는 오차가 1% 미만이었습니다.

핵심 요약

이 논문은 GReinSS가 복잡하고 숨겨진 구조(지도, 아이템 집합, 또는 단백질 형태 등)를 다루면서 간접적이고 노이즈가 섞인 단서만을 가진 과학적 미스터리를 해결하는 강력하고 새로운 방법이라고 주장합니다.

모든 데이터에 걸쳐 자신의 추측을 균형 있게 배분하도록 강제하는 동적 보상 시스템을 사용함으로써, GReinSS는 전통적인 통계학이나 표준 AI 모델보다 실제 숨겨진 현실을 더 잘 재구성할 수 있습니다. 이는 '숨겨진 상태를 추측하는 문제'를 AI가 이길 수 있는 하나의 게임으로 바꿉니다. 설령 가능성의 수가 천문학적으로 많더라도 말입니다.

기술 요약: 동적 정책 경사(Dynamic Policy Gradients)를 통한 이산적 잠재 구조의 생성 모델링

문제 정의

본 논문은 과학적 영역에서 간접적인 관측값( $X$ )으로부터 관찰되지 않은 기계론적 잠재 상태( $S^*$ )를 추론하는 과제를 다룹니다. 이때 잠재 공간은 조합론적으로 매우 거대합니다. 일반적인 비지도 학습(예: 클러스터링 또는 토픽 모델링)이 인위적인 잠한 표현을 학습하는 것과 달리, 본 연구는 화학 반응 경로, 운송 네트워크, 또는 유전자 아이소폼(isoform)과 같은 실제 근거가 있는 기계론적 상태를 재구성하는 데 초점을 맞춥니다.

핵심 문제는 관측된 데이터 $X_{1:N}$ 의 가능도(likelihood)를 최대화하는 생성 분포 $Pr(S|\theta)$ 에 대한 모델 파라미터 $\theta$ 를 찾는 학습 문제(Problem 2.1)로 정식화됩니다. 여기서 $Pr(X|\theta) = \sum_{S} Pr(X|S)Pr(S|\theta)$ 입니다. 부차적인 추론 작업(Problem 2.2)은 각 관측치 $X_i$ 에 대한 특정 잠재 상태 $\hat{S}_i$ 를 추정하는 것을 포함합니다.

고전적인 접근 방식인 기대값 최대화(Expectation Maximization, EM)는 지수적으로 거대한 상태 공간에 대한 기댓값을 계산해야 하는 E-step 단계에서 어려움을 겪으며, 이는 종종 계산 불가능한 문제가 됩니다. 강화 학습(RL)은 구조화된 상태의 순차적 생성을 위해 자연스럽게 적합하지만, 표준 정책 경사(policy gradient)는 간접적인 관측값의 주변 가능도가 아닌 정적인 보상 함수 하에서의 기대 보상을 최적화합니다.

방법론: GReinSS

저자들은 간접 관측값의 주변 가능도를 최적화하도록 정책 경사를 변형한 프레임워크인 GReinSS(Generative Reinforcement Learning of Structured States)를 소개합니다.

동적 보상 재스케일링 (Dynamic Reward Rescaling)

중심적인 혁신은 동적으로 재스케일링된 보상 함수입니다. 표준 RL에서 정책 경사는 $\mathbb{E}_{\tau}[r(\tau) \nabla_\theta \log Pr(\tau|\theta)]$ 입니다. GReinSS는 궤적 $\tau$ (잠재 상태 $S(\tau)$ 를 생성하는)에 대한 보상 $r(\tau)$ 를 다음과 같이 정의합니다:
$r(\tau) = \sum_{i=1}^{N} \frac{Pr(X_i | \tau)}{Pr(X_i | \theta)}$
여기서 $Pr(X_i | \theta) = \mathbb{E}_{\tau}[Pr(X_i | \tau)]$ 입니다.

정리 3.1은 이 특정 보상 함수가 정책 경사를 데이터 로그 가능도의 기울기 $\nabla_\theta \log Pr(X_{1:N} | \theta)$ 의 불편 추정량(unbiased estimator)으로 만든다는 것을 입증합니다.

메커니즘: 분모 $Pr(X_i | \theta)$ 는 각 관측값의 기여도를 재스케일링합니다. 이는 정책이 단 하나의 높은 보상을 가진 궤적에 함몰되는 것(하나의 관측값의 가능도는 최대화하지만 다른 관측값들은 실패하게 되는 현상)을 방지하고, 대신 모든 관측값에 걸쳐 가능도의 균형을 맞추는 분포 $Pr(S|\theta)$ 를 학습하도록 유도합니다.
학습 루프: 알고리즘은 궤적을 샘플링하고, 현재의 $\theta$ 를 기반으로 동적 보상을 계산하며, 경사 상승법(gradient ascent)을 통해 $\theta$ 를 업데이트하는 과정을 반복합니다.

오프-폴리시 학습 (Off-Policy Learning)

특정 관측값에 대해 0이 아닌 가능도를 생성하는 궤적이 희소한 문제를 해결하기 위해, 본 논문은 오프-폴리시 샘플링을 채택합니다. 정리 3.3은 최적의 분산 최소화 오프-폴리시 제안 분포(proposal distribution)가 $q(\tau | X_{1:N}, \theta) = \frac{1}{N} \sum_{i=1}^N Pr(\tau | X_i, \theta)$ 임을 식별합니다. 저자들은 이 분포로부터의 정확한 샘플링이 대개 불가능하므로, 편향되지 않은 경사 추정치를 유지하기 위해 관측 특징에 기반한 샘هم플링 편향(biasing)과 중요도 샘플링(importance sampling) 보정을 결합한 휴리스틱을 활용합니다.

미니 배치 (Mini-batching)

이 프레임워크는 관측값의 부분 집합 $B \subset [N]$ 에 대해 보상을 계산하는 미니 배칭을 지원하며, 이를 통해 대규모 데이터셋으로 확장할 수 있습니다.

주요 기여

정식화: 본 논문은 간접 관측으로부터 이산적 잠재 상태에 대한 분포를 학습하는 문제를 정책 최적화 문제로 정식화하여, 확률적 모델링과 강화 학습 사이의 간극을 메웁니다.
이론적 연결: 동적 보상 재스케일링을 적용한 정책 경사가 간접 관측의 주변 로그 가능도를 최대화하는 것과 동일하다는 이론적 증명(정리 3.1)을 제공하며, 이는 표준 RL이나 변분 추론(VI) 공식으로는 달성되지 못한 결과입니다.
일반화: 암세포 계통 분석(cancer phylogeny)이나 복제수 변이(copy number variation)에서의 유사한 기법 적용 사례와 달리, 본 연구는 임의의 이산 구조(그래프, 집합, 시퀀스)로 절차를 일반화하고 특정 조건 하에서 GFlowNets와 같은 기존 방법론과의 연결 고리를 확립했습니다.

실험 결과

저자들은 시뮬레이션 및 실제 데이터셋을 통해 GReinSS를 로컬 서치(local search), 표준 정책 경사, GFlowNets, 그리고 VAE/자기회귀 모델/이산 확산 모델을 사용한 GEM 기반 구현체들과 비교 평가했습니다.

1. 시뮬레이션 프로세스 그래프 추론

태스크: 랜덤 워크 종단점으로부터 유향 그래프를 재구성합니다.
결과: GReinSS가 일관되게 가장 높은 중앙값 F1 점수를 기록했습니다. 특히 정보량이 적은 상황( $k=10$ 랜덤 워크)에서 GReinSS는 0.891의 F1 점수를 달성한 반면, 모든 베이스라인(나이브 정책 경사 및 GFlowNets 포함)은 0.55 미만의 점수를 기록했습니다. 나이브 정책 경사 베이스라인은 빈 그래프를 예측하는 방향으로 함몰되는 경향을 보였는데, 이는 동적 보상 재스케일링의 필요성을 강조합니다.

2. 시뮬레이션 부분 집합 추론

태스크: 노이즈가 섞인 원소 측정을 통해 부분 집합을 재구성합니다.
결과: GReinSS는 다양한 노이즈 수준( $\sigma$ $σ$ )과 유니버스 크기( $|U|$ $∣ U ∣$ )에 대해 모든 베이스라인을 능가했습니다.
- 작은 유니버스( $|U|=10$ )에서는 대부분의 방법이 양호한 성능을 보였습니다.
- 큰 유니버스( $|U|=1000$ )의 경우, 베이스라인들(VAE, 확산 모델, 자기회귀 모델)은 붕괴되었으나(중앙값 F1 < 0.4), GReinSS는 0.938의 중앙값 F1을 유지했습니다.
- 이 결과는 GReinSS가 다른 생성 모델들이 실패하는 거대한 조합 공간에서도 효과적으로 확장될 수 있음을 보여줍니다.

3. 실제 응용: RNA 아이소폼 재구성

태스크: 숏-리드 시퀀싱 데이터(GTEx 데이터셋)로부터 RNA 아이소폼 구조와 비율을 추론하며, 롱-리드 시퀀싱의 그라운드 트루스(ground truth)를 통해 검증합니다.
비교: GTEx 프로젝트에서 사용되는 표준 EM 알고리즘인 RSEM과 비교했습니다.
결과: GReinSS는 RSEM을 크게 앞질렀습니다.
- MBD2 유전자의 경우, RSEM은 주요 아이소폼의 비율을 18%로 예측(실제 96% 대비)하고 잘못된 부차적 아이소폼들을 예측하여 0.5374의 예측 오차를 냈습니다. 반면 GReinSS는 주요 아이소폼에 대해 92%를 예측하여 0.0067의 오차를 기록했습니다.
- 14,390개의 유전자에 대해, GReinSS는 46.6%의 사례에서 RSEM보다 $\ge 0.05$ 이상의 차이로 우수한 성능을 보였으며, RSEM이 GReinSS를 앞선 경우는 9.4%에 불과했습니다. 중앙값 오차 차이는 GReinSS가 유리하게 -0.0405를 기록했습니다.

의의 및 주장

본 논문은 GReinSS가 조합론적 공간에서의 생성 모델링을 위한 "원칙적이고 실용적인 접근 방식"이라고 주장합니다. 주요 의의는 다음과 같습니다:

계산 불가능성 극복: 지수적 복잡도로 인해 정확한 EM이 불가능한 잠재 상태 추론에 대한 해결책을 제공합니다.
표준 RL과의 차별성: 동적 보상 재스케일링 없이는 표준 정책 경사가 이 맥락에서 실패함을 입증했으며, GFlowNets가 보상 구조가 관측 가능도와 완벽히 일치하지 않을 때 불충분할 수 있음을 보여주었습니다.
실제 세계의 영향력: 생물학적 실제 데이터에서 널리 사용되는 표준(RSEM)을 능가하는 RNA 스플라이싱 적용 사례를 통해 방법론의 유용성을 검증했습니다.

저자들은 현재 이 방법이 오프-폴리시 샘플링을 위한 휴리스틱에 의존하고 $Pr(X|S)$가 알려져 있다고 가정하지만, 이 프레임링이 Q-러닝, 액터-크리틱(actor-critic) 프레임워크, 그리고 관측 모델 자체를 학습하는 방향으로 확장될 수 있는 토대를 제공한다고 언급했습니다.