🤖 machine learning

MPFlow: Learning Budgeted Max-Flow Optimization on the Lightning Network with Deep Graph Reinforcement Learning

이 논문은 예산 제약 하에서 라우팅 용량을 극대화하는 채널 개설을 선택하는 법을 학습함으로써 비트코인 라이트닝 네트워크의 유동성 배치를 최적화하는 딥 그래프 강화 학습 프레임워크인 MPFlow를 소개하며, 이 방법은 30개 노드에 걸쳐 267 BTC 이상을 관리하기 위해 실제 운영 환경에 성공적으로 배포되었습니다.

원저자: Harrison Rush, Vincent Davis, Simone Antonelli, Vikash Singh, Jesse Shrader, Emanuele Rossi

게시일 2026-07-10

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Harrison Rush, Vincent Davis, Simone Antonelli, Vikash Singh, Jesse Shrader, Emanuele Rossi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

비트코인 라이트닝 네트워크를 수백만 명의 사람들을 연결하는 보이지 않는 파이프들로 이루어진 거대하고 북적이는 도시라고 상상해 보세요. 이 파이프들은 디지털 코인을 운반하지만, 엄격한 규칙이 하나 있습니다. 바로 파이프는 그 너비가 허용하는 만큼의 물(코인)만 운반할 수 있다는 것입니다. 만약 좁은 파이프에 코인의 홍수를 밀어 넣으려고 하면, 시스템 전체가 막히고 결제는 실패하게 됩니다.

오랫동안 이 파이프를 관리하던 사람들(노드)은 새로운 연결을 구축하기 위해 단순하고 고전적인 규칙을 따랐습니다. "가장 크고 유명한 이웃에게 연결하라"는 것이었죠. 그들은 파이프가 가장 많거나(차수, degree) 교차로에 가장 많이 위치한(매개 중심성, betweenness) 노드를 보고 그곳에 연결했습니다. 이는 마치 새로운 도시에 온 관광객이 길을 찾기 위해 항상 시장님에게 매달리려 하는 것과 같았습니다. 시장님에게 붙어야만 이동할 수 있다고 생각하는 것이죠.

하지만 Amboss Technologies와 CISPA의 연구진은 다른 질문을 던졌습니다. "만약 시장님이 이미 너무 붐비고 있다면, 그리고 돈을 움직이는 진짜 비결이 현재 비어 있는 조용하고 좁은 골목길을 찾는 것이라면 어떨까?"

그들은 MPFlow라는 새로운 종류의 디지털 두뇌를 만들었습니다. 이것을 일종의 초스마트 도시 계획가라고 생각하세요. MPFlow는 단순히 누가 유명한지를 보는 것이 아니라, 실제로 파이프를 흐르는 물의 흐름을 시뮬레이션하여 어디에서 병목 현상이 발생하는지를 파악합니다.

게임: 5개의 파이프 예산

연구진은 하나의 게임을 설정했습니다. 당신이 새로운 노드(도시의 새로운 집)를 가지고 있고, 엄격한 예산이 있다고 가정해 봅시다. 당신은 오직 5개의 새로운 파이프(채널)만을 열 수 있습니다. 각 파이프의 비용은 0.20 BTC(특정 액수의 돈)입니다. 당신의 목표는 단순히 유명해지는 것이 아니라, 당신의 집에서 도시의 다른 모든 집으로 얼마나 많은 돈이 흐를 수 있는지를 극대화하는 것입니다.

그들은 이것을 AI 에이전트를 위한 비디오 게임으로 탈바꿈시켰습니다.

레벨: 수천 개의 노드가 있는 거대한 지도인 실제 라이트닝 네트워크의 스냅샷.
움직임: AI는 한 명의 이웃을 선택하여 연결합니다.
점수: 연결을 할 때마다 AI는 "최대 유량(Max-Flow)"을 계산합니다. 이는 물이 가장자리로 넘치지 않고 A 지점에서 B 지점까지 흐를 수 있는 절대적인 최대량을 측정하는 수학적 개념입니다. AI는 자신이 잠금 해제한 추가적인 물 한 방울마다 점수를 얻습니다.

비결: 유명인을 무시하기

여기서 연구진은 영리한 짓을 했습니다. 만약 AI가 훈련 중에 "슈퍼 허브"(거대하고 유명한 노드들)를 보게 된다면, AI는 "가장 큰 녀석에게 연결하라"는 기존의 규칙을 그대로 복사할 것이라는 점을 알고 있었습니다. 그래서 그들은 AI에게 속임수를 썼습니다.

그들은 상위 50개의 거대 허브가 완전히 삭제된 지도를 사용하여 AI를 훈련시켰습니다. AI는 유명한 이웃에 의존하지 않고 어떻게 돈을 움직일지를 배워야만 했습니다. 이는 "유명한 곳에 연결하라"는 기존의 규칙이 놓친 숨겨진 효율적인 경로를 찾도록 강제하는 과정이었습니다. 이를 **"허브 제외 커리큘럼(hub-exclusion curriculum)"**이라고 부릅니다.

마침내 AI가 모든 허브가 다시 포함된 실제 전체 지도에서 테스트를 받았을 때, AI는 단순히 허브를 무시한 것이 아니라, 허브가 도움이 되지 않을 때 그것을 피하는 법을 배웠습니다. AI는 거대하고 붐비는 허브에 연결하는 것이 종종 교통 체증을 유발하는 반면, 중간 규모의 사용되지 않는 노드에 연결하는 것이 완전히 새로운 고속도로를 열어준다는 사실을 깨달았습니다.

결과: 기존의 규칙을 이기다

연구진은 5,000개의 노드로 구성된 거대한 슬라이스 위에서 이 게임을 1,000번 실행했습니다. 결과는 다음과 같았습니다.

기존 방식 (매개 중심성): 가장 중심적인 노드에 연결하는 표준 산업 방식은 유량을 약 0.163 BTC 증가시켰습니다.
새로운 방식 (MPFlow): "유명인을 무시하라"는 훈련을 받은 AI는 유량을 0.168 BTC 증가시켰습니다.

이것이 아주 작은 차이처럼 들릴 수도 있지만, 고속 금융의 세계에서는 엄청난 차이입니다. AI는 **62.3%**의 게임에서 기존 방식을 이겼습니다. 더 중요한 것은 AI가 단순히 운이 좋았던 것이 아니라, 일관되게 더 나은 경로를 찾아냈다는 점입니다.

이 논문은 AI가 단순히 추측한 것이 아님을 보여줍니다. AI는 실제로 기존 방식과는 다른 이웃을 선택했습니다. 기존 방식이 상위 50개의 허브를 **52%**의 확률로 선택한 반면, AI는 이를 단 **17%**만 선택했습니다. 대신 AI는 인기도 순위가 훨씬 낮은(5,000개 중 약 312위) 노드들을 선택했는데, 이는 AI가 '명성'이 아닌 '용량(capacity)'을 보고 있었음을 증명합니다.

현실 세계의 증거

이것은 실험실에서의 시뮬레이션에 그치지 않습니다. 논문에 따르면 이 정확한 AI 에이전트가 Amboss 플랫폼을 통해 실제 세계에 배치되었습니다. 이 AI는 이미 실제 사용자들을 위해 채널을 열기로 하는 4,640번의 결정을 내렸습니다. 총합으로, 이 AI는 30개의 관리되는 노드에 걸쳐 267.3 BTC(당시 가치로 1,600만 달러 이상)를 할당하는 데 도움을 주었습니다.

이것이 의미하는 바 (그리고 의미하지 않는 바)

이 논문은 라이트닝 네트워크에서 돈을 관리하기 위해서는 데이터에 기반한 스마트한 결정이 단순한 인기 투표보다 낫다는 것을 시사합니다. 병목 현상을 찾아내도록 AI를 훈련함으로써, 동일한 자금으로 더 많은 돈을 움직일 수 있습니다.

하지만 저자들은 몇 가지 사항을 주의 깊게 언급했습니다.

그들은 실제 세상에서 발생하는 모든 개별 결제를 측정한 것이 아니라, 돈을 움직일 수 있는 잠재력(최대 유량)을 측정했습니다. 왜냐하면 실제 결제는 매 순간 각 파이프에 실제로 얼마만큼의 돈이 들어있는지와 같은 숨겨진 요인들에 달려 있기 때문입니다.
그들은 노드당 5번의 행동이라는 고정된 예산을 사용했습니다. 그들은 이것이 모든 상황에 대한 완벽한 숫자라고 주장하는 것이 아니라, 그들의 훈련에서 가장 효과적이었다는 점을 밝힌 것입니다.
이 AI는 흐름을 위한 구조를 찾는 데는 뛰어나지만, 아직 정확한 경제적 수익(수수료)을 예측하지는 못하며, 그것이 다음 단계입니다.

요약하자면, 이 논문은 "멋진 아이들"을 무시하고 빈 파이프에 집중하도록 훈련된 경량 AI가 기존의 경험칙보다 더 나은 돈의 고속도로를 건설할 수 있음을 입증합니다. 이는 조용하고 효율적인 경로가 붐비고 유명한 경로를 이긴 승리입니다.

기술 요약: MPFlow

문제 정의

본 논문은 비트코인 라이트닝 네트워크(Lightning Network, LN) 내에서의 **유동성 배치 문제(liquidity placement problem)**를 다룹니다. 고정된 예산을 사용하여 $k$ 개의 결제 채널을 개설하거나 충전할 때, 노드가 어떤 피어(peer)와 연결해야 하는지 결정하는 것이 목표입니다.

저자들은 이를 그래프 상의 예산 제약이 있는 조합 최적화 문제로 정의합니다. 방향성 잔액(directed balances)이나 예산 기반의 개입을 무시하는 기존의 정적 그래프 휴리스틱(예: 차수 또는 매개 중심성)과 달리, 본 연구는 관측된 용량 그래프에서 ** $s$ – $t$ 최대 유량(max-flow)**을 극대화하기 위해 $k$ 개의 에지 추가를 선택하고자 합니다. 최대 유량 지표는 전달 가능한 결제량을 상한선으로 제공하며, 훈련 중 푸시-릴레이(push-relabel) 알고리즘을 통해 효율적으로 재계산할 수 있으므로 이론적 근거가 확실한 라우팅 용량의 대리 지표(proxy)로 선택되었습니다.

이 문제는 다음과 같은 유한 시계 **마르코프 결정 과정(MDP)**으로 모델링됩니다:

상태 ( $S_t$ ): 노드 특징(중심성 지표)과 에지 특징(수수료, 용량)을 포함한 현재 그래프 토폴로지를 인코딩합니다.
액션 ( $A_t$ ): 채널을 개설할 노드를 선택합니다(또는 기존 채널을 충전합니다).
보상 ( $R_t$ ): 절대적 최대 유량의 한계 개선량( $r_t = F_t - F_{t-1}$ )입니다. 여기서 $F_t$ 는 소스(source)에서 타겟 노드 집합으로의 최대 유량 합계입니다.

방법론: MPFlow

제안된 솔루션인 MPFlow는 메시지 패싱 신경망(MPNN)을 PPO(Proximal Policy Optimization) 및 액션 마스킹(action masking)과 결합한 것입니다.

1. 에이전트 아키텍처

메시지 패싱 백본: 에이전트는 순열 불변(permutation-invariant) MPNN을 활용합니다. 평균(mean)이나 합(sum) 집계(aggregation)를 사용하는 표준 MPNN과 달리, MPFlow는 최대 집계(max-aggregation) 연산자를 사용합니다.
- 이유: 최대 집계는 가장 제약이 큰 단일 이웃을 강조함으로써, min-cut 에지를 따라 발생하는 병목 현상 탐지를 모방합니다. 이를 통해 정책이 분산된 평균값이 아닌, 국소적으로 구속적인 용량 제약에 집중할 수 있게 합니다.
- 입력 특징: 노드 특징에는 PageRank, 용량 비율, 정규화된 차수, 로컬 클러스터링 계수가 포함됩니다. 에지 특징에는 기본 수수료, 수수료율, 용량(로그 변환됨)이 포함됩니다.
Actor-Critic 헤드:
- Actor: 노드 임베딩을 로짓(logits)으로 매핑하고, **가시적인 노드들에 대해 소프트맥스(softmax)**를 적용하여 확률적 정책을 생성합니다.
- Critic: 상태 가치를 추정하기 위해 선형 레이어 이전에 노드 임베딩에 대한 **글로벌 맥스 풀링(global max pooling)**을 수행합니다. 이는 가치 추정이 모든 노드의 평균이 아닌, 가장 중요한 그래프 하부 구조(병목 구간)에 집중하도록 합니다.
액션 마스킹: 바이너리 마스크를 통해 에이전트가 운영 가능한 액션(자기 자신과의 에지, 연결되지 않은 노드, 이미 방문한 피어 제외)만을 선택하도록 보장하여, 탐색 범위를 실행 가능한 제어 표면 내로 유지합니다.

2. 훈련 프로토콜

옵티마이저: 에이전트는 PPO(Proximal Policy Optimization)를 사용하여 훈련됩니다. 이는 사전 실험에서 A2C나 DDPG에 비해 안정성과 샘플 효율성이 높음이 확인되었습니다.
허브 제외 커리큘럼(Hub-Exclusion Curriculum): 훈련 전략의 핵심 요소입니다. 에이전트는 상위 50개의 최고 차수 노드(허브)가 제거된 서브그래프에서 훈련됩니다.
- 목표: 정책이 단순히 거대 허브에 부착되는 퇴보적인 전략(기존의 중심성 휴리스틱이 하는 방식)을 학습하는 것을 방지합니다. 이를 통해 정책이 평가 시 허브가 존재하더라도 유효한, 용량 인지적 배치 및 병목 완화 능력을 학습하도록 강제합니다.
예산: 에이전트는 에피소드당 $k=5$ 개의 액션을 실행하며, 각 액션은 고정 크기(0.20 BTC)의 채널 개설을 나타냅니다.

주요 기여

최적화 정렬 RL 공식화: 본 논문은 보상이 최대 유량의 한계 개선량으로 정의되는 그래프 결정 과정으로 유동성 배치를 규정하여, 학습 목표를 구조적 라우팅 용량과 직접 일치시켰습니다.
단순하고 배포 가능한 정책: 최대 집계와 액션 마스킹을 특징으로 하는 컴팩트한 MPNN-PPO 에이전트를 도입하였으며, 이는 라이트닝 네트워크의 헤비 테일(heavy-tailed) 및 이질적 특성에 특화되어 설계되었습니다.
허브 제외 커리큘럼: 상위 허브를 제외한 서브그래프에서 훈련하는 것이 정책으로 하여금 병목 완화에 의존하게 함을 입증하였으며, 결과적으로 허브가 가시적인 상태에서 훈련된 변형 모델보다 우수한 성능을 보임을 보여주었습니다.
실제 토폴로지 기반의 실증적 검증: 실제 라이트닝 네트워크 스냅샷(2025년 5월, 7월, 10월)을 사용하여 강력한 휴리스틱 베이스라인보다 일관된 개선을 보여주었습니다.
실제 배포: 이 접근 방식은 피어 추천을 위해 실제 운영 환경에 배포되었습니다.

실험 결과

실험은 실제 LN 스냅샷에서 추출한 5,000개 노드 서브그래프를 대상으로 1,000개의 쌍(paired) 에피소드를 사용하여 수행되었습니다.

베이스라인 대비 성능: MPFlow는 절대적 최대 유량 이득에서 0.168 ± 0.003 BTC를 달성하여, 가장 강력한 휴리스틱 베이스라인인 매개 중심성(Betweenness Centrality)(0.163 ± 0.003 BTC)을 유의미하게 앞질렀습니다.
- 쌍 이득(Paired Uplift): MPFlow는 매개 중심성 대비 **+8.59%**의 통계적으로 유의미한 쌍 이득을 보였습니다.
- 승률: MPFlow는 매개 중심성을 상대로 쌍 에피소드의 **62.3%**에서 승리했습니다.
절제 연구(Ablation Studies):
- 그래프 규모: MPFlow는 다양한 그래프 크기(1k ~ 5k 노드)에 걸쳐 매개 중심성과 대등하거나 더 나은 성능을 보였습니다.
- 허브 제거: 평가 그래프에서 상위 허브가 제거됨에 따라, 매개 중심성 대비 MPFlow의 우위가 더욱 확대되었습니다(25개 허브 제거 시 상대적 개선율 최대 +8.89%). 이는 정책이 허브 추종이 아닌 병목 완화에 의존함을 확인시켜 줍니다.
- 액션 분포: MPFlow는 액션의 **17%**만을 상위 50개 허브에 할당한 반면(중앙값 순위 312위), 매개 중심성은 52%(중앙값 순위 43위), GCN 베이스라인은 56%(중앙값 순위 9위)를 할당했습니다.
스냅샷 간 일반화: 한 스냅샷에서 훈련하고 다른 시점의 스냅샷에서 테스트했을 때(예: 5월 $\to$ 7월), MPFlow는 Random 베이스라인 대비 +90.6% 및 **+99.5%**의 상대적 개선을 달성하며 학습된 다른 모든 정책 및 휴리스틱을 능가하는 견고한 일반화 성능을 보여주었습니다.

의의 및 주장

본 논문은 MPFlow가 복잡한 결제 트레이스(payment traces)나 무거운 모델 없이도 기존 산업의 휴리스틱(매개 중심성)을 능가함으로써, 라이트닝 네트워크 운영자에게 실질적이고 즉각적인 이익을 제공한다고 주장합니다.

운영 영향: 경량화된 에이전트는 Amboss 플랫폼에서 이미 운영 환경에 배포되었습니다. 이 에이전트는 4,640건의 채널 개설 결정을 수행했으며, 30개의 관리 노드에 걸쳐 누적 267.3 BTC(약 1,600만 달러 이상)를 할당했습니다.
이론적 통찰: 결과는 단순한 MPNN과 최대 집계를 결합하여 엔드 투 엔드로 훈련된 PPO가, 단순히 높은 차수의 노드에 연결하는 것을 넘어 구조적 병목을 식별하고 완화하는 법을 학습함으로써 토폴로지 전용 휴리스틱을 안정적으로 능가할 수 있음을 시사합니다.
한계점: 저자들은 목적 함수가 구조적(최대 유량은 성공을 보장하는 상한선이지 결정하는 것은 아님)이라는 점과, 현재 설정이 균등한 잔액 샘플러 및 고정된 예산을 사용한다는 점을 인정합니다. 향후 연구 과제로 수요 행렬 및 수수료 인지 라우팅을 포함한 시뮬레이터를 통한 실제 결제 성공률의 정량화를 꼽았습니다.