Controlling Exploration-Exploitation in GFlowNets via Markov Chain Perspectives

이 논문은 GFlowNet 과 마르코프 체인의 역행성 사이의 동등성을 규명하여 탐색 - 활용 균형을 조절하는 새로운 프레임워크인 $\alpha$-GFN 을 제안하며, 이를 통해 다양한 벤치마크에서 기존 방법보다 최대 10 배 많은 모드를 발견하는 성능 향상을 달성했습니다.

핵심

🗺️ 이야기의 배경: GFlowNet 이란 무엇인가?

상상해 보세요. 여러분은 거대한 보물 지도를 가지고 있습니다. 이 지도에는 수많은 길이 있고, 각 길의 끝에는 보물 (상금) 이 숨겨져 있습니다. 어떤 길은 보물이 아주 많고, 어떤 길은 보물이 적거나 아예 없습니다.

GFlowNet은 이 지도에서 가장 많은 보물을 얻을 수 있는 모든 길들을 찾아내는 AI입니다. 하지만 여기서 중요한 점은, 단순히 '가장 좋은 길' 하나만 찾는 게 아니라, 보물이 있는 모든 길 (다양한 해답) 을 골고루 찾아내야 한다는 것입니다.

🤔 기존 방식의 문제점: "반반"이라는 고정관념

기존의 GFlowNet 은 보물을 찾을 때 두 가지 전략을 섞어서 사용했습니다.

1. 전진 (Forward): "앞으로 가보자! 새로운 길을 개척하자!" (탐험)
2. 후진 (Backward): "아까 왔던 길을 되돌아가서 다시 생각해보자." (분석)

기존 방식은 이 두 가지 전략을 **반반 (50 대 50)**으로 무조건 섞어서 사용했습니다. 마치 "앞으로 가는 것"과 "뒤로 돌아보는 것"을 똑같은 비율로 해야만 한다고 믿은 것입니다.

하지만 문제는?
상황에 따라 이 비율이 맞지 않을 수 있습니다.

• 처음에는 새로운 길을 많이 찾아야 하므로 **'전진 (탐험)'**을 더 많이 해야 할 수도 있습니다.
• 어느 정도 길을 찾았으면, 찾은 길들을 더 자세히 분석하여 **'후진 (활용)'**을 더 많이 해야 할 수도 있습니다.

기존의 '반반' 방식은 이런 유연성이 부족해서, 보물 (고성능 해답) 을 놓치거나, 같은 길만 반복해서 걷는 경우가 있었습니다.

💡 이 논문의 해결책: $\alpha$-GFN (알파 - GFN)

이 논문은 **"왜 무조건 반반이어야 하지?"**라고 질문하며 새로운 열쇠를 제시합니다. 바로 **$\alpha$(알파)**라는 조절 장치를 도입한 것입니다.

• $\alpha$(알파) 는 '탐험 vs 활용'의 조절旋钮 (노브) 입니다.
  • $\alpha$를 높이면 (예: 0.9): AI 는 "지금까지 찾은 좋은 길들을 더 열심히 활용하자!"라고 생각하며 보물을 빠르게 캐는 데 집중합니다. (활용 강화)
  • $\alpha$를 낮추면 (예: 0.1): AI 는 "아직 모르는 새로운 길이 있을지도 몰라!"라며 더 넓은 지역을 탐험합니다. (탐험 강화)

이론적으로 이 논문은 GFlowNet 이 **마르코프 체인 (Markov Chain, 확률적 이동)**이라는 수학적 원리와 깊이 연결되어 있음을 발견했습니다. 마치 강물이 흐르는 방향을 수학적으로 분석했을 때, 물의 흐름을 조절하는 문 (Dam) 을 여닫는 것과 같다는 것을 증명했습니다.

🚀 어떻게 작동할까? (스케줄링 전략)

그냥 $\alpha$를 한 번만 고정해 두면 어떨까요?

• 처음부터 너무 활용만 하면, 새로운 보물터를 못 찾습니다.
• 처음부터 너무 탐험만 하면, 찾은 보물을 제대로 챙기지 못합니다.

그래서 이 논문은 두 단계 전략을 제안합니다.

1. 1 단계 (초기): $\alpha$를 낮게 설정하여 새로운 보물터를 열심히 찾아냅니다. (탐험 모드)
2. 2 단계 (후기): 시간이 지나면 $\alpha$를 0.5(반반) 로 천천히 조정하며, 찾은 보물들을 정리하고 최적화합니다. (활용 모드)

이처럼 상황에 따라 조절하는 '스케줄링'을 통해 AI 는 더 많은 보물 (다양한 고수익 해답) 을 찾아내고, 그 품질도 높입니다.

📊 실제 성과: "10 배 더 많은 보물 발견!"

이 방법을 실험해 본 결과 놀라운 성과가 나왔습니다.

• 분자 생성 (약물 개발): 새로운 약 후보 물질을 10 배 이상 더 많이 찾아냈습니다.
• 데이터 생성: 기존 방식으로는 찾지 못했던 고난도 해답들을 성공적으로 발견했습니다.

🎯 결론: 왜 이것이 중요한가?

이 논문은 **"무조건 반반이 정답은 아니다"**라고 말합니다.
AI 가 보물을 찾을 때, **상황에 따라 '탐험'과 '활용'의 비율을 유연하게 조절할 수 있게 해주는 도구 ($\alpha$)**를 제공함으로써, AI 가 더 창의적이고 효율적으로 문제를 해결할 수 있게 만들었습니다.

한 줄 요약:

"기존 AI 는 '앞으로'와 '뒤로'를 무조건 반반 섞었지만, 이 논문은 '상황에 따라 비율을 조절하는 마법 노브'를 달아주어, AI 가 훨씬 더 많은 보물을 찾아내게 했습니다."

기술 요약

논문 요약: 마르코프 체인 관점을 통한 GFlowNet 의 탐색 -활용 (Exploration-Exploitation) 제어

이 논문은 **생성 흐름 네트워크 (Generative Flow Networks, GFlowNets)**의 훈련 과정에서 발생하는 탐색 (Exploration) 과 활용 (Exploitation) 의 균형 문제를 해결하기 위해 제안된 새로운 방법론인 $\alpha$-GFN을 소개합니다. 저자들은 기존 GFlowNet 의 이론적 한계를 마르코프 체인 (Markov Chain, MC) 이론을 통해 규명하고, 이를 통해 탐색과 활용을 조절할 수 있는 새로운 프레임워크를 제시합니다.

---

1. 문제 제기 (Problem)

• 기존 GFlowNet 의 한계: 기존 GFlowNet 의 훈련 목적 함수 (Flow Matching, Detailed Balance, Trajectory Balance 등) 는 순방향 정책 ($P_F$) 과 역방향 정책 ($P_B$) 을 무조건적으로 50:50 으로 균등하게 혼합하는 구조를 가집니다.
• 탐색 - 활용의 제약: 이 균등 혼합 (Equal Mixing) 은 훈련 중 탐색과 활용 사이의 유연한 균형을 제한합니다. 특정 환경에서는 한쪽 정책 (예: 순방향) 에 더 많은 가중치를 두거나, 반대로 역방향의 영향을 더 크게 받아야 더 많은 고_reward 모드 (Mode) 를 발견할 수 있음에도 불구하고, 고정된 0.5 의 가중치는 이러한 최적화를 방해합니다.
• 이론적 배경 부재: GFlowNet 이 마르코프 결정 과정 (MDP) 으로 정의되기는 하지만, 마르코프 체인 이론과의 깊은 연결, 특히 **가역성 (Reversibility)**을 통한 목적 함수의 본질적 이해는 부족했습니다.

2. 방법론 (Methodology)

저자들은 GFlowNet 과 마르코프 체인 이론 간의 관계를 심층적으로 분석하여 다음과 같은 방법론을 제안했습니다.

2.1. 이론적 통찰: GFlowNet 과 마르코프 체인 가역성의 동치

• 기존 GFlowNet 목적 함수가 사실은 균등 혼합된 정책 ($P_{0.5} = 0.5 P_F + 0.5 P_B$) 을 전이 커널 (Transition Kernel) 로 갖는 마르코프 체인의 가역성 조건과 동치임을 증명했습니다.
• 이를 통해 GFlowNet 의 수렴과 흐름 (Flow) 의 유일성이 마르코프 체인의 이론적 성질 (irreducibility, positive recurrence 등) 로 설명 가능함을 보였습니다.

2.2. $\alpha$-GFN: 가변 혼합 비율 도입

• $\alpha$ 하이퍼파라미터: 순방향 정책 ($P_F$) 과 역방향 정책 ($P_B$) 의 혼합 비율을 조절하는 단일 하이퍼파라미터 $\alpha \in (0, 1)$를 도입했습니다.
  • 혼합 정책: $P_\alpha = \alpha P_F + (1-\alpha) P_B$
  • $\alpha > 0.5$: 순방향 정책의 가중치가 커져 **활용 (Exploitation)**이 강화됩니다. 현재 추정된 고 reward 영역을 빠르게 집중합니다.
  • $\alpha < 0.5$: 역방향 정책의 영향이 상대적으로 커져 **탐색 (Exploration)**이 촉진됩니다. 더 넓은 행동 분포를 유지하여 새로운 모드를 발견할 가능성을 높입니다.
• $\alpha$-목적 함수: 기존 SubTB, DB, TB 등의 목적 함수를 $\alpha$를 반영하도록 일반화했습니다 (예: $\alpha$-SubTB). 이는 마르코프 체인 $P_\alpha$의 가역성 조건을 만족하도록 설계되었습니다.

2.3. 스케줄링 알고리즘 (Scheduling)

• 고정된 $\alpha$ 값은 훈련 초기에는 탐색을, 후기에는 활용을 최적화하는 데 각각 유리할 수 있지만, 한 가지 값으로 고정하면 reward fitting 능력이 저하될 수 있습니다.
• 2 단계 훈련 전략:
  1. Stage 1: $\alpha$를 0.5 에서 멀리 떨어진 값 (예: 0.10.4 또는 0.60.9) 으로 설정하여 탐색 또는 활용을 극대화합니다.
  2. Stage 2: 훈련이 진행됨에 따라 $\alpha$를 0.5 로 서서히 감소/증가시켜 (Annealing), 최종적으로 표준 GFlowNet 의 수렴 성질 ($P_F(x) \propto R(x)$) 을 보장합니다.

3. 주요 기여 (Key Contributions)

1. 이론적 통합 (Theoretical Unification): GFlowNet 과 마르코프 체인 이론을 통합하는 프레임워크를 구축하여, 다양한 GFlowNet 목적 함수를 마르코프 체인의 가역성 관점에서 체계적으로 설명했습니다.
2. 일반화된 훈련 목적 함수 ($\alpha$-GFN): 탐색과 활용의 균형을 조절하는 $\alpha$ 파라미터를 도입하여, 기존 GFlowNet 의 고정된 가중치 제약을 해제했습니다. 이론적 수렴 증명과 그래디언트 분석을 통해 그 효과를 입증했습니다.
3. 실험적 성과 및 통찰: Set Generation, Bit Sequence Generation, Molecule Generation 등 다양한 벤치마크에서 $\alpha$-GFN 이 기존 방법론보다 발견된 모드 (Mode) 의 수를 획기적으로 증가시켰음을 보였습니다. 특히 $\alpha$ 조절이 고차원 이산 공간에서의 모드 발견에 결정적임을 입증했습니다.

4. 실험 결과 (Results)

다양한 벤치마크에서 $\alpha$-GFN 은 기존 GFlowNet (Vanilla, $\alpha=0.5$) 을 압도적으로 능가했습니다.

• Set Generation:
  • 작은, 중간, 큰 크기 집합 생성 모두에서 $\alpha$-GFN 이 더 많은 고유한 고 reward 샘플을 생성했습니다.
  • 특히 FL-DB (Forward-Looking) 기준에서 **중간 크기 집합은 735%, 큰 크기 집합은 804%**만큼 발견된 모드가 증가했습니다.
• Bit Sequence Generation:
  • 25 가지 설정 중 21 가지에서 $\alpha$-GFN 이 더 많은 모드를 발견했습니다.
  • $\alpha=0.5$가 최적이지 않은 경우가 많으며, $\alpha$ 조정이 고차원 이산 공간에서의 성능 향상에 필수적임을 보여줍니다.
• Molecule Generation (약물 분자 생성):
  • 모든 목적 함수 (DB, FL-DB, SubTB 등) 에서 발견된 분자 모드가 증가했습니다 (예: FL-DB 는 177% 증가).
  • 샘플의 다양성 (Tanimoto similarity) 을 유지하면서 reward exploitation 을 성공적으로 수행했습니다.
• 추가 분석:
  • Spearman 상관관계: $\alpha$-GFN 은 reward 분포와의 상관관계 (Spearman correlation) 를 유지하거나 오히려 개선하는 경우가 많았습니다.
  • 엔트로피 동역학: $\alpha$가 클수록 정책 엔트로피가 빠르게 감소 (활용 강화) 하고, 작을수록 높은 엔트로피를 유지 (탐색 강화) 함을 확인했습니다.

5. 의의 및 결론 (Significance)

• GFlowNet 의 새로운 패러다임: GFlowNet 훈련이 단순히 흐름 매칭 (Flow Matching) 을 넘어, 마르코프 체인의 가역성과 깊이 연결되어 있음을 규명했습니다.
• 실용적 가치: $\alpha$ 파라미터는 탐색과 활용을 정밀하게 제어할 수 있는 강력한 도구로, 복잡한 생성 작업 (분자 설계, 조합 최적화 등) 에서 **다양한 고 reward 해를 찾는 능력 (Mode Discovery)**을 획기적으로 향상시킵니다.
• 확장성: 제안된 방법은 Adaptive Teachers, QGFN, LLM 추론 (FlowRL) 등 기존 GFlowNet 기반의 다양한 최신 기법과 호환되어 적용 가능하며, reward 온도 조절 (Temperature Scaling) 과는 직교하는 (orthogonal) 장점을 가집니다.

결론적으로, 이 논문은 GFlowNet 의 이론적 기반을 강화하고, $\alpha$-GFN 을 통해 훈련 동역학을 유연하게 제어함으로써, 기존 방법론이 놓치기 쉬운 고 reward 영역을 효과적으로 탐색할 수 있는 새로운 길을 열었습니다.