기술 요약: 오프라인 보수적 궤적 개선을 위한 반사실적 수송 흐름 (Counterfactual Transport Flows)

1. 문제 정의

본 논문은 오프라인 강화 학습(Offline RL)의 근본적인 한계, 즉 로그된 데이터의 지지 집합(support)을 벗어나지 않으면서 관찰된 행동을 개선하는 것의 어려움을 다룹니다. 표준 RL은 반응적인 상태-행동 매핑을 학습하지만, 특정 저성과 궤적을 어떻게 국소적으로 수정하여 성공할 수 있는지에 대해서는 명시적으로 모델링하지 못하는 경우가 많습니다. 기존의 오프라인 방법들은 가치 페널티를 통해 정책을 제약하거나, 생성 모델(diffusion/flow)을 사용하여 새로운 행동을 만들어내지만, 이는 대개 전이(transition) 수준에서 작동하거나 궤적 단위의 개선보다는 글로벌 정책을 학습하는 데 치중되어 있습니다.

저자들은 이 문제를 **소스 조건부 궤적 개선(source-conditioned trajectory refinement)**으로 정의합니다. 낮은 세계 피드백(예: 낮은 리턴, 안전 위반)을 가진 초기 후보 궤적 $\tau^-$가 주어졌을 때, 목표는 이와 행동적으로 유사하면서도 개선된 피드백을 제공하는 인근의 대안 $\tau^*$를 향해 국소적으로 수정하는 것입니다. 이는 소스로부터의 편차를 최소화하면서 개선 마진 $\delta$를 만족하는 실행 가능한 궤적을 찾는 것으로 개념화됩니다:
$$\tau^* = \arg \min_{\tau' \in \mathcal{T}_{feas}} d_\tau(\tau', \tau^-) \quad \text{s.t.} \quad R(\tau') \ge R(\tau^-) + \delta$$
여기서 $R(\tau)$는 측정 가능한 세계 피드백을 나타내며, $d_\tau$는 궤적 수준의 편차를 측정합니다.

2. 방법론: 반사실적 수송 흐름 (Counterfactual Transport Flows)

제안된 프레임워크인 Counterfactual Transport Flows는 조건부 플로우 매칭(conditional flow matching)을 사용하여 잠재 궤적 공간(latent trajectory space)에서 소스 궤적을 더 나은 대안으로 수송하는 법을 학습합니다. 이 방법은 세 가지 주요 단계로 작동합니다.

A. 국소 선호 쌍 구축 (Local Preference Pair Construction)

글로벌 정책을 학습하는 대신, 이 방법은 오프라인 데이터로부터 약한 국소 선호 쌍을 구축합니다. 주어진 소스 궤적 $\tau^-$에 대해 알고리즘은 다음을 수행합니다:

1. 인코더 $\phi$를 사용하여 궤적을 잠재 공간으로 인코딩합니다.
2. $\tau^-$와 유사한 궤적들로 구성된 국소 잠재 이웃 $\mathcal{N}(\tau^-)$를 식별합니다.
3. 개선 기준($R(\tau^+) \ge R(\tau^-) + \delta$)을 만족하는 이 이웃 내의 타겟 궤적 $\tau^+$를 선택합니다.
4. "반사실적" 수정(즉, 에이전트가 더 나은 피드백을 얻기 위해 유사한 조건 하에서 무엇을 다르게 할 수 있었는지)을 나타내는 쌍 $(\tau^-, \tau^+)$를 형성합니다.

B. 소스 조건부 플로우 매칭 (Source-Conditioned Flow Matching)

궤적 개선은 일회성 예측이 아닌 연속적인 수송 과정으로 모델링됩니다.

• 잠재 보간 (Latent Interpolation): 각 쌍에 대해 선형 보간 경로가 정의됩니다: $z_s = (1-s)z^- + s z^+$, 여기서 $z^- = \phi(\tau^-)$ 및 $z^+ = \phi(\tau^+)$이며, $s \sim U(0, 1)$입니다.
• 조건부 벡터장 (Conditional Vector Field): 모델은 특히 소스 궤적 $z^-$에 조건화된 벡터장 $v_\theta(z_s, s \mid z^-)$를 학습합니다. 이는 개선 방향이 글로벌한 고피드백 영역을 향하는 것이 아니라, 해당 인스턴스에 특화된 방식(즉, 이 특정 궤적이 어떻게 수정될 수 있는지)으로 학습되도록 보장합니다.
• 학습 목적 함수: 모델은 예측된 속도와 타겟 속도($z^+ - z^-$) 사이의 차이를 최소화하기 위해 플로우 매칭 목적 함수를 사용하여 학습됩니다:
  $$\mathcal{L}_{FM} = \mathbb{E}_{z^-, z^+, s} \left[ \| v_\theta(z_s, s \mid z^-) - (z^+ - z^-) \|_2^2 \right]$$

C. 개선 강도를 이용한 추론 (Inference with Refinement Strength)

추론 시, 방법은 초기 후보 궤적 $\tau^-$를 가져와 $z^-$로 인코딩하고 학습된 벡터장을 적분합니다. 적분은 개선 강도 파라미터 $\alpha \in [0, 1]$에서 중단됩니다:
$$\tilde{z} = z_\alpha$$
결과로 나온 잠재 상태는 디코딩되어 개선된 궤적 $\tau^* = \psi(\tilde{z})$를 생성합니다.

• $\alpha = 0$: 원래의 궤적을 복구합니다 (보수적).
• $\alpha = 1$: 궤적을 국소 고피드백 타겟을 향해 완전히 수송합니다.
• $0 < \alpha < 1$: 원래의 행동을 보존하는 것과 더 강력한 개선을 적용하는 것 사이의 연속적인 트레이드오프를 허용합니다.

3. 주요 기여

저자들은 세 가지 주요 기여를 강조합니다:

1. 정의 (Formulation): 이들은 오프라인 의사결정 개선을 글로벌 정책 최적화나 무제한 궤적 생성이 아닌, 세계 피드백으로부터의 소스 조건부 궤적 개선으로 재정의했습니다.
2. 방법론 (Methodology): 관찰된 결과로부터 국소 선호 쌍을 구축하고, 조건부 플ow 매칭을 활용하여 잠재 궤적 공간에서 인스턴스 특화된 개선 방향을 학습하는 방법을 제안했습니다.
3. 검증 (Validation): D4RL 벤치마크(AntMaze 및 MuJoCo)에서 이 접근 방식을 검증하여, 별도의 인간 선호도 라벨이나 별도의 보상 모델 없이도 보수적인 궤적 편차를 유지하며 개선된 피드백을 달성함을 입증했습니다.

4. 실험 결과

실험은 궤적 오토인코더를 사용하여 잠재 공간을 구축한 후, D4RL 데이터셋인 AntMaze 및 MuJoCo(HalfCheetah) 태스크에서 수행되었습니다.

• 베이스라인 (Baselines): 본 방법은 다음 모델들과 비교되었습니다:
  • Nearest Improved Neighbor (최근접 개선 이웃): 소스를 가장 가까운 높은 피드백 궤적으로 직접 교체.
  • Random Improved Trajectory (무작위 개선 궤적): 소스를 무작위의 높은 피드백 궤적으로 교체.
  • Non-local Flow Matching (비국소 플로우 매칭): 타겟 선택 시 국소성 제약 없이 플로우 모델을 학습.
• 성능 (Performance):
  • AntMaze: 제안된 방법은 가장 낮은 행동 편차(1.41)와 잠재 편차(27.00)를 보이면서 +69.44의 피드백 개선을 달성했습니다. 반면, "Random Improved Trajectory"는 더 높은 원시 이득(+117.50)을 얻었으나 편차가 훨씬 컸습니다 (Action: 2.18, Latent: 62.50), 이는 보수성이 부족함을 나타냅니다. "Non-local Flow Matching" 베이스라인은 오히려 피드백이 저하되었습니다 (-11.48).
  • MuJoCo: 유사한 경향이 관찰되었습니다. 제안된 방법은 편차 1.58(action) 및 31.40(latent)과 함께 +1180.20의 피드백 개선을 달성했습니다. "Nearest Improved Neighbor"는 약간 낮은 원시 개선(+1050.30)을 보였으나 편차가 더 높았습니다 (2.14/42.50).
• 분석: 결과는 국소 타겟 구축과 소스 조건화가 모두 보수적 개선을 위해 필수적임을 보여줍니다. 글로벌 또는 비국소적 접근 방식은 안정적인 개선 방향을 학습하는 데 실패하는 반면, 직접적인 교체 전략은 행동적 충실도(behavioral fidelity)를 너무 많이 희생합니다.

5. 의의 및 주장

본 논문은 Counterfactual Transport Flows가 다음과 같은 이유로 신뢰할 수 있는 오프라인 개선의 유망한 방향을 제시한다고 주장합니다:

• 데이터에 기반한 개선: 이 방법은 로그된 데이터로부터 스칼라 형태의 세계 피드백(예: 리턴)만을 사용하여 행동을 개선하므로, 인간의 선호도 라벨, 별도의 보상 모델, 또는 온라인 환경 상호작용이 필요하지 않습니다.
• 해석 가능성: 수송 관점은 궤적 수준의 해석 가능성을 제공합니다. 학습된 벡터장은 명시적인 개선 경로를 추적하여, 저성과 행동이 어떻게 수정될 수 있는지에 대한 "반사실적 스타일"의 설명을 제공합니다.
• 제어 가능성: 개선 강도 파라미터 $\alpha$를 통해 보수성(원래의 제안을 보존함)과 공격적인 개선 사이의 조절 가능한 트레이드오프를 가능하게 합니다.

저자들은 "반사실적(counterfactual)"이라는 용어가 형식적 인과 추론이 아닌 궤적 개선의 의미(관찰된 데이터에 근거함)로 사용되었음을 언급하며 신중한 입장을 유지합니다. 또한 적응형 이웃 선택, 디코딩된 궤적에 대한 이론적 보장, 그리고 반복적인 가설적 계획을 위한 학습된 월드 모델과의 통합 등을 향후 연구 방향으로 제시했습니다.