기술 요약: ConFlow – 모션 생성을 위한 흐름 매칭 기반 제약 조건 가이드 학습

문제 정의

최근의 생성 모델링 기술, 특히 흐름 매칭(Flow Matching, FM)과 확산 모델(Diffusion Models)은 학습 기반의 로봇 모션 생성을 가능하게 했습니다. 그러나 현재의 프레임워크에는 결정적인 한계가 존재합니다: 학습 목적 함수와 배포 시 적용되는 제약 조건 사이의 불일치입니다. 표준적인 접근 방식은 가용한 데이터(주로 전문가 시연 데이터)를 통해 학습하고, 작업별 제약 조건(예: 장애물 회피)을 강제하기 위해 **추론 시 가이던스(Inference-time guidance)**에 의존합니다. 이는 "학습-추론 간극(Training–inference gap)"을 생성하며, 이로 인해 가이던스가 불완전하거나 사용할 수 없는 경우, 학습된 분포가 본질적으로 제약 조건을 만족하지 못하여 실행 불가능하거나 물리적으로 타당하지 않은 분포 외(out-of-distribution) 동작을 초래할 수 있습니다.

또한, 로보틱스 응용 분야는 데이터 부족 문제를 겪는 경우가 많습니다. 대규모 전문가 시연 데이터를 수집하는 것은 비용이 많이 들고 노동 집약적입니다. 반면, 비전문가 또는 부정적 시연(제약 조건을 위반하는 궤적)은 풍부하지만, 표준 생성 모델은 명시적인 감독 없이는 실행 가능한 동작과 실행 불가능한 동작을 구분하는 데 어려움을 겪기 때문에 이러한 데이터들은 일반적으로 폐기되거나 충분히 활용되지 못합니다.

방법론

본 논문은 제약 조건을 학습 과정에 직접 통합함으로써 학습-추론 간극을 메우도록 설계된 제약 가이드 흐름 매칭 프레임워크인 ConFlow를 제안합니다. 방법론은 세 가지 핵심 구성 요소로 이루어집니다.

1. 제약 가이드 학습 목적 함수 (Constraint-Guided Training Objective)

제약 조건을 샘플링 단계에서만 적용하는 대신, ConFlow는 제약 정보를 학습 과정 중에 포함하도록 표준 흐름 매칭 손실 함수를 수정합니다.

• 메커 메커니즘: 표준 속도 회귀 타겟 $u_t$는 제약 유도 보정 항(correction term)으로 증강됩니다. 손실 함수는 다음과 같이 변형됩니다:
  $$L_{CG} = \text{MSE}(u_\theta^t - u_t - \lambda_c M(x_1) u_t^c)$$
  여기서 $u_t^c = \nabla_{x_t} C(x_t)$는 미분 가능한 제약 함수 $C(\cdot)$의 그래디언트이며, $M(x_1)$은 부정적 시연(제약 조건을 위반하는 궤적)에 대해서만 보정을 활성화하는 이진 지표입니다.
• 제약 함수: 충돌 회피를 위해 저자들은 부드러운 그래디언트를 보장하기 위해 ReLU 기반 페널티 대신 SoftPlus 정식화를 사용합니다. 이 함수는 로봇(또는 로봇 링크) 간의 거리가 안전 반경 $r$보다 작아지는 궤적에 대해 페널티를 부여합니다.
• 부정적 감독 (Negative Supervision): 프레임워크는 $D = D^+ \cup D^-$인 데이터셋을 활용하며, 여기서 $D^-$는 실행 불가능한 궤적을 포함합니다. $D^-$에 대해서만 보정 항을 활성화함으로써, 모델은 실행 가능한 궤적을 과도하게 규제하지 않으면서도 제약 위반 동작을 억제하는 법을 학습합니다.

2. 제약 주입 소스 분포 (Constraint-Injected Source Distribution)

표준 흐름 매칭은 일반적으로 표준 가우시안 소스 분포($p_0$)를 사용하며, 이는 궤적의 각 웨이포인트(waypoint) 간 독립적인 노이즈를 가정합니다. 이는 고주파 아티팩트를 유발하고 본질적인 매끄러움(smoothness)을 결여할 수 있습니다.

• 가우시안 프로세스 (GP) 사전 분포: ConFlow는 표준 가우시안 사전 분포를 **조건부 가우시안 프로세스 (Conditional Gaussian Process, CGP)**로 대체합니다.
• 매끄러움: GP는 인접한 웨이포인트 간의 시간적 상관관계를 인코딩하여, 초기 소스 궤적이 본질적으로 매끄럽도록 보장합니다.
• 경계 조건: GP는 시작($q_{start}$) 및 목표($q_{goal}$) 상태에 조건화됩니다. 이를 통해 소스 분포 $p_0$가 이미 경계 제약 조건을 만족하도록 하여, 학습된 흐름(flow)이 엔드포인트 불일치를 수정하는 대신 중간 궤적의 변형을 정교화하는 데 집중할 수 있게 합니다.

3. 추론 (Inference)

가이던스 기반 방식은 실행 시 무거운 계산과 반복적인 그래디언트 평가를 요구하는 것과 달리, ConFlow는 학습 과정 중에 제약 인지적 속도장을 학습합니다.

• 표준 샘플링: 추론은 조건부 GP 소스로부터 학습된 흐름의 표준 ODE 적분을 따릅니다.
• 선택적 가이던스: 모델이 제약 인지적으로 학습되었음에도 불구하고, 도전적인 시나리오에서 추가적인 안전을 위해 선택적인 추론 시 가이던스를 적용할 수 있습니다. 다만, 본 논문은 가이던스 없이도 견고함을 입증했습니다.

주요 기여

본 논문은 네 가지 주요 기여를 설명합니다:

1. 제약 가이드 학습 패러다임: 추론 시 가이던스 로직을 학습 목적 함수로 전이시켜 학습과 배포 사이의 불일치를 완화하는 새로운 접근 방식을 제시합니다.
2. 흐름 매칭 구현: 제약 인지적 학습 목적 함수를 GP 기반 소스 분포와 결합하여 흐름 매칭 프레임워크 내에 통합했습니다.
3. 비전문가 데이터 활용: 실행 불가능한 시연을 부정적 감독으로 효과적으로 사용하여, 추가적인 전문가 데이터 수집 없이도 데이터 효율성과 일반화 성능을 높이는 프레임워크 확장을 보여줍니다.
4. 실증적 검증: 다중 로봇 장애물 회피 작업에 대한 검증을 통해, 표준 베이스라인 모델보다 개선된 제약 조건 준수 및 모션 품질을 입증했습니다.

실험 결과

저자들은 두 로봇이 2D 작업 공간에서 위치를 교환하는 2로봇 내비게이션 작업에 대해 ConFlow를 평가했습니다. 데이터셋에는 충돌이 없는 궤적과 충돌을 유발하는 궤적이 모두 포함되었습니다.

• 충돌률: ConFlow(양성 및 부정 데이터를 모두 사용하여 학습됨)는 모든 설정에서 가장 낮은 로봇 충돌률을 기록했습니다. 특히, 추론 시 가이던스를 사용하지 않았을 때도 ConFlow는 0.016의 충돌률을 달-성하여, 표준 흐름 매칭 베이스라인(0.031) 및 양성 데이터로만 학습된 변형 모델(0.043)보다 현저히 낮은 수치를 보였습니다.
• 견고성: 이 방법은 추론 시 가이던스를 비활성화했을 때도 견고함을 유지하였으며, 이는 충돌 회피 동작이 학습 중에 성공적으로 내재화되었음을 시사합니다.
• 소스 분포의 영향: 표준 가우시안 사전 분포를 조건부 GP(CGP)로 교체했을 때 로봇 충돌률이 거의 46% 감소(0.0288에서 0.0156으로)하였으며, 궤적의 매끄러움과 엔드포인트 정확도가 크게 향상되었습니다.
• 부정적 데이터의 효용성: 표준 흐름 매칭에서는 양성 데이터와 부정 데이터를 단순히 혼합할 경우 성능이 저하되었으나, ConFlow는 부정 데이터를 성공적으로 활용하여 제약 조건 준수를 개선했습니다.

의의 및 주장

본 논문은 ConFlow가 제약을 사후 교정(post-hoc correction)의 대상으로 취급하는 것에서 벗어나, 생성 모델 내에 구조적으로 내재화하는 패러다임의 전환을 나타낸다고 주장합니다. 학습 목적 함수와 소스 분포를 공동으로 설계함으로써, ConFlow는 학습-추론 간극을 효과적으로 줄입니다.

저자들은 이 접근 방식이 다음과 같은 이유로 로보틱스 분야에서 특히 중요하다고 주장합니다:

1. 제약 조건을 내재화함으로써 추론 시의 불완전한 가이던스에 대한 의존도를 낮추어 안전성과 신뢰성을 향상시킵니다.
2. 풍부한 비전문가(부정적) 시연을 활용함으로써 데이터 효율성을 높이고, 비용이 많이 드는 전문가 데이터 수집 문제를 해결합니다.
3. 가우시안 프로세스의 구조적 사전 분포를 활용하여 더 매끄럽고 고품질의 궤적을 생성합니다.

이 연구는 태스크 관련 구조를 흐름 기반 생성 모델에 직접 삽입하는 것이 더 안전하고 유능한 로봇 모션 생성을 위한 유망한 방향임을 시사합니다. 향후 연구로는 이를 고차원 시스템(예: 관절형 매니퓰레이터) 및 실제 플랫폼으로 확장하는 것이 제안되었습니다.