기술 요약: 로봇 조작을 위한 프리폼 선호도 학습 (Freeform Preference Learning)

문제 정의

보상 설계(Reward design)는 자율 로봇 정책 개선, 특히 긴 호흡의 조작 작업(long-horizon manipulation tasks)에서 여전히 중요한 병목 구간으로 남아 있습니다. 기존 방식들은 다음과 같은 상당한 한계점을 가집니다:

• 희소 보상 (Sparse Rewards): 이진 성공/실패 레이블은 중간 과정의 진전이 매우 중요한 복잡한 작업에서 충분한 신호를 제공하지 못합니다.
• 모호한 이진 선호도 (Ambiguous Binary Preferences): 전통적인 선호도 학습(예: Bradley-Terry 모델)은 주석 작성자가 여러 경쟁하는 품질 개념(예: 속도 vs 안전성)을 단일한 "전반적인" 이진 레이블로 압축하도록 요구합니다. 이는 서로 다른 작업 단계의 궤적 세그먼트를 비교할 때 모호성을 유발합니다.
• 경직된 보상 함수 (Rigid Reward Functions): 수동으로 설계된 스칼라 보상은 위생, 격식, 또는 조심스러움과 같은 인간 의도의 전체 스펙트럼을 포착하지 못하는 경우가 많으며, 이는 최적화 시 원치 않는 다운스트림 동작으로 이어질 수 있습니다.

본 논문은 인간 판단의 다차원적 성격을 보존하는 것이 사용자의 의도에 관한 모든 측면을 포착하는 강건한 정책을 학습하는 데 필수적이라고 주장합니다.

방법론: 프리폼 선호도 학습 (Freeform Preference Learning, FPL)

FPL은 피드백을 단일 스칼라로 압축하는 대신, 자연어로 정의된 프리폼 인간 선호도로부터 로봇 정책을 학습하는 프레임워크를 도입합니다. 이 방법은 세 가지 핵심 구성 요소로 이루어집니다:

1. 프리폼 선호도 수집 (Freeform Preference Collection)

"전반적으로 어떤 궤적이 더 나은가?"라고 묻는 대신, 주석 작성자에게 궤적 쌍을 보여주고 다음을 수행하도록 요청합니다:

• 자연어로 된 특정 **선호 축(preference axes)**을 정의합니다 (예: "속도", "안전성", "준비의 격식", "매끄러움"). 이러한 축은 사전에 정의될 수도 있고, 과정 중에 주석 작성자가 지정할 수도 있습니다.
• 각 정의된 축($l_k$)에 대해 쌍별 선호도($y_k \in \{0, 1\}$)를 제공합니다.
  이를 통해 자연어 레이블과 축별 이진 선호도가 주석 처리된 궤적 쌍 데이터셋 $\mathcal{P}$를 얻습니다.

2. 언어 조건부 보상 학습 (Language-Conditioned Reward Learning)

FPL은 사전 학습된 시각-언어 모델(VLM) 표현을 활용하여, 자연어 축 설명에 조건화된 단일 보상 모델 $r_\phi$를 학습합니다.

• 축 조건부 스코어링 (Axis-Conditioned Scoring): 궤적 쌍 $(\tau_i, \tau_j)$와 축 집합 $\{(l_k, y_k)\}$에 대해, 모델은 수정된 Bradley-Terry 손실 함수를 최소화하도록 학습됩니다:
  $$L_{FPL-Reward}(\phi) = -\mathbb{E} \left[ \sum_{k=1}^{K_{ij}} \log \sigma \left( (2y_k - 1) [r_\phi(\tau_i | l_k) - r_\phi(\tau_j | l_k)] \right) \right]$$
• 시간적 모델링 (Temporal Modeling): 개별 관측치에 점수를 매기는 표준 모델과 달리, FPL은 관측 이력(observation history)에 보상을 조건화합니다. 궤적 수준의 보상은 각 접두사(prefix) 점수의 합으로 정의됩니다:
  $$r_\phi(\tau, l_k) = \sum_{i=1}^{T} g_\phi(o_{1:i}, l_k)$$
  여기서 $g_\phi$는 멀티모달 트랜스포머입니다. 이를 통해 모델은 궤적 수준의 선호도를 평가하는 데 필요한 시간적 의존성을 포착할 수 있습니다.

3. 다차원 정책 추출 (Multi-Dimensional Policy Extraction)

학습된 다차원 보상을 단일 가중 스칼라로 압축하는 대신(이는 보상 해킹의 위험이 있음), FPL은 자연어 축 및 그에 대응하는 보상 점수에 동시에 조건화된 정책 $\pi_\theta$를 학습합니다.

• 정책은 축 집합 $\mathcal{L} = \{l_1, \dots, l_{K_\pi}\}$ 및 관련 보상 $r_\phi(\tau | l_k)$에 조건화된 데이터셋을 통해 행동 복제(behavior cloning) 또는 오프라인 RL을 통해 학습됩니다.
• 반복 학습 (Iterative Training): 이 과정은 반복적일 수 있습니다. 정책이 개선됨에 따라 주석 작성자는 더 정교한 피드백을 제공할 수 있으며, 축 집합을 확장하여 자연스러운 커리큘럼을 생성할 수 있습니다.
• 테스트 타임 조종 가능성 (Test-Time Steerability): 추론 시, 특정 보상 값을 변화시킴으로써(특정 축에 조건화된) 재학습 없이도 특정 동작을 향하도록 정책을 조종할 수 있습니다.

주요 기여

1. 프리폼 선호도 학습 (FPL): "전반적인" 이진 레이블의 모호성을 피하면서, 다차원적이고 자연어 기반인 인간 선호도를 이끌어내고 학습하는 새로운 방법론입니다.
2. 언어 조건부 보상 모델: 궤적과 자연어 축 설명을 스칼라 점수로 매핑하여, 단일 모델로부터 다양한 속성(품질, 속도, 안전성, 위생 등)을 학습할 수 있게 합니다.
3. 조합성 및 조종 가능성 (Compositionality and Steerability): 프레임워크는 조합된 동작(데이터에서 함께 나타나지 않은 특성들을 결합)을 보여줄 수 있게 하며, 보상 조건화를 조정하여 테스트 타임에 동작을 조종할 수 있게 합니다.
4. 세그멘테이션 없는 조밀한 감독 (Dense Supervision without Segmentation): FPL은 명시적인 하위 작업 분할이나 수동 보상 형성 없이도 긴 호흡의 작업에 대해 조밀한 진전 신호를 학습합니다.

실험 결과

저자들은 네 가지 실제 작업(큐브를 그릇에 넣기, 반바지 접기, 토스트 플레이팅, 테이블 세팅)과 두 가지 시뮬레이션 작업(물체 재배치, 바이모달 스퀘어)에서 FPL을 평가했습니다.

• 성능: FPL은 실제 작업 전반에서 베이스라인(희소 보상, 이진 선호도 학습, 가중 회귀 포함)보다 평균 38 퍼센트 포인트 높은 성능을 보였습니다.
• 시뮬레이션: "Bimodal Square" 작업에서, FPL은 훈련 데이터에 다른 페그(peg)에 대한 빠른 예시만 있었음에도 불구하고, 해당 페그에 너트를 빠르게 놓는 조합된 동작을 성공적으로 수행했습니다. 또한 동일한 정책을 사용하여 보상 조건화를 변경함으로써 "역전된(inverted)" 작업(왼쪽 페그)에서도 높은 성능을 달ach했습니다. 이는 베이스라인 방법에는 없는 능력입니다.
• 보상 밀도: 질적 분석 결과, FPL의 축 조건부 보상은 특정 하위 작업 이벤트(예: 컵을 놓는 순간) 주변에 시간적으로 국지화되어 있었던 반면, 이진 선호도 보상은 모호하고 후기 단계의 스파이크를 생성했습니다.
• 주석 효율성: 프리폼 선호도를 수집하는 것은 단일 이진 선호도를 수집하는 것보다 레이블당 약 50% 빨랐는데, 이는 비디오를 보는 비용이 여러 축별 판단에 걸쳐 공유되기 때문입니다.

의의 및 주장

본 논문은 FPL이 로봇 공학에서 인간 의도의 "다차원적" 성격을 포착하는 근본적인 문제를 해결한다고 주장합니다. 인간 피드백의 구조를 보존함으로써 FPL은 다음과 같은 이점을 제공합니다:

• 더 조밀하고 덜 모호한 감독을 정책 최적화에 제공합니다.
• **조합적 일반화(Compositional Generalization)**를 가능하게 하여, 로봇이 데이터에 명시적으로 나타나지 않은 방식(예: 속도 + 안전성)으로 학습된 행동을 결합할 수 있게 합니다.
• 테스트 타임 조종 가능성을 제공하여, 사용자가 재학습 없이 로봇의 동작(예: 섬세함보다 속도를 우선시하도록)을 조정할 수 있게 합니다.
• 자연어가 경직된 사전 정의된 보상 구조를 넘어, 보상 축을 정의하는 데 있어 유효하고 효과적인 인터페이스임을 입증합니다.

저자들은 비지도 학습 방식보다 선호도 학습이 더 많은 비용이 들 수 있지만, Fral이 학습된 정책의 품질과 유연성을 크게 향상시킨다는 점에서 실세계 로봇 학습의 유망한 방향이라고 결론짓습니다.