기술 요약: SafeBranch

문제 정의

시각-언어 모델(VLM) 기반의 체화된 에이전트(embodied agents)는 상호작용 환경에서 다단계 과업을 수행할 수 있지만, 실행 과정에서 빈번하게 안전 제약 조건을 위반합니다. **상호작용 안전성(interactive safety)**이라 불리는 이 문제는 에이전트 자신의 행동이 예기치 못한 위험(예: 가스레인지를 켜둔 채로 두거나, 젖은 손으로 콘센트를 만지는 것 등)을 초라할 수 있기 때문에 발생합니다. 정적인 안전 제약 조건과 달리, 상호작용 안전 위험은 궤적 내의 희소한 **안전 임계 단계(safety-critical steps)**에 집중되어 있습니다. 이러한 특정 결정 지점에서 에이전트의 선택은 궤적이 안전한 결과로 갈지 혹은 불안전한 결과로 갈지를 결정합니다.

기존 방식들은 두 가지 주요 한계점에 직면해 있습니다:

1. 추론 시 가드레일(Inference-time Guardrails): 매 단계마다 행동을 차단하거나 수정하기 위해 외부 안전 검사기나 탐색 기반 플래너를 사용하는 방법은 배포 오버헤드를 발생시키며, 근본적인 액터(actor) 자체를 변화시키지는 못합니다.
2. 표준 감독(Standard Supervision):
   • 모방 학습(SFT): 안전한 궤적을 학습하는 것은 무엇을 해야 하는지는 가르쳐 주지만, 대안이 왜 안전하지 않았는지에 대한 설명은 제공하지 못하여, 맥락 없는 안전 행동 적용으로 이어집니다.
   • 궤적 수준 선호도 학습(DPO): 전체 안전 궤적과 불안전 궤적을 대조하는 방식은 안전 신호를 여러 단계에 걸친 무관한 차이들과 혼합하여, 안전 여부가 결정된 구체적인 결정 지점을 분리해내지 못합니다.

핵심 과제는 에이전트에게 단계별 안전 신호를 가르치기 위해, **동일한 안전 임계 단계(동일한 맥락, 다른 행동)**에서 안전한 행동과 안전하지 않은 행동을 명시적으로 대조하는 감독을 제공하는 것입니다.

방법론: SafeBranch

저자들은 액터 자신의 불안전한 롤아웃으로부터 **분기 쌍(branch pairs)**을 구축하고, **분기 선호도 최적화(Branch Preference Optimization, BranchPO)**를 통해 액터를 정렬하는 프레임워크인 SafeBranch를 제안합니다.

1. 환경 롤백을 통한 분기 쌍 구축

자연스러운 상호작용 환경에서는 단일 단계에서 갈라지는 두 개의 궤적을 제공하지 않으므로, SafeBranch는 이를 합성합니다:

• 롤백(Rollback): 에이전트 롤아웃에서 안전 위반이 발생하면, 안전 비평가(safety critic, 외부 LLM)가 위반된 제약 조건과 결정이 내려진 특정 단계($h_k$)를 식별합니다.
• 수정(Repair): 환경을 $h_k$로 롤백합니다. 그 후, 원래의 맥락 $h_k$와 비평가의 피드백($f_k$)이 주어진 상태에서 액터에게 안전한 대안($y^+$)을 요청합니다.
• 사후 재라벨링(Hindsight Relabeling): 에이전트가 피드백 단서가 아닌 맥락으로부터 안전을 배우도록 하기 위해, 훈련 프롬프트에서 비평가의 피드백($f_k$)을 제거합니다. 결과적으로 생성된 분기 쌍은 동일한 맥맥 $h_k$에 조건화된 원래의 불안전한 행동($y^-$)과 수정된 안전한 행동($y^+$)으로 구성됩니다.
• 필터링(Filtering): 판별용 LLM이 안전한 행동이 맥락에 의해 정당화되는지, 실행 가능한지, 그리고 제약 조건을 해결하는지를 검사하여 쌍을 필터링합니다.

2. 분기 선호도 최적화 (BranchPO)

이 프레임워크는 단계별 정렬을 위해 조정된 선호도 학습 목적 함수를 사용하여 액터를 훈련합니다. 분기 쌍 데이터셋 $D_{branch}$가 주어졌을 때, 이 목적 함수는 동일한 앵커 단계에서의 안전한 행동과 불안전한 행동 사이의 로그 확률 마진을 최대화합니다:
$$\mathcal{L}_{BranchPO} = -\mathbb{E}_{D_{branch}} \left[ \log \sigma(\beta(r^+_\theta - r^-_\theta)) \right]$$
여기서 $r_\theta(h, y) = \log \pi_\theta(y|h) - \log \pi_{ref}(y|h)$입니다. 이는 비평가의 안전 판단을 액터 내부로 내재화합니다.

3. 배포

추론 시 사용되는 방법들과 달리, 훈련된 액터는 비평가 없이(critic-free) 배포됩니다. 이 에이전트는 외부 모듈, 롤백 메커니즘, 또는 피드백 루프 없이도 안전 임계 상황을 자율적으로 처리합니다.

주요 기여

1. 상호작용 안전성을 단계 수준의 문제로 공식화: 본 논문은 안전 정렬을 위해 궤적 전체를 최적화하는 것이 아니라, 안전 임기 단계에서의 결정을 격리하는 것이 필요함을 식별했습니다.
2. SafeBranch 프레임워크: 불안전한 롤아웃을 롤백하고 안전한 대안을 유도함으로써 **동일 상태 분기 쌍(same-state branch pairs)**을 구축하는 새로운 방법을 제시하여, 단계별 안전 감독을 위한 데이터 부족 문제를 해결했습니다.
3. BranchPO 목적 함수: 이러한 분기 쌍을 통해 액터를 훈련하도록 설계된 특화된 선호도 최적화 목적 함수를 통해 안전 제약 조건을 내재화합니다.
4. 비평가 없는 배포: 이 방법은 안전 비평의 비용을 런타임(추론)에서 훈련 단계로 전환하여, 외부 개입 없이도 안전하게 행동하는 독립적인 액터를 생성합니다.

실험 결과

본 방법은 IS-Bench, SafetyALFRED, 그리고 미학습 과업 및 객체를 포함하는 OOD(Out-of-Distribution) 변형 모델에서 평가되었습니다.

• 성능 향상:
  • IS-Bench에서 Safe-Success Rate(SSR)를 미학습 베이스라인의 0.031에서 0.281로 증가시켰습니다.
  • OOD-ObjectShift 변형(미학습 객체)에서 SSR을 0.048에서 0.355로 개선했습니다.
  • OOD-TaskShift 변형(미학습 과업)에서 SSR을 0.048에서 0.469로 개선했습니다.
  • SafetyALFRED에서 위험 정확도(hazard accuracy)를 0.274에서 0.438로 높였습니다.
• 베이스라인과의 비교:
  • SafeBranch는 OOD 설정에서 일반화에 실패한 추론 시점 베이스라인(Self-Verification, Lookahead)보다 우수한 성능을 보였습니다.
  • 또한 표준 선호도 학습 변형들(Trajectory DPO, SFT-only)보다 크게 앞섰는데, 이들은 올바른 결정 지점에 안전 신호를 집중시키는 데 어려움을 겪었습니다.
• 효율성: 분기 쌍 구축 파이프라인은 동일한 계산 예산 하에서 자연적인 Best-of-N 샘플링보다 약 5.2배 빠르게 사용 가능한 쌍을 생성합니다.
• Ablation(절제 실험): 사후 재라벨링을 제거하고(훈련 시 비평가 피드백을 유지함) 실험했을 때, 피드백이 없는 배포 상황에서 모델이 실패하는 것을 확인하였으며, 이는 안전 신호를 내재화하는 것이 필수적임을 입증합니다.

의의 및 주장

본 논문은 SafeBranch가 상호작용 안전성을 내재화하는 데이터 효율적인 경로를 제공한다고 주장합니다. 안전을 단계 수준의 분기 문제로 프레이밍하고 특정 분기 쌍을 구축함으로써, 이 방법은 체화된 에이전트가 과업 성공을 희생하지 않으면서도 어디서 그리고 어떻게 안전하게 행동해야 하는지를 학습할 수 있게 합니다.

저자들은 이 접근 방식이 안전 정렬을 외부의 런타임 종속적인 프로세스에서 액터의 내부 능력으로 이동시킨다는 점을 강조합니다. 결과에 따르면, 동일한 상태의 분기 쌍을 통한 훈련은 표준 궤적 수준의 감독이 제공하지 못하는, 즉 단계별 안전 신호를 학습하는 데 필수적인 능력을 제공합니다. 이 방법은 인-도메인(in-distribution), 아웃-오브-도메인(out-of-distribution), 교차 시뮬레이터 설정 전반에서 최첨단(SOTA) 안전 성능을 달성하는 동시에 배포 시 외부 안전 모듈의 필요성을 제거합니다.