Learning Probabilistic Responsibility Allocations for Multi-Agent Interactions

1. 문제 정의 (Problem Definition)

• 배경: 자율 주행 차량과 같은 시스템이 인간과 상호작용할 때, 단순히 인간의 행동을 예측하는 것을 넘어, "누가 얼마나 안전을 위해 자신의 의도된 행동 (Desired Control) 을 수정해야 하는가?" 라는 책임 (Responsibility) 의 개념을 이해해야 합니다.
• 기존 연구의 한계: 기존 연구들은 대부분 결정론적 (Deterministic) 모델을 사용하여 특정 상황에서의 책임을 단일 값으로 예측했습니다. 그러나 인간의 행동은 본질적으로 다중 모드 (Multimodal) 불확실성을 가지며, 상황에 따라 유연하게 변합니다.
• 핵심 문제: 실제 데이터에는 '책임'에 대한 정답 레이블 (Ground Truth) 이 존재하지 않습니다. 대신 관찰 가능한 것은 에이전트의 실제 제어 입력 (Control Inputs) 입니다. 따라서 관찰된 제어 입력을 역으로 추론하여, 이를 생성한 확률적 책임 분포를 학습해야 하는 역문제 (Inverse Problem) 를 해결해야 합니다.

2. 방법론 (Methodology)

저자들은 조건부 변분 오토인코더 (Conditional Variational Autoencoder, CVAE) 와 미분 가능한 최적화 계층 (Differentiable Optimization Layer) 을 결합한 새로운 아키텍처를 제안합니다.

A. 책임 할당의 수학적 정의 (Control Barrier Functions 기반)

• CBF (Control Barrier Function): 안전 집합을 정의하고, 시스템이 안전 집합을 벗어나지 않도록 보장하는 제어 입력을 찾는 수학적 도구입니다.
• 책임 가중치 ($\gamma$): 기존 CBF 안전 필터를 다중 에이전트 환경으로 확장하여, 각 에이전트가 자신의 의도된 제어 ($u^{des}$) 에서 얼마나 벗어나야 하는지에 대한 가중치 $\gamma$ 를 도입했습니다.
  • $\gamma_i$가 클수록 에이전트 $i$는 자신의 의도된 행동을 유지하려는 경향이 강해지고 (책임이 적음),
  • $\gamma_i$가 작을수록 안전을 위해 더 많이 양보합니다 (책임이 큼).
• 최적화 문제: 모든 에이전트의 안전 제약 (Pairwise CBF) 을 동시에 만족시키면서, 각 에이전트의 $\gamma$에 따라 제어 입력을 조정하는 최적화 문제 (Problem 2) 를 정의합니다.

B. 확률적 책임 학습 모델 (Probabilistic Responsibility CVAE)

• 잠재 변수 접근법: 정답 레이블이 없는 $\gamma$를 학습하기 위해 CVAE 를 사용합니다.
  • 입력 (Condition, $s$): 장면 정보 (에이전트 상태, 궤적, 역사적 데이터).
  • 잠재 변수 ($z$): 가우시안 분포를 따르는 연속적인 잠재 공간.
  • 출력 (Output, $u$): 관측된 실제 제어 입력.
• 디코더 구조:
  1. 잠재 변수 $z$를 신경망을 통해 중간 변수인 책임 할당 벡터 $\gamma$ 로 변환합니다 ($\gamma = g_\phi(z)$).
  2. 변환된 $\gamma$를 미분 가능한 CBF 안전 필터 (Differentiable Safety Filter) 에 입력합니다.
  3. 필터를 통과하여 예측 제어 입력 $\hat{u}$ 를 생성합니다.
• 학습 목표: 관측된 실제 제어 $u$와 모델이 생성한 제어 $\hat{u}$ 사이의 거리를 최소화하면서, 잠재 공간의 분포를 학습합니다 (Evidence Lower Bound, ELBO 최적화).

C. 시퀀스 기반 예측 (Sequence-Conditioned Prediction)

• 복잡한 교통 상황을 처리하기 위해 Transformer 아키텍처 (AgentFormer 기반) 를 CVAE 의 인코더/디코더로 활용합니다.
• 시간의 흐름에 따라 에이전트가 들어오고 나가는 (Variable number of agents) 동적 환경을 처리할 수 있으며, 에이전트 간의 상호작용과 순서 불변성 (Permutation Invariance) 을 고려합니다.

3. 주요 기여 (Key Contributions)

1. 확률적 책임 할당 공식화: 다중 에이전트 환경에서 인간의 책임 분담을 결정론적 값이 아닌 확률 분포로 모델링하여, 행동의 다중 모드 불확실성을 포착합니다.
2. 새로운 학습 프레임워크: 정답 레이블이 없는 책임 데이터를 학습하기 위해, CVAE 와 미분 가능한 최적화 계층 (Safety Filter) 을 결합한 새로운 아키텍처를 제안했습니다.
3. 시퀀스 투 시퀀스 (Seq2Seq) 모델: Transformer 기반의 책임 예측 모델을 설계하여, 다양한 수의 에이전트와 복잡한 상호작용 이력을 처리할 수 있게 했습니다.
4. 실제 데이터 검증: 합성 데이터와 실제 주행 데이터 (INTERACTION dataset) 를 통해 모델의 유효성을 입증했습니다.

4. 실험 결과 (Results)

• 합성 데이터 (Synthetic Data):
  • 에이전트 간 상대 위치에 따라 책임 분포가 이분모 (Bimodal) 형태를 가지는 합성 데이터를 생성하여 학습했습니다.
  • 제안된 가우시안 CVAE 가 $\gamma$의 이분모 분포를 성공적으로 재구성하고, 이를 통해 정확한 제어 입력 분포를 생성함을 확인했습니다.
• INTERACTION 데이터셋 (실제 주행 데이터):
  • 교차로 시나리오에서 30,000 개의 데이터 포인트를 사용하여 학습 및 평가했습니다.
  • 정량적 평가: 책임 기반 모델이 단순히 의도된 제어 ($u^{des}$) 를 따르는 경우보다 평균 변위 오차 (ADE) 와 미스 레이트 (Miss Rate) 가 현저히 개선되었습니다. 직접 제어 입력을 예측하는 모델보다 안전 필터를 거친 모델이 더 안정적인 성능을 보였습니다.
  • 정성적 분석 (해석 가능성):
    • 교차로에서 진입하는 차량 (초록색) 과 대기 중인 차량 (빨간색) 간의 상호작용을 분석했습니다.
    • 초록색 차량이 교차로에 가까워질수록 책임 분포가 음수 쪽으로 치우치는 등, 상황에 따라 책임이 어떻게 동적으로 변화하는지 직관적으로 설명 가능한 결과를 도출했습니다. (예: 먼저 도착한 차량은 책임이 적고, 나중에 도착한 차량은 양보해야 하므로 책임이 큼).

5. 의의 및 결론 (Significance & Conclusion)

• 해석 가능한 자율 시스템: 단순히 "어디로 갈지" 예측하는 것을 넘어, "왜 그렇게 행동하는지 (누가 책임을 지는가)" 를 수학적으로 설명 가능한 모델을 제공합니다. 이는 자율 시스템의 신뢰성 (Trustworthiness) 을 높이는 데 기여합니다.
• 사회적 준수 (Social Compliance): 자율 에이전트가 인간의 사회적 규범과 안전 제약에 부합하는 행동을 학습할 수 있는 새로운 프레임워크를 제시합니다.
• 향후 과제: 실제 데이터의 편향 (일정 속도 위주) 을 해결하고, 도로 지형 및 시각적 맥락 (신호등 등) 을 더 잘 반영하며, 관련 없는 에이전트를 필터링하는 방법을 개선할 필요가 있음을 지적했습니다.

요약하자면, 이 논문은 안전 제약 하에서의 책임 분담을 확률적으로 모델링하여, 복잡한 다중 에이전트 상호작용을 더 인간적이고 신뢰할 수 있게 예측하고 해석할 수 있는 강력한 도구를 개발했습니다.