[기술 요약] 에이전시(Agency)를 보존하는 안전성: 인간 중심 안전 필터 및 AI 보조 모터스포츠 적용

1. 문제 정의 (Problem Statement)

기존의 로봇 안전 기술, 특히 **안전 필터(Safety Filter)**는 시스템이 위험한 상태(Failure set)에 빠지지 않도록 제어 입력을 수정하는 역할을 합니다. 그러나 인간과 AI가 협업하는 공유 자율성(Shared Autonomy) 환경, 특히 고속 레이싱과 같은 고위험 상황에서는 다음과 같은 심각한 문제가 발생합니다.

• 인간의 에이전시(Agency) 상실: 기존의 '최후의 수단(Last-Resort)' 방식 안전 필터는 위험이 임계치에 도달했을 때 갑작스럽게 인간의 제어를 완전히 가로챕니다(Override). 이는 운전자가 통제권을 잃었다는 느낌을 주어 불쾌감을 유발합니다.
• 자동화 서프라이즈(Automation Surprise): 예측 불가능하고 불연속적인(Abrupt/Jerky) 개입은 운전자를 당황하게 만들며, AI에 대한 신뢰를 떨어뜨리고 팀 전체의 성능을 저하시킵니다.
• 모델 의존성: 기존의 제어 장벽 함수(CBF) 방식은 시스템의 동역학(Dynamics) 모델을 사전에 알고 있어야 하므로, 복잡하고 블랙박스 형태인 실제 환경에 적용하기 어렵습니다.

2. 핵심 기여 (Key Contributions)

본 논문은 인간의 의도를 존중하면서도 안전을 보장하는 **인간 중심 안전 필터(HCSF)**를 제안하며, 세 가지 주요 기여를 합니다.

1. 최초의 완전 모델 프리(Model-free) CBF 안전 필터: 시스템의 동역학 모델 없이도 블랙박스 상호작용을 통해 학습된 신경망 안전 가치 함수를 사용하여 안전 제약을 강제합니다.
2. Q-CBF(State-Action Control Barrier Function) 도입: 상태(State)뿐만 아니라 행동(Action)을 동시에 고려하는 새로운 제약 조건을 제안하여, 동역학 지식 없이도 실시간 안전 모니터링과 개입이 가능하게 합니다.
3. 고차원 공유 자율성 환경 검증: 고충실도 레이싱 시뮬레이터인 Assetto Corsa를 활용하여, 실제 인간 운전자들을 대상으로 대규모 사용자 연구를 수행하고 정량적/정성적 성능을 입증했습니다.

3. 방법론 (Methodology)

A. 이론적 배경: Q-CBF의 설계

연구진은 Hamilton-Jacobi(HJ) 도달 가능성 분석(Reachability Analysis)에서 파생된 **상태-행동 안전 벨만 방정식(State-action safety Bellman equation)**을 활용합니다.

• Q-함수 학습: 모델 프리 강화학습(RL)을 통해 시스템의 안전 가치를 나타내는 $Q(x, u)$ 함수를 학습합니다.
• Q-CBF 제약 조건: 새로운 제약 조건 $Q(x, u) \geq \gamma V(x)$를 정의합니다. 여기서 $V(x)$는 상태 안전 가치 함수이며, $\gamma$는 안전 가치가 감소하는 속도를 조절하는 설계 파라미터입니다. 이 조건은 시스템 동역학 모델을 필요로 하지 않습니다.

B. HCSF 최적화 문제 (Optimization)

HCSF는 매 타임스텝마다 다음과 같은 최적화 문제를 해결합니다.
$$\min_{u} \|u_{human}(x) - u\|^2 \quad \text{subject to} \quad Q(x, u) \geq \gamma V(x)$$
즉, **"안전 제약 조건을 만족하는 범위 내에서 인간의 입력($u_{human}$)과 가장 유사한 제어 입력($u$)을 찾는다"**는 원리입니다. 이를 통해 개입을 최소화하고 부드러운(Smooth) 제어를 구현합니다.

C. 구현 및 학습 파이프라인

• 환경: Assetto Corsa 시뮬레이터와 물리적 레이싱 장비(스티어링 휠, 페달)를 결합.
• 학습: Soft Actor-Critic(SAC) 알고리즘을 사용하여 $Q$ 함수와 최선의 폴백 정책(Fallback policy)을 학습. 위험 상태에 자주 노출시키는 'Warmup' 및 'Initialization' 단계를 통해 학습 효율을 높임.
• 시각적 피드백: AI의 개입 방향과 크기를 화살표로 표시하여 운전자에게 투명성(Transparency)을 제공.

4. 실험 결과 (Results)

83명의 참가자를 대상으로 한 사용자 연구 결과, HCSF는 기존 방식(LRSF) 및 무보조 주행(None)과 비교하여 다음과 같은 성과를 보였습니다.

• 안전성(Robustness): HCSF는 무보조 주행 대비 사고(트랙 이탈, 충돌 등)를 획기적으로 줄였으며, 기존 LRSF와 대등하거나 그 이상의 안전성을 유지했습니다.
• 에이전시(Agency): LRSF는 인간의 입력을 무시하여 통제감을 떨어뜨렸으나, HCSF는 인간의 입력 수정량(Input Modification)을 최소화하여 운전자가 통제권을 유지하고 있다는 느낌을 유의미하게 높였습니다.
• 편안함(Comfort): HCSF는 급격한 가속도 변화(Jerk)와 제어 입력의 불연속성을 줄여, LRSF보다 훨씬 부드럽고 편안한 주행 경험을 제공했습니다.
• 만족도(Satisfaction): HCSF 그룹은 무보조 주행 및 LRSF 그룹보다 전반적인 사용자 만족도가 통계적으로 유의미하게 높았습니다.

5. 의의 및 결론 (Significance & Conclusion)

본 연구는 AI가 인간을 단순히 '대체'하거나 '강제로 교정'하는 것이 아니라, 인간의 의도를 존중하며 '보조'할 수 있는 수학적 프레임워크를 제시했습니다.

• 기술적 의의: 모델 없이도 고차원 시스템에 적용 가능한 모델 프리 CBF를 구현함으로써, 복잡한 실제 로봇 및 자율주행 시스템으로의 확장 가능성을 열었습니다.
• 인간 중심 설계: 안전성(Safety)과 인간의 에이전시(Agency)가 상충 관계(Trade-off)가 아니라, 적절한 최적화 설계를 통해 동시에 달라는 것이 가능함을 입증했습니다.
• 응용 분야: 고성능 ADAS(첨단 운전자 보조 시스템), 협동 로봇, 고속 자율주행 레이싱 등 인간과 AI의 긴밀한 협업이 필요한 모든 분야에 적용될 수 있습니다.