ROVER: Regulator-Driven Robust Temporal Verification of Black-Box Robot Policies

이 논문은 블랙박스 로봇 정책의 내부 구조 없이 관찰 가능한 실행 궤적을 신호 시간 논리 (STL) 규격과 비교하여 평가하는 '규제자 주도' 접근법을 제안하며, 이를 통해 다양한 시나리오에서 로봇의 안전성 만족도를 크게 향상시키는 것을 입증했습니다.

핵심

이 논문은 로보틱스 분야의 '검열관'과 '개발자'가 함께 일하는 새로운 방식을 소개합니다. 복잡한 기술 용어 대신, 일상적인 비유를 들어 쉽게 설명해 드릴게요.

🚗 비유: "검은 상자"와 "교통 단속 카메라"

상상해 보세요. 어떤 회사가 완전 자동 운전 자동차를 만들었습니다. 하지만 이 차의 내부 (어떻게 사고를 하고 결정을 내리는지) 는 **검은 상자 (Black-box)**처럼 열 수 없습니다. 개발자조차 내부 코드를 직접 고칠 수 없거나, 외부 감시 기관이 그걸 볼 수 없는 상황입니다.

이때, **안전 규제 기관 (Regulator)**은 이 검은 상자를 어떻게 검증할까요? 보통은 "사고가 몇 번 났니?"라고 숫자만 세거나, "벽에 부딪혔니?"라고 한 번의 순간만 봅니다. 하지만 이 논문은 **"시간이 흐르는 동안 차가 어떻게 움직였는지"**를 꼼꼼히 살피는 새로운 방법을 제안합니다.

이 방법을 ROVER라고 부릅니다.

---

🕵️‍♂️ ROVER 가 하는 일: "시간 여행하는 감시관"

ROVER 는 단순히 "사고가 났다/안 났다"를 보는 게 아니라, 시간의 흐름에 따른 안전 규칙을 지켜봅니다. 마치 교통 단속 카메라가 단순히 과속만 보는 게 아니라, "차선이탈 후 3 초 안에 제자리로 돌아왔는지", "커브길에서 급하게 가속하지 않았는지"까지 세세하게 체크하는 것과 같습니다.

1. 규칙을 언어로 번역하기 (STL)

규제 기관은 "차선은 지켜라", "급발진 하지 마라" 같은 복잡한 안전 규칙을 **STL(신호 시계 논리)**이라는 정교한 언어로 번역합니다.

• 예시: "커브를 돌 때 (시간 A), 5 초 동안은 가속을 하지 마라 (시간 B)."
• 이렇게 규칙을 정밀하게 정의하면, 로봇이 그 규칙을 얼마나 잘, 혹은 얼마나 못 지키는지 **숫자 (점수)**로 매길 수 있습니다.

2. 세 가지 점수판 (TRV, LRV, AVRV)

로봇이 달린 기록 (트레이스) 을 분석할 때 ROVER 는 세 가지 점수를 줍니다.

• 평균 점수 (TRV): "평소에 얼마나 안전하게 운전했니?" (대체로 잘했나?)
• 최악의 점수 (LRV): "가장 위험했던 순간은 언제였니?" (가장 큰 실수는?)
• 실수 평균 점수 (AVRV): "실수를 했을 때, 그 실수가 얼마나 끔찍했니?" (실수의 심각도)

이 점수들을 보면 규제 기관은 개발자에게 **"너는 평균은 좋지만, 가끔은 아주 위험한 실수를 해. 이 부분을 고쳐라"**라고 구체적인 피드백을 줄 수 있습니다.

---

🎮 실제 실험: "마리오 카트"와 "진짜 로봇"

논문의 저자들은 이 방법을 두 가지 곳에서 시험해 보았습니다.

1. 마리오 카트 (가상 게임)

• 상황: 마리오 카트 게임에서 AI 가 레이싱을 합니다.
• 문제: AI 가 너무 빨리 달려서 경기를 못 하거나, 트랙 밖으로 나가는 경우가 많았습니다.
• ROVER 의 개입: "너는 트랙을 벗어나면 3 초 안에 돌아와야 해", "커브에서는 속도를 줄여야 해"라는 규칙을 적용했습니다.
• 결과: 개발자가 이 피드백을 받고 AI 를 다시 훈련시켰더니, 트랙 이탈이 8% 에서 99% 로, 과속 위반이 30% 에서 83% 로 크게 개선되었습니다.

2. TurtleBot3 (진짜 로봇)

• 상황: 실제 방에서 장애물을 피하며 목표 지점으로 가는 로봇입니다.
• 문제: 로봇이 장애물 근처에 너무 오래 머물거나, 급하게 방향을 틀어 바퀴를 손상시켰습니다.
• ROVER 의 개입: "장애물 근처에 50 초 이상 머물지 마라", "급격한 회전 금지" 등의 규칙을 적용했습니다.
• 결과: 로봇이 훨씬 부드럽고 안전한 경로로 이동하게 되었고, 실제 실험에서도 목표 지점에 성공적으로 도달하는 비율이 크게 올라갔습니다.

---

💡 핵심 메시지: "왜 이 방법이 특별한가?"

기존의 방법은 "로봇이 100 번 중 90 번 성공했으니 OK"라고만 했습니다. 하지만 ROVER 는 **"90 번은 성공했지만, 나머지 10 번 중 1 번은 아주 치명적인 실수를 했어. 그걸 고쳐야 해"**라고 말합니다.

• 검은 상자도 OK: 로봇의 내부 코드를 볼 필요 없이, 밖에서 움직이는 모습만 봐도 안전성을 검증할 수 있습니다.
• 구체적인 지도: 개발자에게 "더 훈련해라"라고 막연히 말하지 않고, "어떤 규칙을 위반했는지, 얼마나 심각했는지"를 숫자로 보여줍니다.
• 반복적인 개선: 규제 기관이 점수를 주고, 개발자가 고치고, 다시 점수를 매기는 과정을 반복하면 로봇은 점점 더 안전해집니다.

🌟 결론

이 논문은 **"로봇을 검증할 때, 단순히 결과만 보지 말고 시간의 흐름 속에서 규칙을 얼마나 잘 지켰는지 꼼꼼히 따져보자"**는 아이디어를 담고 있습니다. 마치 운전 면허 시험에서 단순히 "출발해서 도착했나"만 보는 게 아니라, "신호는 잘 지켰나, 차선은 잘 유지했나"를 세세하게 평가하여 더 안전한 자율 주행 시대를 만드는 데 기여하는 방법입니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 블랙박스 자율 로봇의 검증 난제: 현실 세계의 자율 로봇 인증 과정에서는 규제 기관 (Regulator) 이 시스템의 내부 모델 (코드, 가중치 등) 에 접근할 수 없는 '블랙박스' 시스템을 평가해야 하는 경우가 많습니다.
• 기존 방법의 한계:
  • 기존 검증 기법들은 주로 전체 궤적에 대한 통계적 집계 (실패율 추정) 나 단일 상태 상호작용 (장애물 거리 등) 에 의존합니다.
  • 이는 시간 간격과 이벤트 시퀀스를 포괄하는 실제적인 시간적 안전 요구사항 (Temporal Safety Requirements) 을 충분히 반영하지 못합니다. 예를 들어, 일시적인 안전 상태라도 진동하거나 서서히 실패로 치닫는 행동은 시간적 안전 규정을 위반할 수 있으나, 기존 방법으로는 이를 포착하기 어렵습니다.
  • 기존 형식적 검증 (Formal Verification) 기법 (모델 체킹, 도달성 분석 등) 은 내부 모델 구조에 대한 접근이 필요하여 블랙박스 제어기에 적용하기 어렵습니다.
• 목표: 내부 구조를 알 수 없는 블랙박스 로봇 정책의 실행 궤적 (Execution Traces) 만을 관찰하여, 시간적 안전 규정을 준수하는지 검증하고 개선을 위한 피드백을 제공하는 프레임워크 개발.

2. 방법론 (Methodology: ROVER)

논문에서 제안한 ROVER는 규제 기관이 주도하는 (Regulator-Driven) 반복적 검증 프레임워크입니다.

• 핵심 개념:
  • 규제 기관 (Regulator) 과 설계자 (Designer) 의 상호작용: 규제 기관은 내부 모델 없이 관찰된 궤적만 기반으로 안전성을 평가하고, 설계자에게 재학습 (Retraining) 을 위한 구체적인 피드백을 제공합니다.
  • 신호 시간 논리 (Signal Temporal Logic, STL): 시간적 안전 요구사항 (예: 차선 유지, 지연 가속, 회전 부드러움 등) 을 STL 명세로 형식화합니다. STL 은 연속 시간 신호에 대한 시간적 속성을 표현하는 데 적합합니다.
• 강건성 (Robustness) 기반 평가 지표:
  STL 명세에 대한 만족도를 정량화하기 위해 세 가지 지표를 사용합니다.
  1. TRV (Total Robustness Value): 전체 궤적에 대한 평균 강건성. 시스템의 전반적인 평균 성능을 나타냅니다.
  2. LRV (Largest Robustness Value): 궤적 중 가장 심각한 위반 사례 (최소 강건성 값). 최악의 경우 (Worst-case) 안전성을 평가합니다.
  3. AVRV (Average Violation Robustness Value): 위반이 발생한 궤적들의 평균 위반 강건성. 위반의 평균 심각도를 측정합니다.
• 피드백 및 재학습 루프:
  • 규제 기관은 위 지표들을 기반으로 안전 점수 (Safety Score) 를 산출하고, 위반 패턴 (시스템적 위반, 희귀하지만 치명적인 오류 등) 에 따라 설계자에게 재학습 권장 사항을 전달합니다.
  • 설계자는 이 피드백을 바탕으로 보상 함수 (Reward Function) 를 수정하거나 정책을 재학습하여 안전 규정을 더 잘 준수하는 모델을 만듭니다.

3. 주요 기여 (Key Contributions)

1. 실제 인증 프로세스의 형식화: 차선 유지, 가속 제어, 회전 행동 등 인간이 이해할 수 있는 시간적 안전 규칙을 STL 명세로 변환하여, 내부 제어기에 접근하지 않고도 블랙박스 정책의 궤적을 정량적으로 검증할 수 있는 방법을 제시했습니다.
2. 다양한 시나리오에서의 적응성 및 강건성: 가상 레이싱 게임 (Mario Kart) 과 실제 이동 로봇 (TurtleBot3) 두 가지 다른 도메인에서 ROVER 를 평가했습니다. 강화 학습 (RL) 기반의 사전 검증 모델을 대상으로 ST L 명세를 적용하여, 재학습 후 모든 도메인에서 만족도 및 강건성 지표가 개선됨을 입증했습니다.
3. 표적 피드백을 통한 모델 개선: 단순한 실패율 통계가 아닌, 위반의 심각도와 빈도를 분석한 정량적 점수와 정성적 가이드라인을 제공합니다. 이를 통해 설계자는 어떤 부분을 우선적으로 재학습해야 하는지 명확히 파악할 수 있습니다.

4. 실험 결과 (Results)

두 가지 주요 시나리오에서 ROVER 의 효과를 검증했습니다.

• 시나리오 1: 가상 레이싱 게임 (Mario Kart SNES)

  • 규칙: 속도 제한, 트랙 이탈 방지, 급커브 시 가속 금지 등 3 가지 STL 명세.
  • 결과: 규제 기관의 피드백을 통해 보상 구조를 수정한 후, 규정 준수율 (Satisfaction Rate) 이 평균 43.8% 증가했습니다.
    • 특히 '트랙 이탈 방지' 규칙은 준수율이 8% 에서 99% 로 급격히 향상되었습니다.
    • TRV(평균 성능) 는 모든 규칙에서 개선되었으며, 위반 심각도 (LRV, AVRV) 도 감소했습니다.

• 시나리오 2: 모바일 로봇 내비게이션 (TurtleBot3)

  • 규칙: 급격한 회전 방지, 시간 내 목표 도달, 장애물 근처 체류 금지 등 3 가지 STL 명세.
  • 결과: 재학습 후 모든 규칙의 준수율이 향상되었습니다.
    • '급격한 회전 방지'는 9% 에서 36% 로, '시간 내 도달'은 18% 에서 54% 로 개선되었습니다.
  • 실제 환경 검증 (Sim-to-Real): TurtleBot3 를 실제 환경에 배포하여 테스트한 결과, 시뮬레이션과 마찬가지로 재학습된 모델이 더 매끄러운 경로를 생성하고 STL 정의된 시간적 안전 요구사항을 더 잘 준수함을 확인했습니다 (매끄러운 경로 만족도 27% 향상).

5. 의의 및 결론 (Significance)

• 블랙박스 검증의 새로운 패러다임: 내부 모델 접근이 불가능한 현실적인 인증 환경에서도 형식적 방법 (Formal Methods) 을 적용하여 시간적 안전성을 검증할 수 있음을 증명했습니다.
• 정량적 및 정성적 피드백의 결합: 단순한 '통과/불통과'를 넘어, 위반의 심각도와 빈도를 분석하여 설계자에게 구체적인 재학습 방향을 제시함으로써, 안전성 향상을 위한 효율적인 개발 사이클을 가능하게 합니다.
• 안전성 확보: 강화 학습과 같은 데이터 기반 제어 정책의 배포 전, 시간적 안전 규정을 준수하도록 검증하고 개선함으로써 자율 시스템의 안전성을 크게 높일 수 있는 실용적인 도구로 평가됩니다.

이 논문은 자율 로봇의 안전성 검증에 있어 '블랙박스'라는 제약 조건을 극복하고, 규제 기관과 설계자 간의 협업을 통해 안전 기준을 충족하는 모델을 개발하는 체계적인 접근법을 제시했다는 점에서 의의가 큽니다.