🤖 machine learning

Model-Based Proactive Cost Generation for Learning Safe Policies Offline with Limited Violation Data

본 논문은 대규모 언어 모델을 활용하여 자연어 지식을 보수적인 비용 함수에 정합시킴으로써, 관찰된 위반 사례가 없는 훈련 데이터에서도 반사실적 위험 샘플을 생성하고 안전한 정책을 학습할 수 있게 하는 모델 기반 오프라인 안전 강화 학습 프레임워크인 PROCO 를 제시합니다.

원저자: Ruiqi Xue, Lei Yuan, Kainuo Cheng, Jing-Wen Yang, Yang Yu

게시일 2026-05-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ruiqi Xue, Lei Yuan, Kainuo Cheng, Jing-Wen Yang, Yang Yu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 자동차 운전법을 가르친다고 상상해 보세요. 로봇을 가르치는 일반적인 방법은 로봇이 주변을 돌아다니게 하고, 실수를 저지르며, 물체에 부딪히게 한 뒤 그 충돌로부터 학습하게 하는 것입니다. 하지만 현실 세계에서는 로봇이 벽이나 보행자에게 부딪혀 어떤 일이 일어나는지 확인하기 위해 충돌을 허용할 수 없습니다. 그것은 너무 위험하기 때문입니다.

따라서 대신, 매우 신중하게 운전했으며 단 한 번도 충돌한 적이 없는 인간 운전자가 수집한 운전 로그 데이터 세트를 로봇에게 제공합니다. 로봇은 오직 "안전한" 운전만 목격하게 됩니다.

문제: "거의 충돌한" 함정
여기가 까다로운 부분입니다. 데이터에 충돌 사례가 전혀 없다고 해서 로봇이 충돌이 발생하기 전에 충돌이 어떻게 생겼는지 안다는 뜻은 아닙니다.

벽을 향해 운전하는 자동차를 상상해 보세요. 데이터 세트에서 인간 운전자는 항상 벽에 부딪히기 막전에 브레이크를 밟았습니다. 로봇은 자동차가 안전하게 정차하는 모습만 봅니다. 하지만 로봇은 브레이크를 밟지 않았더라면 2 초 후에 충돌했을 것이라는 사실을 깨닫지 못합니다. 로봇은 "아, 이렇게 빠르게 운전해도 괜찮구나!"라고 생각합니다. 왜냐하면 로봇은 충돌을 본 적이 없기 때문입니다.

이것이 이 논문이 다루는 핵심 문제입니다: 위험의 예시는 전혀 없고, 사람들이 간신히 피하는 사례만 있을 때 어떻게 안전성을 가르칠 수 있을까요?

해결책: PROCO ("만약에" 시뮬레이터)
저자들은 PROCO라는 새로운 방법을 제안합니다. 이를 세계의 작동 방식을 모델링한 수정구와 초지능 AI 가 작성한 안전 매뉴얼이라는 두 가지 주요 도구를 사용하는 안전 코치라고 생각하세요.

작동 원리는 다음과 같습니다:

1. 수정구 (동역학 모델)

먼저, 로봇은 안전한 운전 로그로부터 "수정구"를 학습합니다. 이는 마법이 아닙니다. "내가 여기에 있고, 이렇게 핸들을 꺾으면 1 초 후 어디에 있게 될까?"를 예측하는 수학적 모델입니다.

비유: 이는 비행 시뮬레이터와 같습니다. 로봇은 실제로 운전하지 않고도 미래 시나리오를 상상할 수 있도록 자동차의 물리 법칙을 학습합니다.

2. 안전 매뉴얼 (LLM 비용 함수)

다음으로, 로봇은 "위험하다"는 것이 무엇을 의미하는지 알아야 합니다. 충돌 데이터가 없으므로 연구자들은 인간의 언어를 읽고 이해하는 초지능 AI 인 **대규모 언어 모델 (LLM)**에게 "안전 매뉴얼"을 작성하도록 요청합니다.

프롬프트: 그들은 LLM 에게 이렇게 말합니다. "규칙은 이것입니다: 벽에 부딪히지 마세요. 하지만 각별히 주의하세요. 만약 벽에 가깝게 다가간다면, 이미 부딪힌 것처럼 취급하세요."
결과: LLM 은 "비용 함수 (Cost Function)"로 작용하는 컴퓨터 함수 (코드 조각) 를 작성합니다. 이 함수는 벽에 부딪히는 것뿐만 아니라 벽에 위험하게 가까이 다가가는 것에도 높은 "페널티 점수"를 부여합니다. 이렇게 하여 "안전 마진"이 생성됩니다.

3. "만약에" 게임 (선제적 롤아웃)

이제 영리한 부분이 나옵니다. 로봇은 자신이 가진 안전한 데이터에서 출발하여 수정구를 이용해 앞으로 운전하는 것을 시뮬레이션합니다. "이 안전한 지점에서 직진하면 무슨 일이 일어날까?"라고 묻는 것입니다.

안전 매뉴얼 덕분에 시뮬레이터는 벽에 가까워지는 것이 나쁘다는 것을 알고 있습니다.
시뮬레이터는 이러한 "만약에" 시나리오를 실행하여 가짜 충돌 데이터를 생성합니다. 이는 실제 세계에서는 결코 발생하지 않았지만 수학적으로 예측된 "간신히 피한 사고"와 "충돌" 사례 수천 가지를 만들어냅니다.

4. 가짜로부터 학습하기

마지막으로, 로봇은 이 새로운 혼합 데이터 세트로 훈련합니다:

원래의 실제 안전한 데이터.
수정구와 안전 매뉴얼에 의해 생성되고 표시된 시뮬레이션된 "충돌" 데이터.

이러한 시뮬레이션된 위험을 통해 훈련함으로써 로봇은 충돌로 이어질 상태인 "위험 구역"을 인식하고, 실제로 실생활에서 충돌한 적이 없더라도 그 구역에서 벗어나는 법을 학습합니다.

왜 이것이 더 나은가요?

기존 방식: 로봇에게 안전한 데이터만 보여준다면, 로봇은 충돌을 본 적이 없기 때문에 "벽 근처에서 빠르게 운전하는 것이 안전하다"고 생각할 수 있습니다. 그렇게 되면 로봇은 위험 구역으로 drifting 되어 배포 시 충돌할 수 있습니다.
PROCO 방식: 학습에 필요한 위험 시나리오를 선제적으로 생성합니다. 효과적으로 "아직 충돌한 적은 없지만, 지금 속도를 줄이지 않으면 수정구가 말하듯 앞으로 충돌할 것이다"라고 말합니다.

결과
저자들은 자동차 운전, 로봇 팔 이동, 수영 등 17 가지 다른 로봇 작업에서 이를 테스트했습니다.

그들은 동일한 "안전 데이터만"에서 안전성을 학습하려던 다른 고급 방법들과 PROCO 를 비교했습니다.
결과: PROCO 는 압도적으로 더 좋았습니다. 많은 경우, 다른 방법들에 비해 안전 위반 (충돌) 을 400% 이상 줄였습니다. 다른 방법들이 볼 수 없었던 미래의 위험을 "볼" 수 있었기 때문에 훨씬 더 안전하게 운전하는 법을 학습했습니다.

한 줄 요약: PROCO 는 시뮬레이터와 지능형 언어 가이드를 사용하여 "만약에" 게임을 하게 함으로써 로봇이 실제로 경험해 보지 못한 재해를 피하는 법을 배우게 하는 방법입니다.

기술 요약: 제한된 위반 데이터로 오프라인에서 안전한 정책을 학습하기 위한 모델 기반 사전 비용 생성

1. 문제 정의

안전 강화 학습 (RL) 은 자율 주행 및 로봇 공학과 같은 응용 분야에서 필수적인 사전 정의된 안전 제약 조건을 만족하는 정책을 도출하는 것을 목표로 합니다. 오프라인 안전 RL 은 위험한 온라인 탐색 없이 사전 수집된 데이터셋으로부터 학습할 수 있는 패러다임을 제공하지만, 기존 방법들은 고위험 시나리오에서 근본적인 한계에 직면해 있습니다: 위험한 샘플의 부족 또는 전적 부재.

많은 실제 데이터 수집 과정 (예: 로봇 조작) 에서 외부 개입은 종종 에이전트가 위험한 상태에 도달하는 것을 방지하여, 데이터셋이 거의 전적으로 안전한 궤적으로 구성되게 합니다. 풍부한 위험한 샘플로부터 비용 가치 함수를 학습하여 안전 경계를 정의하는 기존 오프라인 안전 RL 방법들은 이러한 설정에서 실패합니다. 이러한 방법들은 관측된 모든 데이터를 균일하게 안전하다고 간주하여, 역학 (예: 관성) 으로 인해 몇 단계 내에 필연적으로 제약을 위반하게 되는 현재는 제약을 만족하지만 "안전하지만 실행 불가능한 (safe-but-infeasible)" 상태를 간과합니다. 이러한 간과로 인해 에이전트가 위험한 영역으로 표류하는 정책 배포 실패가 발생합니다.

핵심적인 도전 과제는 다음과 같습니다: 위험한 샘플이 부족하거나 전혀 없을 때, 오프라인에서 안전한 정책을 어떻게 학습할 수 있는가?

2. 방법론: PROCO

저자들은 실행 불가능한 상태를 식별하고 위험하거나 위험한 샘플이 거의 없는 데이터셋에서 안전한 정책을 학습하도록 설계된 모델 기반 오프라인 안전 RL 프레임워크인 PROCO(Model-Based Proactive Cost Generation) 를 제안합니다. 이 방법론은 세 가지 핵심 구성 요소를 통합합니다:

A. LLM 지원 보수적 비용 함수 생성

위험한 데이터 부족으로 인한 간극을 메우기 위해, PROCO 는 자연어 지식을 학습 과정에 통합하기 위해 대규모 언어 모델 (LLM) 을 활용합니다.

입력: LLM 은 작업 정보 ( $L_{task}$ ), 안전 제약 조건에 대한 자연어 설명 ( $L_{cost}$ ), 그리고 엄격한 제약 정의보다 더 보수적인 비용 함수를 생성하기 위한 명시적 지시 ( $L_{inst}$ ) 를 받습니다.
출력: 상태를 위험 (1) 또는 안전 (0) 으로 라벨링하는 Python 함수 $\bar{c}$ .
검증 및 피드백 루프: LLM 출력은 신뢰할 수 없을 수 있으므로, PROCO 는 검증 메커니즘을 사용합니다:
1. 안전 확인: 생성된 비용 함수는 알려진 위험한 샘플의 작은 집합 ( $D_{unsafe}$ , $\le 100$ 개 샘플) 에 대해 검증됩니다. 알려진 위험한 상태를 놓치지 않도록 이 데이터에서 100% 정확도를 달성해야 합니다.
2. 보수성 확인: 함수는 안전 데이터셋 ( $D$ ) 에서 평가됩니다. 위험한 것으로 라벨링된 안전 샘플의 비율이 측정됩니다. 이 비율이 하이퍼파라미터로 제어되는 범위 $[p_{min}, p_{max}]$ 내에 있으면 함수가 승인됩니다.
3. 정제: 함수가 너무 보수적이거나 충분히 보수적이지 않으면, 피드백 설명 ( $L_{feed}$ ) 이 생성되어 LLM 에 다시 입력되어 비용 함수를 정제합니다.

B. 역학 모델 기반 실행 가능성 식별

PROCO 는 오프라인 데이터에서 앙상블 역학 모델 $\hat{T}$ 를 학습합니다. 관측된 위반 없이 실행 불가능한 상태를 식별하기 위해, **분기된 모델 롤아웃 (branched model rollouts)**을 수행합니다:

오프라인 데이터 샘플에서 시작하여 모델이 미래 궤적을 시뮬레이션합니다.
보수적 실행 가능 벨만 연산자 (conservative feasible Bellman operator)( $\bar{B}^*$ ) 가 도입됩니다. 표준 연산자와 달리, $\bar{B}^*$ 는 모델 불확실성에 대한 견고성을 보장하기 위해 역학 모델 앙상블 내의 최악의 전이를 고려합니다.
이 과정은 다양한 반사실적 위험한 샘플을 사전에 생성합니다. 실제 위험한 상태 근처의 상태를 보수적 비용 함수를 통해 위험한 것으로 라벨링함으로써, 이 방법은 실행 불가능한 상태에서 위험한 상태로의 전이 단계를 효과적으로 단축하여 실행 가능성 식별에 대한 모델 오류의 영향을 줄입니다.

C. 정책 학습 파이프라인

데이터 증강: 학습된 역학 모델 $\hat{T}$ 와 보수적 비용 함수 $\bar{c}$ 를 사용하여 모델 롤아웃을 수행합니다. $\bar{c}$ 에 따라 안전 위반이 포함된 궤적은 합성 데이터셋 $D_{\hat{T}}$ 에 추가됩니다.
재라벨링: 오프라인 데이터셋 $D$ 는 $\bar{c}$ 를 사용하여 제약 위반 비용으로 재라벨링됩니다.
가치 함수 업데이트: 알고리즘은 결합된 데이터셋 ( $D \cup D_{\hat{T}}$ ) 을 사용하여 제약 위반 가치 함수 ( $V_h$ ) 와 행동 가치 함수 ( $Q_h$ ) 를 업데이트합니다. 실행 가능 벨만 업데이트의 최소화 연산자를 근사하기 위해 역방향 기대값 회귀 (reverse expectile regression) 를 사용합니다.
정책 최적화: 정책은 증강된 데이터에서 학습된 비용 크리틱에 의해 안내되며, 원래 오프라인 데이터셋 $D$ 를 사용하여 업데이트됩니다.

3. 주요 기여

문제 공식화: 이 논문은 실행 불가능한 상태가 위험한 샘플 없이 안전 상태와 구별되지 않는 "안전만 있는 (safe-only)" 데이터셋에서 안전한 정책을 학습하는 과제를 식별하고 공식화합니다.
지식 - 데이터 통합: 자연어 안전 사양 (LLM 을 통해) 과 경험적 오프라인 데이터를 통합하여 보수적 비용 함수를 생성하는 새로운 프레임워크 (PROCO) 를 도입함으로써, 관측된 위반 없이 위험을 추정할 수 있게 합니다.
사전 실행 가능성 식별: 학습된 역학 모델과 보수적 비용 함수를 결합하여 PROCO 는 반사실적 위험한 샘플을 합성하여 실행 불가능한 상태를 식별함으로써, 기존 방법들의 "안전하지만 실행 불가능한" 맹점을 해결합니다.
이론적 보장: 저자들은 모델 오류 크기에 대한 가정이 없더라도 안전 가치의 과소 평가로 인해 안전 성능이 저하되지 않음을 보여주는 이론적 분석 (정리 4.8) 을 제공합니다.

4. 실험 결과

저자들은 OSRL 데이터셋을 사용하여 Safety-Gymnasium 벤치마크 (내비게이션 및 속도 작업) 의 17 개 작업에서 PROCO 를 평가했으며, 모든 위험한 데이터를 제거하여 "안전만 있는" 데이터셋을 특별히 구성했습니다.

성능: PROCO 는 안전만 있는 데이터셋에서 기존 오프라인 안전 RL 알고리즘 (FISOR, LSPC, CAPS) 및 행동 복제 베이스라인 (BC, CDT) 보다 크게 우월한 성능을 보였습니다.
- 다양한 알고리즘에서 안전 성능이 400% 이상 향상되었으며, 일부 작업에서는 1000% 를 초과하는 개선을 보였습니다.
- "Ant Circle" 사례 연구에서 PROCO 는 안전 경계 근처의 실행 불가능한 상태를 성공적으로 식별하여 안전 위반을 0 으로 달성한 반면, 베이스라인들은 실행 가능 상태와 실행 불가능 상태를 구별하지 못해 상당한 위반을 발생시켰습니다.
견고성: 사용 가능한 위험한 데이터의 양이 극도로 제한적일 때 (예: 원래 위험한 데이터셋의 10%) 도 이 방법은 효과적으로 유지되었습니다.
애블레이션 연구:
- 역학 모델이나 보수적 비용 함수 생성을 제거하면 안전 성능이 크게 저하되었습니다.
- LLM 생성 비용 함수에 대한 피드백 메커니즘은 원하는 수준의 보수성을 달성하는 데 결정적이었습니다.
- 이 방법은 다양한 LLM(GPT-o4-mini, Gemini 2.5 Pro) 에서 안정성을 보였으나, 성능은 약간씩 차이가 있었습니다.

5. 중요성과 주장

이 논문은 위험한 데이터를 수집하는 것이 불가능하거나 위험한 실제 고위험 환경에서 안전 RL 을 배포하는 데 있어 중요한 병목 현상을 PROCO 가 해결한다고 주장합니다. LLM 을 활용하여 자연어 안전 제약을 보수적 비용 함수로 변환하고 모델 롤아웃을 사용하여 잠재적 실패를 사전에 탐색함으로써, PROCO 는 안전 - 임계적 의사결정에 본래 불충분할 데이터셋에서도 안전한 정책을 학습할 수 있게 합니다.

저자들은 위험한 샘플이 없어도 안전한 정책을 학습할 수 있는 그들의 접근 방식이 충돌을 방지하는 인간 원격 조작이나 외부 개입을 통해 데이터가 수집되는 시나리오에 적합하다고 강조합니다. 그들은 현재 이 방법이 상태 기반 관측과 LLM 에 의존하지만, 지식 기반 오프라인 안전 RL 로 나아가는 중요한 단계라고 결론지으며, 비전 - 언어 모델 (VLM) 을 사용하여 시각 작업으로 확장하는 것을 향후 과제로 제안합니다.