기술적 요약: 불완전한 세계 모델은 악용 가능하다

문제 제기

강화 학습 (RL) 에서 효율적인 실세계 계획은 종종 불완전한 세계 모델을 통해 복잡한 동역학을 근사화하는 것을 필요로 한다. 잘 선택된 근사화는 해결 불가능한 문제를 해결 가능하게 만들 수 있지만, 잘못 선택된 근사화는 안전성을 훼손할 수 있다. 이러한 실패 양상을**모델 악용 (model exploitation)**이라고 하며, 이는 불완전한 전이 모델 하에서 기대 보상을 최대화하도록 훈련된 에이전트가 시뮬레이션에서는 잘 작동하지만 현실에서는 poorly 작동하는 정책을 발견할 때 발생한다.

이 논문이 다루는 핵심 질문은 모델 악용을 피할 수 있는지 여부이다. **보상 해킹 (reward hacking)에 대한 선행 연구 (Skalse 등, 2022) 는 보상 명세 오류를 피할 수 있는 조건을 확립했지만, 전이 모델 오류에 대해 유사한 결과가 성립하는지는 명확하지 않다. 기존 문헌은 종종 모델 품질의 카디널 (cardinal) 척도 (예: 예측 오차 상한) 에 의존하지만, 저자들은 안전한 계획을 위해서는순서적 안전성 (ordinal safety)**이 필요하다고 주장한다. 즉, 모델이 안전하려면 진정한 환경이 유도한 정책들의 상대적 순서를 보존해야 한다. 구체적으로, 진정한 모델이 정책 $\pi$를 $\pi'$보다 선호한다면, 안전한 근사 모델은 $\pi'$를 $\pi$보다 선호해서는 안 된다.

방법론 및 이론적 프레임워크

정의

이 논문은 두 전이 모델 $T$와 $T'$ 사이의 이진 관계로서모델 악용을 형식화한다. 정책 집합 $\Pi$에 대해 한 쌍이 악용 가능하다는 것은 $\pi, \pi' \in \Pi$인 정책들이 존재하여 다음을 만족할 때를 의미한다:
$$J_T(\pi) > J_T(\pi') \quad \text{and} \quad J_{T'}(\pi') > J_{T'}(\pi)$$
여기서 $J_T$는 전이 모델 $T$ 하의 가치 함수를 나타낸다. 이를가치 역전 (value inversion)이라고 정의한다. 저자들은 이를 고정된 전이 모델 하에서 두 보상 함수 $R$과 $R'$ 사이에서 역전이 발생하는보상 해킹과 구별한다.

주요 이론적 장애물

저자들은 보상 해킹을 특징짓는 기법들이 근본적인 기하학적 차이로 인해 모델 악용으로 직접 이전되지 않는다고 입증한다:

1. 선형성 vs 비선형성: 가치 함수 $J(\pi) = \langle R, F^\pi_T \rangle$는 보상 함수 $R$에 대해 선형이지만 전이 모델 $T$(구체적으로 확률 질량 함수) 에 대해서는 비선형이다. 따라서 보상 해킹 분석에 사용된 선형 대수적 도구는 전이 모델에는 불충분하다.
2. 영역 제약: 보상 함수는 부호와 스케일링에 대해 닫혀 있는 유클리드 공간에 존재하는 반면, 전이 모델은 심플렉스의 콤팩트 곱 위에 존재하며 벡터 공간 구조를 갖지 않는다.

가치 함수 합리성을 통한 통합 이론

이러한 장애물을 극복하기 위해 저자들은 정책 공간에서 가치 함수의**합리성 (rationality)**에 기반한 통합 이론을 개발한다. 유한 MDP 의 경우, $J(\pi)$는 정책 매개변수 $\pi$에 대한 유리 함수이며 정책 공간의 내부 ($\Pi^+$) 에서 실수 해석적이다.

이 성질을 이용하여 저자들은 가치 함수의 기울기 ($\nabla J_1$ 및 $\nabla J_2$) 에 관한 두 가지 기하학적 보조정리를 유도한다:

• 국소 역전 (보조정리 1): 정책 공간에서 한 가치 함수는 증가하고 다른 하나는 감소하는 방향이 존재하면, 가치 역전 (악용) 이 존재한다.
• 전역 동등성 (보조정리 2): 두 비자명한 가치 함수의 기울기가 열린 부분집합 전체에서 양의 비례 관계라면, 두 함수는 동등하다 (역전이 존재하지 않음).

주요 기여 및 결과

1. 대규모 정책 집합에서의 악용 불가피성

이 논문은 열린 부분집합을 포함하는 임의의 정책 집합 (예: 모든 정상 정책의 집합, $\epsilon$-하위 최적 정책, 또는 $\delta$-결정적 정책) 에 대해, 모델 악용은 비자명하고 비동등한 전이 모델의 모든 쌍에 대해 불가피함을 확립한다.

• 정리 1: 정책 집합이 열린 부분집합을 포함한다면, 임의의 비자명하고 비동등한 가치 함수 쌍은 가치 역전을 허용한다.
• 계 1: 결과적으로, 모든 비자명하고 비동등한 전이 모델 쌍은 그러한 정책 집합에서 악용 가능하다.
  이 결과는 유한 집합에서 보상 해킹을 피할 수 있는 "가능성"과 대조되며, 가치에 대한 전이 모델의 비선형적 의존성이 풍부한 정책 클래스에서 악용 불가능성을 불가능하게 만든다는 것을 보여준다.

2. 유한 집합에서의 보상 해킹과의 차이점

보상 해킹은 (특정 정규성 조건 하에서) 유한 정책 집합에서 피할 수 있지만, 저자들은 악용 불가능성이 유한 정책 집합에 대해서도 동일한 방식으로 보장될 수 없음을 보여준다.

• 반례 2: 보상 해킹에 대한 정규성 조건 (비공선 방문 횟수) 을 충족하더라도, 모든 비동등한 전이 모델 쌍이 악용 가능한 작업과 유한 정책 집합이 존재한다. 저자들은 전이 모델의 비선형성으로 인해 유도된 복잡한 기하학으로 인해 유한 집합에서 악용 불가능성을 위한 간단한 필요충분조건이 존재하지 않을 것이라고 추측한다.

3. 환원과 비환원

• 명제 3: 모델 악용의 모든 사례는 보상 해킹의 사례로 환원 가능하다. $(T, T')$가 악용 가능하면, $(R, R')$가 해킹 가능한 보상 함수 $R'$이 존재한다.
• 반례 1: 역은 성립하지 않는다. 보상 해킹이 반드시 모델 악용을 의미하는 것은 아니며, 고정된 보상 하에서 전이 모델의 섭동이 정책들의 상대적 순서를 변경하지 않을 수 있기 때문이다.

4. 완화된 개념: $\epsilon$-악용 가능성 및 안전 지평

엄격한 악용 불가능성이 종종 달성 불가능하다는 점을 인식하여, 저자들은 작은 가치 역전을 허용하는$\epsilon$-악용 가능성을 도입한다. 그리고 $\epsilon$-악용 불가능성이 보장되는**안전 지평 (Safe Horizon, $H$)**을 유도한다.

• 정리 2: 주어진 허용 오차 $\epsilon$과 모델 간의 총변동 거리 $\delta$에 대해, 유효 지평 $1/(1-\gamma)$에 대한 엄밀한 상한이 존재한다. 지평이 $H(\epsilon, \delta)$보다 짧으면 모델들은 $\epsilon$-악용 불가능하다.
• 계 4 (제곱근 휴리스틱): 더 느슨하지만 직관적인 상한은 안전 지평이 대략 $\sqrt{\epsilon/\delta}$로 스케일링됨을 시사한다. 이는 모델 오류가 계획 지평에 걸쳐 누적된다는 직관을 형식화한 것으로, 모델 정확도 ($\delta$) 가 감소함에 따라 치명적인 역전을 피하기 위해 안전한 계획 지평은 단축되어야 함을 의미한다.

중요성 및 주장

이 논문은 세계 모델에 대한첫 번째 순서적 안전성 개념을 제공한다고 주장하며, 카디널 예측 정확도에서 정책 순서 보존으로 초점을 이동시킨다. 그 주요 중요성은 다음과 같다:

1. 안전한 계획의 한계 형식화: 충분히 풍부한 정책 클래스에서는 특정 학습 알고리즘과 무관하게 불완전한 세계 모델에 의존하는 것이 필연적으로 악용으로 이어짐을 증명한다.
2. 해킹과 악용의 통합: 보상 해킹과 모델 악용 사이의 형식적 다리를 구축하여, 두 현상이 공통된 기하학적 뿌리 (가치 역전) 를 공유함을 보여주면서도 전이 모델이 제기하는 고유한 수학적 도전을 강조한다.
3. 실용적 상한: $\epsilon$-악용 가능성을 도입함으로써 안전성을 정량화하는 실용적 프레임워크를 제공한다. 이는 주어진 수준의 모델 오류가 지원할 수 있는 최대 계획 지평에 대한 폐쇄형 표현을 제공하여, 모델 기반 RL 에서의 보수적 계획에 대한 이론적 기초를 제공한다.

저자들은 완벽한 안전성 (악용 불가능성) 이 일반적인 설정에서는 달성 불가능하지만, 유도된 안전 지평이 더 안전한 정책 합성 방법 개발을 안내하고 안전성 목표에 대한 합성 정책의 품질을 정량화하는 지표를 제공할 수 있다고 결론 내린다.