🤖 machine learning

RENEW: Towards Learning World Models and Repairing Model Exploitation from Preferences

이 논문은 추가적인 전문가 데모를 요구하지 않으면서도 샘플 효율성과 일반화 성능을 개선하기 위해, 인식론적 불확실성(epistemic uncertainty)을 사용하여 효율적인 미세 조정을 유도함으로써 오프라인 강화 학습 월드 모델의 모델 착취(model exploitation)를 직접적으로 복구하도록 상상된 롤아웃(imagined rollouts)에 대한 인간의 선호도를 활용하는 프레임워크인 RENEW를 제안한다.

원저자: Logan Mondal Bhamidipaty, Mykel Kochenderfer, Subramanian Ramamoorthy

게시일 2026-07-17

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Logan Mondal Bhamidipaty, Mykel Kochenderfer, Subramanian Ramamoorthy

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 비디오 게임을 하는 법을 가르치고 있다고 상상해 보세요. 하지만 당신은 로봇이 실제 게임 콘솔을 만지게 할 수 없습니다. 대신, 당신은 로봇에게 오래된 비디오 녹화물 더미를 건네주며, 게임이 어떻게 작동하는지에 대한 "꿈의 기계(dream machine)"—즉, 정신적 시뮬레이션—를 구축하라고 요청합니다. 이것이 바로 **오프라인 강화 학습(offline reinforcement learning)**의 세계입니다. 여기서 AI는 실제 세상과 상호작용하지 않고 오직 고정된 데이터셋만을 통해 학습합니다. 목표는 로봇이 특정 행동을 취했을 때 다음에 어떤 일이 일어날지 예측하는 일종의 내부적인 수정구슬인 **월드 모델(world model)**을 구축하는 것입니다.

하지만 이 꿈의 기계에는 위험한 결함이 있습니다. 로봇은 오직 한정된 오래된 녹화물로부터만 배웠기 때문에, 이 수정구슬에는 사각지대가 존재합니다. 만약 로액이 특정 동작을 계획할 때 그 사각지대를 통과하게 된다면, 모델은 마치 존재하지 않는 벽이 없는 것처럼 속이거나 바닥이 트램펄린으로 변하는 것과 같은 지름길을 환각(hallucination)해낼 수 있습니다. 로봇은 영리한 최적화 도구로서, 시뮬레이션 속에서 이 가짜 지름길을 찾아내어 게임에서 승리하려 들 것이고, 결국 현실에서는 충돌하여 실패하게 됩니다. 이를 **모델 착취(model exploitation)**라고 부릅니다. 전통적으로 과학자들은 더 많은 실제 데이터를 수집하거나(비싸고 느린 방법), 로봇에게 이해하지 못하는 것에 대해 겁을 먹으라고 지시함으로써(새로운 것을 배우기에 너무 소심해지는 방법) 이를 해결하려 노력해 왔습니다.

이 논문은 실제 영상 없이도 로봇의 꿈의 기계를 패치할 수 있는 영리한 새로운 방법을 소개합니다. 저자인 로건 바미디파티(Logan Bhamidipaty), 마이켈 코헨더퍼(Mykel Kochenderfer), 수브라마니안 라마모르티(Subramanian Ramamoorthy)는 우리가 인간의 직관을 수리 도구로 사용할 수 있다고 제안합니다. 그들은 게임을 가장 잘 플레이하는 법을 알기 위해서는 박사 학위가 필요할지 모르지만, 물리 법칙이 깨졌다는 것을 알아차리는 것은 거의 누구나 할 수 있는 일이라는 점을 깨달았습니다. 만약 시뮬레이션 속의 로봇이 단단한 벽을 통과하거나 자동차를 공중에 띄운다면, 인간은 즉시 "그건 가짜야!"라고 말할 수 있습니다. 이 논문은 이러한 단순한 "진짜 vs 가짜" 판단을 사용하여 로봇의 월드 모델이 환각을 멈추도록 가르칠 수 있다고 제안합니다.

"꿈의 수리(Dream Repair)" 프로젝트

연구진은 자신들의 새로운 프레임워크를 RENEW(Elicited World-model Preferences를 통한 Exploitation의 수리)라고 부릅니다. 이 과정이 어떻게 진행되는지 간단한 비유를 통해 단계별로 설명하겠습니다.

로봇의 월드 모델을 몇 페이지의 규칙서를 읽으며 보드게임의 규칙을 배우려는 학생이라고 상상해 보세요. 이 학생은 자신만만하지만 몇몇 부분에서는 틀리고 있습니다.

기존 방식 (Naive DLHF): 당신은 인간에게 학생이 상상한 두 가지 서로 다른 게임 동작을 보여주고, "어느 쪽이 더 진짜처럼 보여?"라고 물을 수 있습니다. 만약 당신이 무작위로 질문한다면, 인간은 학생이 이미 제대로 맞춘 동작들을 수정하느라 시간을 허비하거나, 학생이 가장 혼란스러워하는 황당하고 불가능한 동작들을 놓칠 수도 있습니다. 이를 **나이브 역학 학습으로부터의 인간 피드백(naive Dynamics Learning from Human Feedback, DLF)**이라고 합니다. 논문은 이 방식이 작동하기는 하지만, 매우 비효율적임을 보여줍니다. 1,000개의 실제 예시만큼의 정확도를 얻기 위해, 나이브 방식은 100만 개의 인간 선호도 레이블이 필요했습니다. 이는 마치 몇 개의 오타를 고치기 위해 인간에게 백만 개의 에세이를 채점하라고 요구하는 것과 같습니다.
RENEW 방식: 무작위로 질문하는 대신, RENEW는 스마트한 튜터 역할을 합니다. 먼저 학생의 "불확실성 측정기"를 확인합니다. 그리고 "학생이 어디에서 가장 혼란스러워하는가?"를 묻습니다. 그런 다음, 그 구체적이고 혼란스러운 영역에 대해서만 인간에게 동작을 비교해 달라고 요청합니다. 즉, 로봇이 위험한 실수를 저지를 가능성이 가장 높은 곳에 인간의 주의를 집중시키는 것입니다.

연구 결과

연구팀은 미로, 슬라이딩 타일 퍼즐(15-퍼즐과 같은 형태), 그리고 소코반(Sokoban)이라 불리는 상자 밀기 게임을 포함한 여러 디지털 환경에서 이 아이디어를 테스트했습니다. 그들은 컴퓨터 프로그램을 사용하여 "완벽한 인간" 역할을 하게 하여 선호도 레이블을 생성함으로써, 실제 사람이 판단하는 상황을 시뮬레이션했습니다.

실험의 핵심 결과는 다음과 같습니다:

선호도는 물리 법칙을 직접 가르칠 수 있습니다: 그들은 단순히 "두 경로 중 어느 쪽이 진짜처럼 보이는가?"라고 묻는 것만으로도 월드 모델에게 물리 법칙을 가르칠 수 있다는 것을 증명했습니다. 로봇에게 정답을 보여주거나 목표가 무엇인지 말해줄 필요가 없습니다. 단지 "진짜 vs 가짜"라는 신호만으로도 모델을 고치기에 충분합니다.
스마트한 타겟팅은 시간을 절약합니다: "무작위" 방식(naive DLHF)과 "스마트 타겟팅" 방식(RENEW)을 비교했을 때 결과는 명확했습니다. 3x3 슬라이딩 타일 퍼즐에서 RENEW는 동일한 수의 인간 레이블을 사용했을 때 무작위 방식보다 오류율을 절반으로 줄였습니다.
"건망증" 문제 해결: 한 가지 놀라운 발견은 무작위 방식이 때때로 상황을 악화시킬 수 있다는 점이었습니다. 소코반 게임에서 나이브한 접근 방식은 로봇이 상자를 올바르게 움직이는 법을 "잊어버리게" 만드는 현상, 즉 **파괴적 망각(catastrophic forgetting)**을 일으켰습니다. RENEW는 실제로 고장 난 부분만을 미세하게 조정하고 올바른 부분은 그대로 두었기 때문에 이 문제를 완전히 피할 수 있었습니다.
실제 세계에서의 잠재력: 미로 환경에서, RENEW는 단 1,600개의 선호도 레이블만으로도 착취에 취약했던 사전 훈련된 모델을 수정하여 오류율을 크게 낮출 수 있음을 발견했습니다. 동일한 예산(레이블 수)을 사용한 나이브 방식은 여전히 많은 오류와 불확실성을 남겨두었습니다.

결론

이 논문은 AI 모델을 고치기 위해 반드시 전문가가 될 필요는 없으며, 단지 무엇이 말이 안 되는지를 알아차릴 수 있으면 된다는 점을 시사합니다. 인간이 로봇의 상상이 물리 법칙을 위반할 때 단순히 그것을 지적하게 함으로써, 우리는 로봇의 "꿈의 기계"를 효율적으로 수리할 수 있습니다.

하지만 저자들은 이것이 아직 초기 단계의 연구라는 점을 주의 깊게 언급합니다. 그들의 실험은 컴퓨터로 생성된 "완벽한" 레이블과 작고 단순한 그리드 월드 게임을 사용했습니다. 아직 실수할 수 있는 실제의 지친 인간이나, 실제 자동차 운전과 같이 복잡하고 고차원적인 환경에서 테스트하지는 않았습니다. 그러나 결과는 유망한 새로운 길을 제시합니다. 로봇에게 미지의 것에 대해 두려움을 갖도록 강요하는 대신, 우리의 상식을 사용하여 로봇을 현실로 부드럽게 안내함으로써, 더 많은 값비싼 데이터 없이도 로봇을 더 안전하고 신뢰할 수 있게 만들 수 있습니다.

기술 요약: RENEW: 월드 모델 학습 및 선호도를 통한 모델 착취(Model Exploitation) 수정을 향하여

문제 정의

모델 기반 강화 학습(Model-based RL)은 합성 경험을 생성하여 샘플 효율성을 높이기 위해 학습된 월드 모델(역학 모델)에 의존합니다. 그러나 에이전트가 고정된 데이터셋으로부터 학습하는 오프라인 설정에서, 이러한 모델은 모델 착취(model exploitation) 문제를 겪습니다. 정책이 불완전한 월드 모델을 대상으로 최적화를 수행할 때, 에이전트는 인위적으로 높은 보상을 얻기 위해 부정확한 전이(예: 벽을 뚫고 순간 이동하기)를 발견하고 이를 악용할 수 있으며, 이는 실제 환경으로 전이되지 못합니다.

기존의 해결책들은 크게 두 가지 범주로 나뉘며, 둘 다 상당한 한계를 가지고 있습니다:

더 많은 데이터 수집: 모델 실패가 발생하는 영역에서 추가적인 전문가 시연을 수집하는 것은 비용이 많이 들거나, 안전하지 않거나, 혹은 불가능한 경우가 많습니다 (예: 로보틱스나 자율 주행에서의 희귀한 실패 모드).
보수적인 알고리즘: 불확실한 상태 방문을 억제하거나 정책을 행동 분포 내로 제한하는 방식은 강건성(robustness)을 위해 탐사와 일반화의 효용을 희생하며, 모델 기반 방법론의 유용성을 제한합니다.

저자들은 새로운 질문을 던집니다: 추가적인 시연(demonstrations)을 수집하지 않고도 월드 모델의 역학을 수정할 수 있는가? 저자들은 도메인 전문 지식이 올바른 행동을 입증하는 데는 필요하지만, 부정확한 역학(고체성이나 객체 영속성과 같은 직관적인 물리 법칙 위반)을 식별하는 것은 인간에게 매우 간단한 작업이라는 점에 주목합니다.

방법론

본 논문은 두 가지 핵심 구성 요소인 새로운 학습 프레임워크와 이를 최적화하기 위한 알고리즘을 소개합니다.

1. 인간 피드백으로부터의 역학 학습 (DLHF)

저자들은 표준 RLHF(인간 피드백 기반 강화 학습)의 보상 모델을 역학 모델로 대체하는 DLHF 프레임워크를 정형화합니다.

핵심 아이디어: 인간에게 작업 성공 여부에 따라 궤적(trajectory)을 비교하도록 요청하는 대신(이는 예를 들어 더 빠른 경로를 위해 벽을 뚫고 지나가는 궤적을 선호하게 하여 착취를 강화할 수 있음), 인간에게 **물리적 타당성(physical plausibility)**을 기준으로 궤적 세그먼트를 비교하도록 요청합니다.
정식화:
- $\hat{T}_\theta$ 를 학습된 역학 모델이라고 합시다.
- 모델 하에서의 궤적 세그먼트 $\sigma$ 의 로그 가능도(log-likelihood)는 $\ell_\theta(\sigma) = \sum \log \hat{T}_\theta(s_{t+1} | s_t, a_t)$ 로 정의됩니다.
- 브래들리-테리(Bradley-Terry) 선호도 프레임워크에서, 세그먼트 $\sigma_0$ 가 $\sigma_1$ 보다 선호될 확률은 다음과 같이 모델링됩니다:
  $P(\sigma_0 \succ \sigma_1) = \text{logistic}(\ell_\theta(\sigma_0) - \ell_\theta(\sigma_1))$
- 모델 파라미터 $\theta$ 는 인간의 선호도 레이블에 대한 크로스 엔트로피 손실을 최소화함으로써 업데이트됩니다. 이를 통해 역학 모델은 보상 레이블, 전문가 시연, 또는 환경과의 상호작용 없이도 이진 선호도에 의해 직접 감독될 수 있습니다.

2. RENEW (Elicited World-model preferences를 통한 착취 수정)

저자들은 단순한 DLHF가 샘플 비효율적일 수 있음을 지적합니다. 왜냐하면 궤적 쌍을 균등하게 샘플링하면 모델이 이미 잘 예측하고 있는 전이에 예산을 낭비하게 되기 때문입니다. RENEW는 **인식론적 불확실성(epistemic uncertainty)**을 사용하여 선호도 쿼리를 유도함으로써 이 문제를 해결합니다.

능동적 쿼리(Active Querying): RENEW는 모델이 높은 인식론적 불확실성을 갖는 상태-행동 쌍을 식별합니다 (예: 앙상블 불일치를 통해).
표적 샘플링(Targeted Sampling): 이러한 고불확실성 영역에서 시작하는 궤적 세그먼트 쌍을 생성합니다.
반복적 미세 조정(Iterative Finetuning): 과정은 다음과 같이 반복됩니다:
1. 현재 모델 하에서의 인식론적 불확실성 $u$ 를 계산합니다.
2. $u$ 에 비례하여 세그먼트 쌍을 샘플링합니다.
3. 이 쌍들에 대해 인간(또는 오라클)의 선호도를 도출합니다.
4. DLHF 손실을 사용하여 모델을 미세 조정합니다.
5. 불확실성을 재계산하고 반복합니다.
목표: 이 과정은 선호도 예산을 모델이 착취당하기 가장 쉬운 특정 영역에 집중시켜, 샘플 효율성을 높이고 이전에 학습된 올바른 역학이 파괴되는 현상(catastrophic forgetting)을 방지합니다.

주요 기여

DLHF 프레임워크: 보상 함수(reward)가 아닌 물리적 실재감(dynamics)으로부터 직접 역학을 학습하기 위한 새로운 DLHF 프레임링을 제안했습니다.
RENEW 알고리즘: 인식론적 불확실성을 활용하여 선호도 기반 역학 학습을 샘플 효율적으로 만들고, 특히 착취에 취약한 영역을 타겟팅하는 능동 학습 알고리즘을 제공합니다.
경험적 검증: 이진 선호도만으로 기초부터 월드 모델을 학습하고, 추가적인 시연이나 환경 상호작용 없이 사전 학습된 모델을 수정할 수 있음을 입증했습니다.

실험 결과

저자들은 Jumanji(Maze, Sliding Tile, Sokoban과 같은 이산 그리드 월드) 및 Classic Control(MountainCar, Acrobot) 환경에서 접근 방식을 평가했습니다.

DLHF의 실현 가능성: 단순한 DLHF는 선호도만을 사용하여 기초부터 간단한 월드 모델을 학습할 수 있지만, 1K의 지도 학습 전이(supervised transitions) 성능에 도달하기 위해서는 막대한 예산(약 100만 개의 선호도 레이블)이 필요합니다.
RENEW의 샘플 효율성:
- 동일한 선호도 예산 하에서, RENEW는 단순한 DLHF보다 성능이 크게 뛰어납니다. 예를 들어, Sliding Tile 3x3 환경에서 RENEW는 균등 샘플링(uniform sampling)에 비해 최종 오차를 약 절반으로 줄였습니다.
- 파괴적 망각(Catastrophic Forgetting): Sokoban 환경에서 단순 DLHF는 사전 학습된 모델의 성능을 저하시킨 반면, RENEW는 이를 개선했습니다. 이는 능동적 쿼리가 부정확한 상상된 전이로부터의 업데이트로 인해 올바른 역학이 덮어씌워지는 것을 방지함을 시사합니다.
착취 수정(Repairing Exploitation): Maze 환경(5x5에서 20x20까지)에 대한 미세 조정 실험에서, RENEW는 1,600개의 고정된 레이블 예산으로 단순 미세 조정보다 예측 오차와 인식론적 불확별성을 더 효과적으로 감소시켰습니다. RENEW는 더 높은 전이 정확도(예: 10x10 Maze에서 97.2% vs 93.2%)와 더 좁은 신뢰 구간을 달al성했습니다.
연속 제어(Continuous Control): 선호도 신호가 덜 뚜렷하기 때문에 연속적인 역학을 학습하는 것이 더 어렵지만, DLHF는 MountainCar와 Acrobot에서 지도 학습 베이스라인과 거의 대등한 성능을 보였습니다. RENEW는 그래디언트 단계가 제한된 경우(예: $K=8$ 후보자) 샘플 효율성 측면에서 이점을 보였습니다.

의의 및 주장

본 논문은 선호도가 월드 모델의 역학을 직접 감독할 수 있다는 초기 증거를 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

직접적인 역학 감독: 선호도를 사용하여 보상 함수를 학습하거나 정책을 정렬하는 기존 연구와 달리, 본 연구는 전이 모델 자체를 학습하는 데 사용합니다.
전문가 데이터 불필요: 이 접근 방식은 전문가의 시연, 보상 레이블, 또는 환경 상호작용을 요구하지 않으며, 이는 오프라인 모델 기반 RL의 주요 병목 현상을 해결합니다.
실용적인 수정 메커니즘: RENEW는 더 많은 데이터를 수집하거나 탐사를 제한하는 대신, 제한된 선호도 쿼리 예산을 사용하여 사전 학습된 모델의 모델 착취를 수정할 수 있는 실용적인 대안을 제시합니다.

저자들은 실험이 실제 인간 작업자가 아닌 합성 오라클을 사용했다는 점과, 소규모 이산 및 저차원 연속 환경으로 제한되었다는 점을 언급하며 현재의 범위에 대해 겸허한 태도를 유지하고 있습니다. 이들은 노이즈가 있는 인간 레이블을 통한 검증과 고차원 관측 공간으로의 확장이 중요한 다음 단계임을 밝히고 있습니다.