💻 computer science

CRED: Counterfactual Reasoning and Environment Design for Active Preference Learning

본 논문은 환경 설계와 반사실적 추론을 공동으로 최적화하여 인간 피드백을 위한 고정보량 궤적 비교를 생성함으로써 보상 추론의 효율성과 정확성을 향상시키는 새로운 능동적 선호 학습 프레임워크인 CRED 를 제안합니다.

원저자: Yi-Shiuan Tung, Gyanig Kumar, Wei Jiang, Bradley Hayes, Alessandro Roncone

게시일 2026-03-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yi-Shiuan Tung, Gyanig Kumar, Wei Jiang, Bradley Hayes, Alessandro Roncone

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇의 행동을 가르치려는데 로봇의 언어를 할 수 없다고 상상해 보세요. "항상 잔디 길을 따라가라"거나 "노트북 위를 절대 떠다니지 마라"는 식의 규칙집을 작성할 수 없습니다. 대신 로봇에게 취할 수 있는 두 가지 다른 경로를 보여주고 "어느 쪽이 더 마음에 드시나요?"라고 물어봐야 합니다.

이것이 능동적 선호 학습 (Active Preference Learning, APL) 의 핵심입니다. 로봇은 질문을 통해 배웁니다. 하지만 문제는 로봇이 지루한 질문을 반복하거나, 서로 완전히 동일한 경로에 대해서만 질문한다면 학습 속도가 매우 느려진다는 점입니다. 마치 바닐라와 바닐라 사이에서만 선택을 요구하며 누군가의 좋아하는 아이스크림 맛을 추측하려는 것과 같습니다.

이 논문은 로봇이 더 나은 질문을 할 수 있도록 돕는 CRED(Counterfactual Reasoning and Environment Design, 반사실적 추론 및 환경 설계) 라는 새로운 방법을 소개합니다. CRED 를 당신의 학습을 더 빠르고 쉽게 만드는 두 가지 특별한 비법을 사용하는 "수퍼 교사"로 생각하세요.

CRED 의 두 가지 수퍼 비법

1. "만약에?" 게임 (반사실적 추론)

보통 로봇은 두 개의 무작위 경로를 선택해 당신에게 고르라고 할 뿐입니다. 하지만 CRED 는 더 똑똑합니다. CRED 는 "만약에?"라는 정신 게임을 합니다.

로봇이 당신의 취향에 대해 감을 잡았지만 확신하지 못한다고 가정해 봅시다. 로봇은 "아마도 당신은 잔디를 싫어할지도 모른다, 하지만 실제로는 잔디를 좋아할지도 모른다"라고 생각합니다.

기존 방식: 로봇은 현재 가장 유력한 추측을 바탕으로 두 경로를 선택합니다.
CRED 방식: 로봇은 다른 버전의 당신을 상상합니다. "내 추측이 틀렸다면 어떨까? 만약 당신이 실제로 자갈길을 더 선호한다면?"이라고 묻습니다. 그런 다음 그 "상상의 당신"에게 완벽한 경로를 만들어냅니다.

"현재 추측"을 위한 경로와 "상상 속 추측"을 위한 경로를 비교함으로써 로봇은 당신의 가능한 선호도 사이에서 가장 큰 차이를 부각시키는 질문을 만듭니다. 이는 거의 똑같이 생긴 두 사람을 비교하는 대신, 범인을 파악하기 위해 매우 다른 두 용의자를 비교하는 탐정처럼, 로봇에게 가장 유용한 정보를 제공하는 선택을 하도록 강요합니다.

2. "무대 디자이너" (환경 설계)

로봇이 훌륭한 질문을 하더라도, 배경이 지루하다면 그 질문은 쓸모없을 수 있습니다. 로봇에게 도로 운전법을 가르치려는데, 항상 빈 직선 고속도로만 보여준다면 로봇은 울퉁불퉁한 흙길이나 자갈길을 어떻게 처리해야 하는지 결코 배우지 못할 것입니다.

CRED 는 환경 자체가 로봇이 바꿀 수 있는 변수임을 깨닫습니다.

기존 방식: 로봇은 매번 같은 고정된 방이나 같은 고정된 도로에서 질문을 합니다.
CRED 방식: 로봇은 무대 디자이너처럼 행동합니다. "좋아, 당신이 자갈길을 싫어하는지 확인하려면 이 특정 질문을 위해 도로를 온통 자갈로 바꿔보자"라고 말합니다. 로봇은 당신의 선호도가 실제로 중요해지는 시나리오를 만들기 위해 세계를 능동적으로 설계합니다 (지형 변경, 장애물 이동, 바람 조절 등).

"무대"를 바꾸면 로봇은 "좋은" 행동과 "나쁜" 행동 사이의 차이가 매우 명확해지는 상황을 만들 수 있어, 당신이 답변하기가 훨씬 쉬워집니다.

어떻게 함께 작동하는가

CRED 는 이 두 가지 비법을 루프 형태로 결합합니다:

상상: 당신이 좋아할 수 있는 다양한 것들을 추측합니다 (반사실적 상황).
설계: 그 다양한 취향이 매우 다른 경로로 이어지는 특정 환경을 구축합니다 (환경 설계).
질문: 그 두 가지 매우 다른 경로를 보여주고 "어느 쪽이요?"라고 묻습니다.
학습: 당신의 답변을 바탕으로 당신에 대한 이해를 업데이트합니다.

결과: 더 빠르고 덜 피곤함

연구진은 세 가지 시나리오에서 이를 테스트했습니다:

달 착륙선: 바람이 불어대는 달 표면에서 착륙하는 로봇.
테이블탑: 전자기기로 가득 찬 messy 한 테이블 위를 커피를 들고 이동하는 로봇.
내비게이션: 포장도로와 잔디길 사이를 선택하는 배송 로봇.

결과는 명확했습니다:

정확도: CRED 는 기존 방법보다 훨씬 빠르고 정확하게 인간의 "진짜" 선호도를 학습했습니다. 정답을 얻기 위해 필요한 질문 수가 적었습니다.
인간 경험: 실제 사람들이 연구에 참여했을 때, 그들은 CRED 의 질문이 답변하기 더 쉬웠다고 느꼈습니다. 로봇이 혼란스럽거나 반복적인 질문을 하지 않았기 때문에 정신적 피로감 (낮은 "정신적 부하") 이 적었습니다. 선택지는 명확하고 의미 있었습니다.

한 마디로 요약

CRED 는 로봇이 인간으로부터 배우는 더 똑똑한 방법입니다. 무작위로 당신의 원하는 것을 추측하는 대신, "만약에?" 시나리오를 만들기 위해 상상력을 사용하고, 그 시나리오가 명확해지도록 환경을 변경합니다. 이를 통해 로봇은 더 적은 질문으로, 당신을 미치게 하지 않고 당신의 선호도를 빠르게 학습할 수 있습니다.

기술 요약: CRED – 능동적 선호도 학습을 위한 반사유 및 환경 설계

문제 제기
로봇 시스템이 점점 더 복잡하고 예측 불가능한 환경에서 작동함에 따라, 원하는 행동을 달성하기 위해 최적화 목표를 명시적으로 지정하고 균형을 맞추는 것은 비현실적이게 되었습니다. 능동적 선호도 학습 (APL) 은 궤적 순위에서 인간의 보상 함수를 추론함으로써 해결책을 제시하지만, 기존 방법들은 상당한 한계에 직면해 있습니다. 현재 접근 방식들은 일반적으로 고정된 데이터셋이나 재생 버퍼에서 궤적 쿼리를 샘플링합니다. 이러한 제한은 쿼리의 다양성을 제한하여 경쟁적인 보상 함수들을 구별하는 데 필요한 정보적 비교를 식별하지 못하는 경우가 많습니다. 또한, 단일 고정 환경 내에서 쿼리를 생성하는 것은 데이터의 정보 가치를 제한하여, 보지 못한 시나리오에 잘 일반화되지 않는 학습된 보상으로 이어질 수 있습니다. 핵심 과제는 학습된 보상 함수가 다양한 문맥에서 일반화되도록 보장하면서 정보 획득을 극대화하는 선호도 쿼리를 효율적으로 생성하는 것입니다.

방법론
이 논문은 환경 설계와 궤적 선택을 동시에 최적화하는 능동적 선호도 학습 (APL) 을 위한 새로운 프레임워크인 CRED(반사유 및 환경 설계) 를 제안합니다. 이 시스템은 이중 최적화 문제 (그림 2) 로 작동합니다:

반사유 (내부 최적화):
무작위 롤아웃이나 고정 버퍼에 의존하는 대신, CRED 는 알려지지 않은 보상 가중치 $w$ 에 대한 베이지안 믿음 분포를 유지합니다. 이 믿음에서 다양한 가중치 벡터를 샘플링하고 "만약 이 특정 가중치 벡터가 진정한 선호도라면 어떻게 될까?"라는 반사유 질문을 던집니다. 각 샘플링된 가중치 $w_i$ 에 대해, 시스템은 해당 가설 하에서 보상을 최대화하는 최적 궤적 $\xi_i$ 를 생성합니다 (강화 학습 또는 CHOMP 와 같은 궤적 최적화 방법 사용). 이러한 반사유 궤적 쌍 간의 정보 획득 (쿼리와 보상 가중치 간의 상호 정보) 을 평가함으로써, CRED 는 사용자에게 제시할 가장 정보적인 비교를 식별합니다.
환경 설계 (외부 최적화):
CRED 는 환경 자체가 어떤 궤적이 실행 가능한지와 어떤 특징이 관찰 가능한지를 결정한다는 점을 인식합니다. 쿼리의 정보성을 극대화하기 위해, 시스템은 환경 매개변수 $\theta$ (예: 지형 유형, 장애물 배치, 바람 조건) 를 최적화 가능한 변수로 취급합니다. 베이지안 최적화를 사용하여 CRED 는 반사유 궤적과 결합되었을 때 가장 높은 기대 정보 획득을 산출하는 환경 구성을 탐색합니다. 이를 통해 시스템은 경쟁적인 보상 가설 간의 차이를 더 잘 드러내는 새로운 시나리오를 "상상"(예: 잔디에서 자갈로 지형 변경) 할 수 있습니다.

주요 기여

새로운 쿼리 생성 프레임워크: CRED 는 반사유와 환경 설계를 통합하여 고정된 궤적 세트를 넘어설 수 있게 하며, 다양하고 매우 정보적인 선호도 쿼리의 합성을 가능하게 합니다.
이중 최적화 공식화: 이 논문은 외부 루프가 환경 $\theta$ 를 선택하고 내부 루프가 궤적 쌍 $(\xi_A, \xi_B)$ 를 선택하는 이중 최적화 문제로 문제를 공식화하여, 환경 설계와 쿼리 합성을 효과적으로 결합합니다.
베이지안 추론 통합: 이 방법은 적응형 메트로폴리스 알고리즘을 활용하여 보상 가중치에 대한 믿음을 유지하고, 반사유 생성 과정을 주도하기 위해 다양한 가설을 샘플링합니다.

실험 결과
저자들은 세 가지 시뮬레이션 도메인 (달 착륙선, 탁상 조작, 항해) 과 25 명의 참가자가 참여한 사용자 연구를 통해 CRED 를 평가했습니다.

보상 정확도 및 효율성: 시뮬레이션에서 CRED 는 최첨단 기준 (무작위 롤아웃 및 평균 믿음 정책) 일관적으로 능가했습니다. 최종 보상 정확도가 더 높았으며 (예: 달 착륙선에서 0.998, 탁상에서 0.979), 훨씬 더 빠르게 수렴하여 종종 10 회 반복 이내에 95% 이상의 정확도를 달성했습니다.
절차 제거 연구: 실험은 반사유와 환경 설계가 상호 보완적임을 확인했습니다. 어느 한 구성 요소라도 제거하면 정확도가 낮아지거나 수렴 속도가 느려졌습니다.
도메인 무작위화와 비교: CRED 는 환경을 균일하게 무작위로 샘플링하는 도메인 무작위화보다 훨씬 더 우수한 성능을 보였으며, 베이지안 최적화를 통해 정보적인 환경을 능동적으로 탐색하는 것이 무작위 샘플링보다 우월함을 입증했습니다.
사용자 연구: 인간 - 로봇 상호작용 작업에서 CRED 와 상호작용한 참가자들은 기준 방법들에 비해 정신적 작업 부하 (NASA-TLX 로 측정) 가 낮다고 보고했으며, 궤적 비교를 평가하기가 더 쉬웠습니다. CRED 는 또한 조작 및 항해 작업 모두에서 실제 선호도와 더 높은 보상 상관관계를 달성했습니다.

의의 및 주장
이 논문은 CRED 가 기존 방법들의 확장성 및 일반화 한계를 해결함으로써 능동적 선호도 학습에서 중요한 진전을 이루었다고 주장합니다. 환경과 쿼리를 공동으로 최적화함으로써 CRED 는 로봇이 더 정확할 뿐만 아니라 다양한 시나리오에 걸쳐 견고한 보상 함수를 학습할 수 있게 합니다. 저자들은 그들의 접근 방식이 더 적은 사용자 쿼리로 더 효율적인 학습을 가능하게 하고 인간 사용자의 인지적 부담을 줄인다고 주장합니다. 이 프레임워크는 다양한 정책 클래스 (예: PPO, 가치 반복) 와 도메인 전반에 걸쳐 일반화 가능하게 제시되지만, 저자들은 현재 이점 최적화 공식화의 계산적 복잡성을 한계로 인정합니다.