💻 computer science

Counterfactual Reasoning and Environment Design for Active Preference Learning

이 논문은 인과적 추론을 통해 인간의 선호도 순위 산정을 위한 다양하고 정보가 풍부한 쿼리를 생성함으로써 환경 설계와 궤적 선택을 공동으로 최적화하여, 장기 로봇 작업에서의 보상 추정 성능을 향상시키는 새로운 능동적 선호 학습 프레임워크인 CRED를 소개한다.

원저자: Yi-Shiuan Tung, Bradley Hayes, Alessandro Roncone

게시일 2026-07-23

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yi-Shiuan Tung, Bradley Hayes, Alessandro Roncone

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 세상을 항해하는 법을 가르친다고 상상해 보세요. 하지만 단순히 규칙 책을 건네줄 수는 없습니다. "항상 가장 빠른 경로를 택하라"거나 "잔디밭을 가로지르지 마라"고 말할 수도 없습니다. 왜냐하면 실제 삶은 복잡하기 때문입니다. 때로는 울퉁불퉁한 길을 가더라도 속도를 원할 수도 있고, 다른 때에는 시간이 더 걸리더라도 안전을 원할 수도 있습니다. 이것이 바로 **선호도 학습(Preference Learning)**의 핵심입니다. 선호도 학습은 로봇이 인간에게 직접 명령을 듣는 것이 아니라, 인간이 서로 다른 선택지 사이에서 무엇을 고르는지 관찰함으로써 인간이 무엇을 원하는지 배우는 분야입니다. 레스토랑의 맛 테스터를 떠올려 보세요. 로봇은 당신에게 두 가지 요리를 보여주며 "어느 것이 더 좋아 보이나요?"라고 묻기 전까지는 당신이 매콤한 것을 좋아하는지 달콤한 것을 좋아하는지 알지 못합니다.

하지만 문제가 하나 있습니다. 만약 로봇이 무작위로 두 개의 경로를 보여준다면, 너무나 형편없거나 똑같은 경로에 대해 묻느라 당신의 시간을 낭비하게 될 수도 있습니다. 이것을 **능동적 선호도 학습(Active Preference Learning)**이라고 합니다. 목표는 똑똑한 면접관이 되는 것입니다. 즉, 당신의 진정한 선호도를 최대한 빨리 파악하기 위해 '올바른' 질문을 던지는 것입니다. 하지만 복잡하고 긴 여정 속에서 어떤 질문을 던질지 결정하는 것은 매우 어렵습니다. 로봇은 종종 추측에만 의존하다가 헤매게 되며, 특히 자신이 본 적 없는 낯설고 생소한 환경에 맞닥뜨렸을 때 당신만의 독특한 의사결정 스타일을 배우는 데 실패하곤 합니다.

여기서 이 논문은 로봇을 위한 강력한 상상 엔진 역할을 하는 영리한 새로운 방법인 CRED를 소개합니다. 연구진인 Yi-Shiuan Tung, Bradley Hayes, Alessandro Roncone은 로봇이 단지 현재의 세상에 대해서만 질문하는 대신, 새로운 세상을 "상상"하고 "만약 ~라면 어떨까?"라는 질문을 던져야 한다고 제안합니다.

CRED가 어떻게 작동하는지 간단한 비유를 통해 알아보겠습니다. 당신이 친구가 가장 좋아하는 아이스크림 맛을 맞히려고 노력하고 있다고 상상해 보세요. 일반적인 로봇은 그저 "바닐라가 좋아, 초콜릿이 좋아?"라고 반복해서 물을 것입니다. 하지만 CRED는 다릅니다. 첫째, CRED는 **반사실적 추론(Counterfactual Reasoning)**을 사용합니다. 그것은 스스로에게 "만약 내 친구가 민트를 정말 좋아하지만 초콜릿은 싫어한다면 어떨까? 그렇다면 그들은 무엇을 선택할까?"라고 묻습니다. 로봇은 머릿속으로 이러한 "만 if" 시나리오를 시뮬레이션하여, 친구가 생각할 수 있는 모든 가능성을 포괄하는 다양하고 상상적인 선택지들을 만들어냅니다. 이는 로봇이 지루하고 반복적인 질문 대신 훨씬 더 흥미로운 질문을 생성하도록 돕습니다.

둘째, CRED는 **환경 설계(Environment Design)**를 사용합니다. 만약 당신의 친구가 초콜릿은 고급스러운 그릇에 담겨 나올 때만 좋아하고, 바닐라는 평범한 컵에 담겨 나올 때 좋아한다고 가정해 봅시다. 만약 당신이 항상 평범한 컵에 담아 제공한다면, 당신은 결코 그 사람의 진정한 선호를 배울 수 없을 것입니다. CRED는 '설정'이 중요하다는 것을 깨닫습니다. 로봇은 시뮬레이션 속에서 풀밭을 자갈길로 바꾸거나 날씨를 바꾸는 등 환경을 변화시키는 것을 "상상"하며, 이것이 선택에 어떤 변화를 주는지 확인합니다. 세계 자체를 미세하게 조정함으로써, 로봇은 당신의 선호를 가장 잘 드러낼 수 있는 완벽한 시나리오를 찾아낼 수 있습니다.

연구진은 이 아이디어를 두 가지 방식으로 테스트했습니다. 첫째, 모래, 풀, 자갈과 같은 다양한 지형이 있는 디지털 그리드 월드를 사용했습니다. 둘째, 배달 경로를 시뮬레이션하기 위해 OpenStreetMaps의 실제 지도 데이터를 사용했습니다. 그들은 CRED를 무작위로 경로를 선택하거나 현재 환경에 머물러 있는 다른 최상위 방법들과 비교했습니다.

결과는 유망했습니다. 시뮬레이션에서 CRED는 다른 방법들보다 훨씬 빠르게 "진정한" 선호를 학습했습니다. 다른 로봇들이 패턴을 파악하는 데 약 25번의 시도가 필요했던 반면, CRED는 종종 단 15번의 반복만으로 수렴했습니다. 더 중요한 것은, 로봇이 한 번도 본 적 없는 완전히 새로운 환경에 놓였을 때 CRED의 학습된 규칙이 훨씬 더 잘 작동했다는 점입니다. CRED는 단순히 연습했던 도로들을 암기한 것이 아니라, 선호의 '논리'를 학습했기에 일반화할 수 있었습니다. 예를 들어, 지도 테스트에서 CRED는 기존의 가장 좋은 방법과 비교했을 때 보상 예측 오차를 엄청난 차이로 줄였으며, 어떤 경우에는 거의 완벽한 정확도를 달ей했습니다.

이 논문은 "만약 ~라면 어떨까"라는 사고방식과 세상을 재설계하는 능력을 결합함으로써, 로봇이 우리를 훨씬 더 잘 이해할 수 있다고 제안합니다. 로봇은 모든 규칙을 들을 필요가 없습니다. 우리의 선택과 우리가 사는 세상 속의 가능성을 탐구함으로써 우리의 가치를 배울 수 있습니다. 현재 방식은 이러한 시뮬레이션을 실행하기 위해 많은 컴퓨팅 파워를 필요로 하지만, 저자들은 이 접근 방식이 현실 세계에서 인간의 요구에 진정으로 적응하는 로봇을 만드는 열쇠가 될 수 있다고 믿습니다.

기술 요약: 능동적 선호 학습을 위한 CRED

문제 정의

배송 경로 최적화와 같은 도메인에서 자율 로봇을 효과적으로 배치하려면 시간, 비용, 안전, 지형 조건과 같이 서로 상충하는 목표들 사이의 균형을 맞추는 인간의 선호를 적응적으로 학습해야 합니다. 선호 학습(Preference Learning, PL)은 수동적인 명세 없이 인간의 궤적 순위로부터 보상 함수를 학습할 수 있게 해주지만, 표준적인 능동적 선호 학습(Active Preference Learning, APL)은 상당한 과제에 직면해 있습니다. 기존 방식들은 종종 전체 궤적 공간을 효율적으로 탐색하는 데 어려움을 겪으며, 특히 장기 호라이즌(long-horizon) 작업에서 그러합니다. 이들은 흔히 사전에 생성된 궤적 집합이나 무작위 롤아웃(random rollouts)에 의존하는데, 이는 유익한 쿼리를 식별하지 못할 수 있습니다. 결과적으로, 학습된 보상 함수는 초기 훈련 단계에 존재하지 않았던 새로운 환경이나 시나리오로의 일반화 능력이 부족한 경우가 많습니다.

방법론: CRED

저자들은 환경 설계와 궤적 선택을 공동으로 최적화하여 보상 추정치를 개선하도록 설계된 쿼리 생성 방법인 CRED(Counterfactual Reasoning and Environment Design)를 제안합니다. CRED는 인간의 보상 함수가 궤적 특징들의 선형 결합( $R_H(\xi) = w^T \Phi(\xi)$ )으로 모델링되고, 시스템이 보상 가중치 $w$ 에 대한 신념 분포(belief distribution)를 유지하는 베이지안 프레임워크 내에서 작동합니다.

CRED는 다음 두 가지 핵심 메커니즘을 통해 기존 연구의 한계를 해결합니다:

1. 반사실적 추론 (Counterfactual Reasoning)

현재 신념의 평균으로부터 도출된 단일 정책에 기반하여 쿼리를 생성하는 대신, CRED는 "만약 ~라면 어떨까"라는 시나리오를 탐색합니다.

샘플링: 시스템은 현재 신념 분포로부터 다양한 보상 가중치 벡터( $w$ )를 샘상합니다.
정책 훈련: 각 샘플링된 가중치 벡터에 대해, 해당 보상을 최대화하도록 별도의 정책(예: PPO 또는 가치 반복법)을 훈련합니다.
궤적 생성: 이 정책들을 실행(rollout)하여 서로 다른 가설적 인간 선호를 나타내는 일련의 반사실적 궤적들을 생성합니다.
선택: 시스템은 이 궤적 쌍들을 평가하여 정보 이득 목적 함수(쿼리와 추정된 가중치 사이의 상호 정보량)를 최대화하며, 신념 분포의 불확실성을 가장 효과적으로 감소시키는 쌍을 선택합니다.

2. 환경 설계 (Environment Design)

환경 자체가 쿼리의 정보 가치에 영향을 미친다는 점을 인식하여, CRED는 환경 파라미터(예: 지형 유형, 엣지 가중치)를 최적화 가능한 변수로 취급합니다.

이중 레벨 최적화 (Bilevel Optimization): 이 문제는 정보 이득을 최대화하기 위해 환경 파라미터( $\theta_E$ )를 선택하는 상위 레벨과, 해당 환경에 대한 최적의 궤적 쌍을 찾는 하위 레벨로 구성된 이중 레벨 최적화로 정식화됩니다.
베이지안 최적화: 정보 이득 목적 함수는 일반적으로 환경 파라미터에 대해 미분 불가능하므로, CRED는 가우시안 프로세스(GP)와 상한 신뢰 경계(UCB) 획득 함수를 사용하는 베이지안 최적화를 채택하여 환경 파라미터 공간을 효율적으로 탐색합니다.
차원 축소: 고차원의 그리드 환경에서는 변이형 오토인코더(VAE)를 사용하여 환경 공간을 저차원의 잠재 공간으로 압축함으로써 최적화를 실행 가능하게 만듭니다.

주요 기여

APL을 위한 환경 설계: 다양한 맥락을 생성하기 위해 환경 파라미터를 수정하는 접근 방식으로, 시스템이 더 넓은 범위의 시나리오에 걸쳐 인간의 선호를 쿼리할 수 있게 하여 일반화 성능을 향提升합니다.
반사실적 쿼리 생성: 무작위 롤아웃이나 평균 신념 정책에 의존하는 대신, 다양한 가설적 선호를 반영하는 궤적 쌍을 생성하기 위해 반사실적 추론을 활용하는 방법입니다.
경험적 검증: 지형 유형이 변하는 GridWorld와 OpenStreetMap 데이터를 사용한 실제 내비게이션이라는 두 가지 뚜렷한 도메인에서의 실험을 통해 본 방법의 일반화 능력을 입증했습니다.

실험 결과

저자들은 무작위 롤아웃(RR), 평균 신념 정책(MBP), 그리고 절제된 버전(MBP + ED, CR 단독)을 포함한 최신 기술(SOTA) 베이스라인들과 CRED를 비교 평가했습니다. 실험에는 다양한 실제 ground-truth 보상 가중치를 가진 10명의 시뮬레이션 사용자가 활용되었습니다.

정보 이득: CRED는 베이스라인에 비해 유의미하게 높은 초기 정보 이득을 가진 선호 쿼리를 생성했습니다. 이는 훈련 초기 단계에서 신념 엔트로피의 더 빠른 감소로 이어졌습니다.
수렴 속도: CRED는 일반적으로 15회 반복 이내에 실제 보상 함수로 수렴한 반면, 가장 성능이 좋았던 베이스라인(RR)은 약 25회의 반복이 필요했습니다.
일반화 및 정확도: 테스트 환경(분포 외 시나리오)에서 CRED는 우수한 성능을 보였습니다:
- GridWorld: 최상의 베이스라인 대비 보상 차이를 84% 감소시켰고, 정책 정확도를 5% 절대적으로 향상시켰습니다.
- OpenStreetMaps: 보상 차이를 97% 감소시켰고, 정책 정확도를 1% 절대적으로 향상시켰습니다.
- OpenStreetMaps의 정책 정확도 및 자카드 유사도(Jaccard similarity)의 절대적 이득은 작아 보일 수 있으나, 저자들은 베이스라인의 성능이 이미 목표 도달에 대한 강력한 편향(약 90-99%)으로 인해 매우 높았음을 언급하며, 이러한 미미한 개선이 특정 사용자 선호에 대한 상당한 준수를 의미한다고 설명했습니다.

의의 및 한계점

본 논문은 CRED가 궤적 공간의 탐색과 환경 맥락의 영향력을 명시적으로 다룸으로써 로봇이 인간의 선호를 더 효과적이고 적은 반복 횟수로 학습할 수 있게 한다고 주장합니다. 새로운 시나리오를 "상상"하고 반사실적 선호에 대해 추론함으로써, 시스템은 새로운 환경에서도 더 잘 일반화되는 보상 함수를 학습합니다.

저자들은 주요 한계점으로 샘플링된 각 보상 가중치에 대해 강화 학습 정책을 훈련하는 데 따르는 계산 비용을 인정했습니다. 이들은 향-후 연구에서 병렬화 또는 다양한 보상 가중치에 대해 신속한 미세 조정을 수행할 수 있는 단일 정책을 개발하는 메타 학습 접근 방식을 통해 이를 해결할 수 있을 것이라고 제안합니다.