Improving through Interaction: Searching Behavioral Representation Spaces with CMA-ES-IG

이 논문은 로봇이 인간의 선호도를 학습할 때 단순한 학습 효율성뿐만 아니라 사용자의 경험까지 고려하여, CMA-ES-IG 알고리즘을 통해 더 효과적이고 사용자 친화적인 행동 표현 공간을 탐색하는 방법을 제안하고 실험을 통해 검증합니다.

핵심

이 논문은 **"로봇이 사람과 함께 일할 때, 어떻게 하면 로봇이 사람의 취향을 더 잘 이해하고 가르치는 과정이 더 즐겁게 될까?"**라는 질문에 답합니다.

기존의 방법들은 로봇이 "정답"을 빨리 찾는 것만 중요하게 여겨, 사용자에게는 지루하거나 혼란스러운 질문을 던지곤 했습니다. 이 논문은 CMA-ES-IG라는 새로운 알고리즘을 제안하며, **"로봇이 가르치는 과정 자체가 사용자 경험 (UX) 을 고려해야 한다"**는 점을 강조합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

🎨 비유: "요리사 (로봇) 와 미식가 (사용자) 의 관계"

상상해 보세요. 당신이 미식가 (사용자) 이고, 로봇은 당신의 입맛에 맞춰 요리를 개발하려는 요리사입니다.

1. 기존 방법들의 문제점 (왜 가르치기가 힘들었을까?)

• 정보 획득 (Infogain) 방식: "수학자 같은 요리사"

  • 이 요리사는 "어떤 재료를 섞으면 내 입맛을 가장 정확히 파악할 수 있을까?"만 생각합니다.
  • 문제: 당신이 "매운맛"을 원하는데, 요리사가 "매운맛"과 "매운맛"을 거의 구분할 수 없는 두 가지 요리를 보여줄 수 있습니다. "어느 게 더 매워요?"라고 물어보면 당신은 "글쎄... 비슷하네?"라고 답할 수밖에 없습니다.
  • 결과: 요리사는 데이터는 많이 얻지만, 당신이 실제로 원하는 "맛있는 요리"를 만드는 데는 시간이 걸립니다. 당신은 "이 요리사는 내가 뭘 원하는지 전혀 모르네"라고 느끼게 됩니다.

• CMA-ES 방식: "열정적인 요리사"

  • 이 요리사는 "내가 만든 요리가 점점 더 맛있어지도록" 노력합니다. 매번 요리를 조금씩 수정해서 보여줍니다.
  • 문제: 하지만 두 요리의 맛이 너무 비슷하게 변합니다. "이건 약간 더 짰고, 저건 약간 더 달았어"라고 말하지만, 당신의 입맛에는 그 차이가 거의 느껴지지 않습니다.
  • 결과: 당신은 "어느 게 더 나은지 구분하기 너무 힘들어"라고 답하게 되고, 요리사는 당신의 혼란스러운 반응을 오해하여 엉뚱한 방향으로 요리를 발전시킵니다.

2. 새로운 해결책: CMA-ES-IG (완벽한 요리사)

이 논문이 제안한 CMA-ES-IG는 위 두 가지의 장점을 모두 합친 현명한 요리사입니다.

• 전략: "내가 보여줄 두 가지 요리는 분명히 다르지만 (구분하기 쉬움), 동시에 점점 더 당신의 입맛에 가까워지는 (맛이 좋아지는) 요리여야 해!"라고 생각합니다.
• 작동 원리:
  1. 차별화: 요리사는 "이건 아주 매운 스프, 저건 아주 달콤한 스프"처럼 분명히 다른 두 가지를 보여줍니다. 그래서 당신은 "아, 나는 매운 게 더 좋아!"라고 명확하게 답할 수 있습니다.
  2. 진화: 동시에 그 두 가지 요리 모두 "이전보다 더 맛있어지도록" 조정합니다.
  3. 결과: 당신은 매번 "어떤 게 더 나은지 쉽게 고를 수 있고", 동시에 "로봇이 점점 내 취향을 잘 알아가는 것"을 눈으로 확인할 수 있습니다.

---

🚀 이 기술이 왜 중요한가요? (3 가지 핵심 이점)

1. 복잡한 문제도 척척 (고차원 공간 해결):

   • 로봇이 고려해야 할 변수가 수백 개라도 (예: 손가락 움직임, 속도, 각도 등), 이 알고리즘은 혼란스러워하지 않고 효율적으로 답을 찾습니다. 마치 복잡한 레시피를 가진 요리를 한 번에 파악하는 것처럼요.

2. 실수해도 괜찮아요 (노이즈 내성):

   • 사용자가 "음... 이쪽이 더 나은 것 같아?"라고 약간 헷갈려서 틀린 답을 줘도, 알고리즘은 "아, 저 사람은 이 정도는 괜찮구나"라고 유연하게 받아들입니다.

3. 가장 중요한 것: "배우는 과정"이 즐겁다 (사용자 경험):

   • 기존 방식은 로봇이 배우는 동안 사용자는 "내가 뭘 하고 있는 거지?"라고 느끼게 만들었습니다. 하지만 CMA-ES-IG 는 로봇이 점점 더 잘해가는 모습을 보여주면서, 사용자가 "내가 가르치고 있구나!"라는 성취감을 느끼게 합니다.

📊 실험 결과: 실제로 효과가 있을까?

연구진은 시뮬레이션과 실제 로봇 실험을 통해 이를 증명했습니다.

• 물리적 작업: 로봇 팔이 물건을 건네줄 때 (컵, 숟가락 등)
• 사회적 작업: 로봇이 기쁨, 슬픔, 분노를 표현하는 제스처를 할 때

사용자들은 CMA-ES-IG 방식을 사용했을 때, **"로봇이 내 마음을 더 잘 알아듣는다"**고 느꼈고, **"가르치는 과정이 훨씬 쉽고 직관적이었다"**고 평가했습니다. 특히, 로봇이 점점 나아지는 모습을 보며 사용자의 만족도가 가장 높았습니다.

💡 결론

이 논문은 로봇 공학자에게 중요한 메시지를 줍니다.

"로봇이 정답을 찾는 것만 중요하지 않다. 로봇이 그 정답을 배우는 과정에서 사용자가 얼마나 즐겁고 명확하게 참여할 수 있는지가 더 중요하다."

CMA-ES-IG 는 로봇이 사용자와 함께 성장하는 동반자가 되도록 돕는, 매우 인간적인 접근법입니다. 앞으로 우리가 집이나 직장에서 만나는 로봇들은 이 기술을 통해 우리 취향을 더 잘 이해하고, 가르치는 과정이 더 자연스러워질 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

로봇이 인간 중심 환경에서 효과적으로 작동하려면 개별 사용자의 선호도에 맞춰 행동을 적응해야 합니다. 비전문가 사용자는 프로그래밍 지식 없이 로봇의 행동 (궤적, 제스처, 음성 등) 을 순위로 매겨 (Ranking) 선호도를 표현할 수 있습니다.

기존의 인간 - 로봇 상호작용 (Human-in-the-loop) 최적화 기법들은 주로 **최종 학습 결과 (정확도)**나 샘플 효율성을 최적화하는 데 집중했습니다. 그러나 이 과정에서 사용자의 **경험 (User Experience)**을 간과하는 문제가 발생했습니다.

• 정보 획득 (Information Gain) 기반 접근법: 사용자의 불확실성을 줄이기 위해 통계적으로 유익한 궤적을 제안하지만, 제안된 궤적들이 사용자에게는 지각적으로 구별하기 어렵거나 (너무 비슷함), 로봇의 성능이 나빠 보일 수 있어 사용자의 학습 과정을 혼란스럽게 만듭니다.
• CMA-ES 기반 접근법: 사용자의 선호도에 따라 점진적으로 성능이 향상되는 궤적을 제안하지만, 다변량 정규 분포에서 샘플링된 궤적들이 지각적으로 매우 유사하여 사용자가 순위 매기기를 어렵게 하거나 노이즈가 많은 피드백을 유발할 수 있습니다.

핵심 문제: 기존 방법들은 "학습의 정확성"과 "사용자의 직관적 이해/편의성" 사이의 균형을 맞추지 못했습니다. 사용자는 로봇이 자신의 피드백에 따라 명확하게 개선되고 있음을 느끼면서도, 순위 매기기가 쉬워야 합니다.

2. 제안된 방법론: CMA-ES-IG (Methodology)

저자들은 Covariance Matrix Adaptation Evolution Strategy with Information Gain (CMA-ES-IG) 알고리즘을 제안합니다. 이는 명시적 (Explicit) 인 정보 획득과 암시적 (Implicit) 인 최적화 기법의 장점을 결합한 하이브리드 접근법입니다.

• 핵심 아이디어:
  1. CMA-ES (성능 향상): 사용자의 선호도 (보상 함수) 를 추정하여 고보상 영역으로 탐색 방향을 조정합니다. 이는 로봇이 시간이 지남에 따라 사용자의 선호도에 맞춰 행동이 개선되도록 합니다.
  2. 정보 획득 (Information Gain, 지각적 구별성): 사용자가 순위 매기기를 쉽게 하도록 제안된 궤적들이 지각적으로 뚜렷하게 구분되도록 합니다.
• 알고리즘 프로세스 (Algorithm 1):
  1. CMA-ES 는 다변량 가우시안 분포 $N(\mu, C)$에서 $D$개의 후보 궤적을 샘플링합니다.
  2. K-Means 클러스터링: 샘플링된 궤적들을 $K$개의 클러스터로 묶습니다.
  3. 쿼리 생성: 각 클러스터의 **센트로이드 (Centroid)**를 선택하여 사용자에게 순위 매기기를 요청하는 $K$개의 궤적 ($Q$) 을 구성합니다.
  4. 업데이트: 사용자의 순위 피드백을 받아 CMA-ES 의 평균 ($\mu$) 과 공분산 행렬 ($C$) 을 업데이트하며, 베이지안 규칙을 통해 선호도 파라미터 ($\omega$) 에 대한 신념 (Belief) 을 갱신합니다.

이러한 클러스터링 기반 가지치기 (Quantization-based pruning) 전략은 CMA-ES 의 샘플링이 지각적으로 유사한 궤적들을 생성하는 것을 방지하고, 사용자가 명확하게 구분할 수 있는 다양한 궤적을 제공하여 순위 매기기 노이즈를 줄입니다.

3. 주요 기여 (Key Contributions)

1. 새로운 알고리즘 (CMA-ES-IG): 학습 정확도와 사용자 경험을 동시에 최적화하는 새로운 휴먼 - 인 - 더 - 루프 최적화 알고리즘을 제안했습니다.
2. 고차원 공간에서의 확장성: 기존 방법론 (특히 정보 획득 기반) 이 고차원 표현 공간에서 계산 비용이 급증하거나 성능이 저하되는 문제를 해결하여, 고차원 선호도 공간에서도 계산적으로 실행 가능 (Tractable) 합니다.
3. 사용자 경험 중심 설계: 로봇이 사용자의 피드백에 따라 점진적으로 개선되는 것을 시각적으로 보여줌으로써 (Behavioral Adaptation) 사용자의 신뢰와 참여도를 높입니다.
4. 광범위한 검증: 시뮬레이션 (물리적/사회적 작업) 과 실제 로봇 실험 (JACO2 팔, Blossom 로봇) 을 통해 알고리즘의 유효성을 입증했습니다.

4. 실험 결과 (Results)

A. 시뮬레이션 실험

• 차원 확장성 (RQ1): 다양한 차원 ($d=4, 8, 16, 32$) 에서 성능을 평가했습니다.
  • 저차원 ($d<10$) 에서는 기존 'Infogain'이 약간 우세했으나, 고차원 ($d \ge 16$) 에서는 CMA-ES-IG 가 정렬 (Alignment) 과 후회 (Regret) 측면에서 Infogain 과 CMA-ES 를 모두 유의미하게 능가했습니다.
  • 계산 효율성: 고차원 문제에서 CMA-ES-IG 는 Infogain 보다 약 500~1000 배 빠른 쿼리 생성 시간을 보였습니다.
• 표현 공간의 다양성 (RQ2): 달 착륙선 (Lunar Lander), 자율 주행, 로봇 얼굴/음성 디자인 등 4 가지 다른 표현 공간에서 테스트했습니다.
  • CMA-ES-IG 는 모든 작업에서 Infogain 과 CMA-ES 와 동등하거나 더 나은 정확도를 보였으며, 특히 시간에 따른 제안된 궤적의 품질 (Quality) 이 지속적으로 향상되는 것을 확인했습니다.

B. 실제 사용자 연구 (Real-World Experiments)

• 실험 설정: 14 명의 참가자가 JACO2 로봇 팔 (사물 전달) 과 Blossom 로봇 (감정 표현 제스처) 에 대해 선호도를 학습하는 과제를 수행했습니다.
• 평가 지표: 행동 적응도 (Behavioral Adaptation, BA), 사용 용이성 (Ease of Use, EOU), 선호도 순위.
• 결과:
  • 행동 적응도 (BA): 사용자는 CMA-ES-IG 를 Infogain 보다 로봇이 자신의 피드백에 따라 더 잘 적응한다고 평가했습니다 ($p=0.009$).
  • 사용 용이성 (EOU): CMA-ES-IG 는 CMA-ES 보다 순위 매기기가 더 쉬웠습니다 ($p=0.016$).
  • 전체 선호도: 사용자는 CMA-ES-IG 를 가장 선호하는 알고리즘으로 선정했습니다 (평균 순위 1.48, 1 이 최상위).

5. 의의 및 결론 (Significance)

이 연구는 로봇 학습 분야에서 "학습의 정확성"과 "사용자의 경험"을 분리하여 고려하지 않고 통합적으로 최적화해야 함을 강조합니다.

• 기술적 의의: CMA-ES 의 강력한 최적화 능력과 정보 획득의 견고한 샘플링 전략을 결합하여, 고차원 문제에서도 계산 효율성을 유지하면서 사용자의 인지 부하를 줄이는 새로운 패러다임을 제시했습니다.
• 실용적 의의: 비전문가 사용자가 로봇을 쉽게 가르칠 수 있도록 하여, 개인화된 보조 로봇 (Assistive Robots) 의 실제 배포와 수용성을 높이는 데 기여합니다.
• 향후 방향: 사전에 수집된 데이터셋에 대한 의존성을 줄이기 위해 실시간 정책 제어 (Policy Steering) 와 결합하거나, 다양한 입력 장치 (시선 추적, 음성 등) 를 가진 사용자를 위한 적응형 인터페이스 개발로 확장할 수 있습니다.

요약하자면, CMA-ES-IG는 로봇이 사용자의 선호도를 학습하는 과정에서 사용자가 "무엇을 선택해야 할지 고민하지 않게 (지각적 구별성)" 하면서도, "로봇이 점점 더 잘해가는 것을 느끼게 (점진적 개선)" 하는 이상적인 상호작용을 가능하게 하는 알고리즘입니다.