🤖 machine learning

Leveraging Human Feedback for Semantically-Relevant Skill Discovery

이 논문은 인간의 피드백을 통해 의미 있는 행동에 레이블을 지정하는 '시맨틱 레이블링(semantic labelling)' 기법을 도입하여, 기존의 피드백 효율성 문제를 해결하고 다양하면서도 인간이 의도한 의미에 부합하는 기술을 효율적으로 발견하는 'SRSD' 방법론을 제안합니다.

원저자: Maxence Hussonnois, Thommen George Karimpanal, Santu Rana

게시일 2026-04-28

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Maxence Hussonnois, Thommen George Karimpanal, Santu Rana

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 문제 상황: "엉뚱한 천재" AI

상상해 보세요. 어떤 아이에게 "자유롭게 몸을 움직여봐!"라고 했더니, 이 아이가 아주 놀라운 능력을 갖게 되었습니다. 그런데 문제는 이 아이가 **'축구'**를 배우라고 했더니, 공을 차는 법을 배우는 게 아니라 **'자기 발가락을 꼼지락거리는 법'**이나 '바닥에 누워 뒹굴기' 같은 기술을 엄청나게 정교하게 마스터해버린 거예요.

기존의 AI(강화학습)는 이렇습니다. 스스로 새로운 행동을 찾아내긴 하지만, 그 행동이 사람에게 유용한지(축구 기술), 아니면 그냥 의미 없는 움직임인지(발가락 꼼지락) 구분하지 못합니다. 그래서 AI가 아주 복잡하고 다양한 기술을 배우긴 해도, 정작 우리가 필요로 하는 '달리기', '점프하기' 같은 기술은 놓치기 일쑤였죠.

2. 기존 방식의 한계: "지루한 시험 문제"

그동안 과학자들은 이 문제를 해결하려고 사람에게 물어봤습니다. "A 행동이 좋아, B 행동이 좋아?"라고 물어보는 방식(선호도 기반 학습)이죠.

하지만 이건 너무 비효율적입니다. 만약 AI가 배워야 할 기술이 100가지라면, 사람은 매번 "이게 좋아, 저게 좋아?"라는 질문에 답하다가 지쳐버릴 겁니다. 마치 수능 시험을 보는데, 문제 하나하나마다 "이 답이 맞니, 저 답이 맞니?"라고 계속 물어보는 것과 같아서 학습 속도가 너무 느려집니다.

3. 이 논문의 해결책: "이름표 붙여주기 (Semantic Labelling)"

이 논문에서 제안한 SRSD라는 방법은 훨씬 똑똑합니다. 사람에게 "뭐가 좋아?"라고 묻는 대신, **"이 행동이 무슨 행동인지 이름표를 붙여줘!"**라고 요청합니다.

비유: 아이가 새로운 동작을 할 때마다, 선생님이 옆에서 **"그건 '달리기'야!", "그건 '공 차기'야!", "그건 '아무 의미 없는 행동'이야!"**라고 딱딱 이름을 붙여주는 겁니다.

이렇게 하면 사람은 훨씬 적은 노력으로도 AI에게 엄청난 정보를 줄 수 있습니다. "이건 달리기야"라는 이름표 하나만 붙여줘도, AI는 '아, 달리기라는 카테고리에는 이런 움직임들이 포함되는구나!'라고 훨씬 빠르게 깨닫게 됩니다.

4. 핵심 기술: "똑똑한 보상 시스템"

논문은 단순히 이름표만 붙이는 게 아니라, AI가 그 이름표를 스스로 이해하도록 세 가지 보상을 섞어서 줍니다.

"다양하게 해봐!" (Diversity): 똑같은 동작만 반복하지 말고, 최대한 새로운 동작을 시도해라.
"새로운 걸 찾아봐!" (Exploration): 아직 안 가본 길, 안 해본 동작을 탐험해라.
"의미 있는 걸 해!" (Relevance - 핵심!): 사람이 붙여준 이름표(달리기, 점프 등)에 해당하는 동작을 할 때마다 큰 상을 주겠다!

5. 결과: "진짜 쓸모 있는 기술을 가진 AI"

실험 결과, 이 방식(SRSD)을 사용한 AI는 기존 방식보다 훨씬 더 **'사람이 이해할 수 있는 다양한 기술'**을 잘 배웠습니다.

축구 로봇이라면: 그냥 발을 휘두르는 게 아니라, '달리기', '공 차기', '뒤로 돌기' 같은 구체적이고 의미 있는 기술들을 골고루 마스터했습니다.
효율성: 사람의 피드백을 아주 조금만 써도, 기존 방식보다 훨씬 빠르게 유용한 기술을 찾아냈습니다.

요약하자면!

이 논문은 AI가 **"의미 없는 엉뚱한 행동"**에 빠지지 않고, 사람이 원하는 **"의미 있는 기술(달리기, 점프 등)"**을 아주 빠르고 효율적으로 배울 수 있도록, 사람이 행동에 '이름표'를 붙여주는 방식을 제안한 것입니다.

이제 AI는 단순히 '움직이는 기계'를 넘어, 우리가 이름을 붙여준 '기술'을 가진 진짜 파트너로 성장할 수 있는 발판을 마련한 셈입니다.

[기술 요약] 의미론적 관련성을 고려한 기술 발견을 위한 인간 피드백 활용

1. 문제 정의 (Problem Statement)

강화학습(RL)에서 **비지도 기술 발견(Unsupervised Skill Discovery)**은 에이전트가 보상 함수 없이도 스스로 다양하고 유용한 행동(기술)을 학습하도록 하는 것이 목표입니다. 그러나 기존 방식들은 다음과 같은 한계가 있습니다.

정렬 문제 (Alignment Issue): 무제한적인 기술 발견은 안전하지 않거나, 비윤리적이거나, 사용자의 의도와 맞지 않는(misaligned) 행동을 생성할 위험이 있습니다.
피드백 효율성 저하 (Feedback Inefficiency): 최근 인간의 선호도(Preference)를 활용하는 방식이 제안되었으나, 기술의 종류(예: 달리기, 점프, 걷기 등)가 많아질수록 인간이 일일이 비교해야 하는 양이 기하급수적으로 늘어나 매우 비효율적입니다.
의미론적 다양성 부족 (Lack of Semantic Diversity): 선호도 기반 방식은 특정 행동(예: 앞으로 달리기)에만 치중되어, 실제 맥락에서 필요한 다양한 기술(예: 뒤로 달리기, 점프하기 등)을 골고루 발견하지 못하는 경향이 있습니다.

2. 제안 방법론 (Methodology: SRSD)

본 논문은 인간의 인지적 강점인 '의미론적 범주화(Semantic Categorization)' 능력을 활용하는 SRSD(Semantically Relevant Skill Discovery) 프레임워크를 제안합니다.

A. 의미론적 라벨링 (Semantic Labelling)

기존의 "A가 B보다 좋다"는 식의 선호도 비교 대신, 인간이 관찰된 행동에 대해 직접적인 라벨을 부여합니다.

과정: 인간은 특정 궤적(Trajectory)을 보고 "관련 없음(Irrelevant)"으로 표시하거나, 관련이 있다면 "달리기", "공 차기"와 같은 **의미론적 범주(Semantic Category)**를 지정합니다.
효율성: 이는 기술의 종류( $|C|$ )가 늘어나더라도 피드백의 정보량이 일정하게 유지되므로, 선호도 방식보다 훨씬 효율적입니다 ( $O(1)$ vs $O(1/|C|)$ ).

B. SRSD 프레임워크 구성 요소

의미론적 예측기 (Semantic Predictor): 인간의 라벨을 학습하여, 특정 행동이 어떤 의미론적 범주에 속할 확률을 예측하는 신경망 $p_\psi(c|\sigma)$ 를 구축합니다.
다중 목적 보상 함수 (Multi-objective Reward): 에이전트는 다음 세 가지 보상의 조합을 최대화하도록 학습됩니다.
- $r_{exp}$ : 상태 엔트로피를 높여 탐험을 촉진.
- $r_{div}$ : 기술 간의 차별성을 높여 다양성을 확보.
- $r_{rel}$ (핵심): 예측기가 해당 행동을 **'의미론적으로 관련 있는 범주'**로 분류할 확률을 높임으로써, 인간이 원하는 맥락에 맞는 기술을 발견하도록 유도.
능동적 샘플링 (Active Sampling): 피드백 예산이 낭비되지 않도록, 예측기를 사용하여 의미론적으로 희귀하거나 중요한 샘플을 우선적으로 인간에게 질문하여 데이터셋의 균형을 맞춥니다.
분포적 비평가 (Distributional Critic): 여러 보상 함수가 결합될 때 발생하는 불확실성(Aleatoric Uncertainty)과 가치 과대평가 문제를 해결하기 위해 **TQC(Truncated Quantile Critics)**를 도입하여 안정적인 학습을 도모합니다.

3. 주요 기여 (Key Contributions)

새로운 피드백 메커니즘: 선호도 기반 방식의 한계를 극복하는 '의미론적 라벨링' 개념을 도입했습니다.
SRSD 프레임워크 제안: 의미론적 다양성과 관련성을 동시에 확보할 수 있는 새로운 기술 발견 알고리즘을 설계했습니다.
이론적/실증적 증명: 의미론적 라벨링이 기술 종류가 많아질수록 선호도 방식보다 훨씬 효율적임을 수학적으로 증명하고 실험으로 입증했습니다.
불확실성 완화: 분포적 관점(Distributional perspective)을 도입하여 복합 보상 환경에서의 학습 안정성을 높였습니다.

4. 실험 결과 (Results)

성능 우위 (DMC Suite): DeepMind Control Suite(Walker, Cheetah, Hopper 등) 환경에서 기존의 비지도 학습 방식(CIC, ComSD) 및 선호도 기반 방식(HaSD)보다 높은 성능(Zero-shot, Few-shot, Fine-tuning 모두 포함)을 보였습니다.
의미론적 다양성 및 정밀도: 2D 내비게이션 실험 결과, 기술의 종류가 많아질수록(2개 $\to$ 16개) 기존 방식은 커버리지가 급격히 떨어졌으나, SRSD는 모든 의미론적 영역을 고르게 커버하며 높은 정밀도(Precision)와 재현율(Recall)을 유지했습니다.
강건성 (Robustness): 인간의 실수(Mistake), 근시안적 판단(Myopic), 건망증(Amnesic) 등 불완전한 피드백 상황에서도 SRSD는 여전히 유효한 기술을 학습하는 강건함을 보였습니다.

5. 의의 (Significance)

본 연구는 **"인간이 어떻게 세상을 범주화하는가"**라는 인지 심리학적 원리를 강화학습의 기술 발견 문제에 성공적으로 접목했습니다. 이는 단순히 에이전트가 '다양한' 행동을 하는 것을 넘어, '인간이 이해할 수 있고 맥락에 적합한(Semantically meaningful & Contextually relevant)' 행동을 효율적으로 학습할 수 있는 길을 열었다는 점에서 큰 의의가 있습니다. 이는 향후 로봇 제어나 범용 에이전트 개발 시 인간과 에이전트 간의 정렬(Alignment) 문제를 해결하는 중요한 기초 기술이 될 것입니다.