💻 computer science

From Action Labels to Sets: Rethinking Action Supervision for Imitation Learning from Corrective Feedback

본 논문은 교정 피드백에서 도출된 집합값 목표를 취약한 점 단위 행동 감독을 대체하여 노이즈가 있는 상대적이고 다중 모달인 인간 지시를 수용하는 견고한 정책 학습을 가능하게 하는 인간-루프 모방 학습 프레임워크인 CLIC 를 소개합니다.

원저자: Zhaoting Li, Rodrigo Pérez-Dattari, Robert Babuska, Cosimo Della Santina, Jens Kober

게시일 2026-05-01

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhaoting Li, Rodrigo Pérez-Dattari, Robert Babuska, Cosimo Della Santina, Jens Kober

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 컵에 물을 따르거나 공을 잡는 것과 같은 작업을 가르친다고 상상해 보세요. 전통적인 방법은 **행동 복제 (Behavior Cloning)**라고 불립니다. 이는 지도 위의 정확히 한 지점을 가리키며 "정확히 여기로 가야 한다"고 말하는 엄격한 선생님과 같습니다.

이 접근법의 문제는 인간이 완벽하지 않다는 점입니다. 때로는 피곤해지거나 손이 떨리거나, 단순히 약간 잘못된 방향을 제시하기도 합니다. 로봇이 모든 인간의 지시를 완벽하고 변경 불가능한 법칙으로 취급한다면, 우리의 실수를 그대로 암기하게 됩니다. 로봇은 "취약해집니다"—인간이 사소한 실수를 하면 로봇은 혼란에 빠지고 실패합니다. 이는 시험에서 틀린 답의 정확한 좌표를 암기한 학생이 어떤 변형도 처리하지 못해 실패하는 것과 같습니다.

반면, 어떤 방법들은 로봇에게 "이 행동이 저 행동보다 낫다"고 가르치려 합니다. 이는 "오른쪽으로 가는 것보다 왼쪽으로 가는 것이 낫다"고 말하되, 정확히 얼마나 왼쪽으로 가야 하는지는 말하지 않는 선생님과 같습니다. 이는 더 유연하지만, 종종 너무 모호합니다. 로봇은 "좋은" 행동의 경계를 알지 못해 목적 없이 방황할 수 있습니다.

새로운 아이디어: "안전 구역"

이 논문의 저자들은 CLIC(상대적 상호작용 교정 학습, Contrastive policy Learning from Interactive Corrections)라는 중간 지점을 제안합니다. 로봇에게 단일 지점이나 모호한 비교를 주는 대신, **"안전 구역"**또는 목표 집합을 찾도록 가르칩니다.

다음은 유추입니다:

구식 방법 (점 단위): 선생님이 "정확히 이 특정 타일 위에 서라"고 말합니다. 선생님이 약간 잘못된 타일을 가리키면, 로봇은 그곳에 서서 실패합니다.
구식 방법 (쌍 단위): 선생님이 "오른쪽보다 왼쪽에 서는 것이 낫다"고 말합니다. 로봇은 오른쪽에 서서는 안 된다는 것을 알지만, 멀리 왼쪽에 서야 할지, 중간에 서야 할지, 아니면 약간 왼쪽에 서야 할지 모릅니다. 이는 너무 느슨합니다.
CLIC (집합 단위): 선생님이 "로봇이 실수한 빨간 타일에는 서지 말되, 초록 타일 주변의 이 파란 원 안에서는 어디에 서도 된다"고 말합니다.

이 새로운 방법에서 인간이 로봇을 교정할 때, 단순히 새로운 좌표를 주는 것이 아닙니다. 그들은 수용 가능한 행동의 영역을 정의합니다.

인간이 실수를 교정하기 위해 로봇의 팔을 약간 왼쪽으로 밀면, 로봇은 다음과 같이 학습합니다: "알겠다, 올바른 행동은 내가 밀린 정확한 곳이 아니라 이 일반적인 방향 어딘가에 있는 거구나."
인간이 노이즈가 있거나 흔들리는 교정을 주면, 로봇은 "안전 구역"이 다소 모호하다는 것을 이해하지만, 여전히 무엇을 하지 말아야 하는지 (잘못된 쪽) 와 무엇이 대체로 수용 가능한지 (구역) 는 알고 있습니다.

실제 작동 방식

이 논문은 이 아이디어를 두 가지 주요 방식으로 테스트했습니다:

시뮬레이션: T 자형 블록 밀기, 캔 집기, 또는 두 개의 로봇 팔로 물체 들어 올리기 등의 작업으로 수천 건의 컴퓨터 시뮬레이션을 실행했습니다.
- 결과: 인간 데이터가 완벽할 때 CLIC 은 기존 방법과 마찬가지로 잘 작동했습니다. 하지만 인간 데이터에 노이즈가 있거나 흔들리거나 불완전할 때 (예: 인간이 두 팔 로봇 중 한 팔만 교정한 경우), CLIC 은 계속 작동하는 반면 기존 방법들은 완전히 충돌하거나 실패했습니다.
- 이유: CLIC 은 흔들리는 손 움직임을 암시하려 하지 않았기 때문입니다. 대신 올바른 행동의 형태를 학습했습니다.
실제 로봇: 실제 로봇을 사용하여 다음 작업들을 테스트했습니다:
- T 자형을 U 자형에 삽입하기: 정밀한 움직임이 필요한 복잡한 퍼즐.
- 공 잡기: 인간이 완벽한 시연을 제공하기 어려운 빠르고 역동적인 작업으로, 인간은 단순히 빠른 방향성 밀어붙이기만 제공합니다.
- 물 따르기: 병을 정교하게 제어해야 하는 작업.
- 결과: 로봇은 더 빠르고 신뢰성 있게 학습했습니다. 공 잡기 작업에서 로봇은 공을 거의 잡지 못하던 상태에서, 인간이 대략적인 방향성 힌트만 제공했음에도 불구하고 두 번의 시도 안에 일관되게 공을 잡을 수 있게 되었습니다.

핵심 결론

이 논문은 인간의 교정을 정확한 목표가 아닌 가능성의 영역으로 취급함으로써 로봇이 훨씬 더 견고해진다고 주장합니다. 로봇은 인간의 실수, 흔들리는 손, 불완전한 지시에도 혼란 없이 대처할 수 있습니다.

이는 단일 잘못된 답을 암기한 학생과 정답의 개념을 이해한 학생의 차이와 같습니다. CLIC 은 로봇에 좌표가 아닌 개념 ("안전 구역") 을 가르쳐, 인간이 관여할 때 훨씬 더 나은 학습자가 되도록 합니다.

이 문서는 "Corrective Feedback 를 통한 모방 학습을 위한 행동 감독 재고: 행동 라벨에서 집합으로"라는 논문에 대한 상세한 기술적 요약입니다.

1. 문제 제기

이 논문은 **상호작용 모방 학습 (IIL)**과 **행동 복제 (BC)**의 근본적인 한계인 **점별 감독 (pointwise supervision)**의 취약성을 다룹니다.

문제: 전통적인 BC 는 인간의 시연이나 교정 피드백을 정확한 점별 행동 목표 ( $a^*$ ) 로 간주합니다. 완벽한 데이터에서는 효과적이지만, 인간의 피드백이 노이즈가 있거나 최적이지 않거나 상대적 (크기가 아닌 방향을 나타냄) 일 경우 이 접근법은 실패합니다.
결과: 표현력 있는 정책 클래스 (예: 에너지 기반 모델 (EBM) 또는 확산 모델) 를 사용할 때, 점별 감독은 정책이 특정이고 잠재적으로 노이즈가 있는 레이블에 **과적합 (overfit)**되게 합니다. 이는 제공된 행동 주변에 날카로운 국소 최소값을 생성하여 정책을 진정한 최적 행동에서 벗어나게 만듭니다.
대안의 한계:
- 쌍별 선호 학습: 점별 레이블보다 더 강력하지만, 쌍별 비교 (예: "행동 A 가 행동 B 보다 낫다") 는 두 행동의 상대적 순서만 제한합니다. 고차원 연속 공간에서는 나머지 행동 공간이 크게 제한되지 않아, 정책이 선호 제약 조건을 만족하면서도 비최적 영역에 높은 확률을 부여할 수 있습니다.
격차: 노이즈/비최적성을 처리할 수 있도록 점별 BC 보다 강력하고, 행동 공간을 효과적으로 제한할 수 있도록 쌍별 비교보다 더 많은 정보를 제공하는 감독 목적 함수가 필요합니다.

2. 방법론: CLIC

저자들은 **CLIC (상호작용 교정으로부터의 대비적 정책 학습)**을 제안하며, 이는 점별 레이블에서 **집합값 감독 (set-valued supervision)**으로의 전환을 다룹니다.

핵심 개념: 원하는 행동 집합

CLIC 은 인간의 교정을 단일 목표 행동으로 취급하는 대신, 이를 **원하는 행동 집합 ( $\hat{A}$ )**을 정의하는 것으로 해석합니다. 이 집합은 실행된 (비최적) 행동을 제외하고 피드백과 일치하는 모든 행동을 포함합니다.

절대적 교정: 인간이 새로운 행동 $a_h$ 를 제공할 때, 원하는 집합은 $a_h$ 주변의 영역 (예: 공 또는 다면체) 입니다.
상대적 교정: 인간이 현재 행동 $a_r$ 을 개선하기 위한 방향 $h$ 를 제공할 때, 원하는 집합은 특정 크기에 구애받지 않고 그 방향으로의 원뿔 또는 반공간입니다.

주요 구성 요소

A. 원하는 행동 집합의 구성
논문은 이러한 집합에 대한 두 가지 구체적인 기하학적 구성을 정의합니다:

다면체 집합 (CLIC-Half): 데이터 증강에서 유도된 여러 "반공간" 제약 조건을 교차하여 구성됩니다.
- 단일 교정 $(a_r, a_h)$ 은 여러 대비 쌍 $(a^-_i, a^+_i)$ 으로 증강됩니다.
- 각 쌍은 $a^+_i$ 에 더 가까운 행동이 선호되는 반공간을 정의합니다.
- 이러한 반공간의 교차는 다면체 (원뿔에 접근) 를 형성합니다.
- 매개변수: 방향적 확실성 ( $\alpha$ ) 과 크기 확실성 ( $\epsilon$ ) 이 집합의 모양과 크기를 제어합니다.
원형 집합 (CLIC-Circular): 절대적 교정에 특화되어 있습니다.
- 로봇의 행동과 인간의 행동 사이의 거리에 비례하는 반지름을 가진, 인간 행동 $a_h$ 를 중심으로 하는 공을 정의합니다.
- 이는 최적 행동이 교정 주변의 이웃에 있다는 직관을 포착합니다.

B. 집계 및 수렴

반복적 정제: 단일 교정은 종종 최적 행동을 정확히 특정하기에 부족합니다. CLIC 은 시간에 걸쳐 여러 교정을 집계합니다.
교차: 상태에 대한 전체 원하는 행동 집합은 피드백 버퍼에서 유도된 모든 개별 집합의 교차입니다 ( $\hat{A}_{D_s} = \bigcap \hat{A}_i$ ).
수렴: 이론적으로 더 많은 피드백이 집계됨에 따라, 교사가 비최적 행동에 대해 피드백을 제공하고 집합이 항상 적어도 하나의 최적 행동을 포함한다면, 이러한 집합들의 교차는 최적 행동 집합 ( $A^*_s$ ) 으로 수렴합니다.

C. 정책 형성 목적 함수
정책 $\pi_\theta$ 를 이러한 집합과 정렬되도록 훈련시키기 위해 CLIC 은 현재 정책과 목표 분포 ( $\pi_{target}$ ) 사이의 KL 발산을 최소화합니다:
$\ell_{KL} = \mathbb{E} [ KL(\pi_{target}(\cdot|s) \parallel \pi_\theta(\cdot|s)) ]$

목표 분포: 관측 모델을 사용하여 베이즈 규칙을 통해 정의됩니다.
- 관측 모델: 원하는 집합 내부의 행동에는 높은 확률을, 외부의 행동에는 낮은 확률을 부여하는 소프트 멤버십 함수 (시그모이드) 입니다.
- 사전 분포: 균일한 사전 분포 대신 **현재 정책 ( $\pi_\theta$ )**을 사전 분포로 사용합니다. 이는 "정책 가중 베이즈 손실"을 생성하여 업데이트가 보수적이고 점진적이도록 보장하며, 정책이 이전에 학습된 행동에서 너무 멀리 벗어나는 것을 방지합니다.
암시적 vs 명시적:
- 암시적 (EBM): 손실은 집합 멤버십에 기반하여 샘플에 가중치를 부여하는 대비적 샘플링 (InfoNCE 스타일) 을 사용하여 최적화됩니다.
- 명시적 (가우시안): 단일 모드 작업의 경우, 방법론은 정책 평균이 다면체 내에 있도록 보장하는 힌지 손실로 단순화됩니다.

3. 주요 기여

집합값 감독 관점: 교정 피드백이 단일 점이 아닌 허용 가능한 행동의 영역을 정의한다는 새로운 공식을 제안하여, 점별 BC 와 쌍별 선호 학습 사이의 격차를 해소합니다.
CLIC 프레임워크: 이러한 집합을 구성하고 집계하여 정책을 반복적으로 정제하는 실용적인 알고리즘을 도입합니다. 절대적 및 상대적 피드백을 모두 지원하며, 암시적 정책 (EBM) 을 통해 자연스럽게 다중 모드 행동을 처리합니다.
이론적 분석: 개별 피드백 신호가 노이즈가 있거나 상대적일지라도, 집계된 집합값 피드백이 최적 행동 집합을 복원할 수 있음을 보여주는 수렴 조건을 제공합니다.
종합적 평가: 시뮬레이션과 실제 로봇 (KUKA iiwa) 에서의 광범위한 검증을 통해 다양한 피드백 유형에 대한 강건성을 입증했습니다.

4. 실험 결과

시뮬레이션 실험:

정확한 피드백: CLIC 은 데이터가 완벽할 때 성능을 희생하지 않음을 입증하며, 최첨단 (SOTA) 방법 (예: Diffusion Policy, IBC) 과 경쟁적으로 수행됩니다.
노이즈가 있는 피드백: CLIC 은 베이스라인 (IBC, Diffusion Policy, PVP) 을 크게 능가합니다. 점별 BC 방법은 노이즈에 과적합되어 수렴하지 못하는 반면, CLIC 의 집합 기반 접근법은 노이즈를 흡수하여 높은 성공률을 유지합니다.
상대적 및 부분적 피드백:
- 상대적 교정: CLIC-Half 와 CLIC-Explicit 는 점별 BC 방법이 완전히 실패하는 (과거 교정이 비최적이 되는 "온-정책" 문제 때문) 방향성 피드백으로부터 성공적으로 학습합니다.
- 부분적 피드백: 인간이 한쪽 팔만 교정하는 다중 로봇 작업에서, CLIC-Half 는 교정된 차원만 제한함으로써 탁월한 성능을 발휘하는 반면, 부분적으로 비최적인 전체 행동 벡터를 모방하려는 베이스라인은 실패합니다.

실제 로봇 실험:

Insert-T (다중 모드): CLIC-Half 는 어려운 작업에서 80% 성공률을 달성하여 Diffusion Policy (30%) 와 IBC (10%) 를 크게 능가했습니다. 이는 CLIC 이 과적합 없이 복잡하고 다중 모드의 의사 결정을 처리할 수 있음을 강조합니다.
공 잡기 (동적/부분): 상대적 및 부분적 피드백을 사용하여 고주파수 작업을 성공적으로 학습했으며, 두 번의 시도 내에서 100% 성공률을 달성했습니다.
물 붓기 (정밀도): 훈련 중 절대적 및 상대적 교정 사이를 전환하여 정책을 거친 제어에서 정밀한 제어로 정제할 수 있는 능력을 입증했습니다.

어블레이션 연구:

정책 가중 사전 분포가 안정성에 중요함을 확인했습니다.
집합 기하학을 제어하는 하이퍼파라미터 ( $\alpha, \epsilon$ ) 가 피드백 신호의 불확실성과 일치하도록 조정되어야 함을 보여주었습니다.
집합 반지름이 0 으로 줄어들면 CLIC 이 과적합 IBC 로 퇴화함을 시각화하여 "집합" 공식의 필요성을 검증했습니다.

5. 중요성과 영향

인간 오류에 대한 강건성: 주요 중요성은 인간 교사 (피로, 원격 조작 한계, 인지 부하) 의 본질적 불완전성에 대한 모방 학습을 강건하게 만드는 것입니다.
통합 프레임워크: CLIC 은 절대적 시연, 상대적 교정, 부분적 피드백으로부터의 학습을 단일 수학적 프레임워크 아래 통합합니다.
복잡한 작업으로의 확장성: 표현력 있는 모델이 노이즈가 있는 레이블에 과적합되는 것을 방지함으로써, CLIC 은 데이터가 거의 완벽하지 않은 실제 상호작용 환경에서 강력한 암시적 정책 (EBM) 의 사용을 가능하게 합니다.
실용적 적용 가능성: 이 방법은 인간 교사의 인지 부하를 줄여줍니다 (정확한 궤적 대신 대략적인 방향을 제공할 수 있음) 그리고 복잡한 로봇 작업에 대한 학습 과정을 가속화합니다.

요약하자면, CLIC 은 모방 학습에서 감독의 기본 단위를 단일 점에서 집합으로 재고하며, 불완전한 인간 피드백으로부터 학습하기 위한 수학적으로 타당하고 경험적으로 강건한 솔루션을 제공합니다.