🤖 machine learning

Rethinking Demonstration Unlearning in Imitation Learning for Robotics

이 논문은 로봇 모방 학습에서의 데모니스트레이션 언러닝(demonstration unlearning)을 위해, 전체 재학습(full retrain)과의 행동 유사성 및 제거된 데이터의 존재 증거라는 두 가지 축을 따라 편집된 정책을 평가함으로써, 비용이 많이 드는 재학습에 대한 통계적으로 엄격하고 비용 효율적인 대안을 제공하는 재학습 보정 감사 프레임워크(retrain-calibrated audit framework)를 소개한다.

원저자: Jiazhuo Li, Yu Zhang, Yiming Fei, Kangkang Dong, Xiaojun Zhu, Houde Liu, Jinze Tao

게시일 2026-08-24

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiazhuo Li, Yu Zhang, Yiming Fei, Kangkang Dong, Xiaojun Zhu, Houde Liu, Jinze Tao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

사람을 관찰하며 배우는 로봇이 부품을 조립하는 공장의 로봇 팔부터 가사 노동을 돕는 장치에 이르기까지 점점 흔해지고 있습니다. 이 기계들은 가능한 모든 움직임을 미리 프로그래밍해 두는 것이 아니라, 사람들이 기록한 비디오 시연 모음집을 통해 학습합니다. 로봇은 이 비디오들을 연구하고 그 안에서 보이는 동작을 모방하는 법을 배웁니다. 그러나 시연을 제공한 사람이 마음을 바꿀 때 근본적인 문제가 발생합니다. 사람이 자신의 데이터 사용에 대한 동의를 철회할 수 있듯이, 인간은 자신의 특정 시연 데이터를 로봇의 기억에서 삭제해 달라고 요청할 수 있습니다. 만약 로봇이 결함이 있는 시연으로부터 나쁜 습관을 배웠거나, 사용자가 단순히 접근 권한을 취소하고 싶어 한다면, 로봇은 다른 지식은 잊지 않으면서도 그 특정 정보만을 '망각'해야 합니다.

이러한 요청을 처리하는 표준적인 방법은 원치 않는 비디오를 버리고 남은 좋은 예시들만을 사용하여 로봇을 처음부터 다시 훈련시키는 것입니다. 이 방식은 작동은 하지만, 엄청난 양의 컴퓨팅 파워를 필요로 하는 복잡한 로봇의 경우 매우 비용이 많이 들고 느립니다. 연구자들은 더 저렴한 지름길, 즉 훈련된 로봇의 뇌를 직접 편집하여 방대한 재훈련 비용 없이도 나쁜 기억을 제거하는 방법을 찾아왔습니다. 하지만 중요한 질문이 해결되지 않은 채 남아 있었습니다. 이러한 지름길을 사용할 때, 로봇이 실제로 그 나쁜 지침을 잊었는지 어떻게 알 수 있을까요? 그것이 정말로 그 비디오를 본 적이 없는 것처럼 행동하는 것일까요, 아니면 그저 흉내를 내는 것일까요?

한 연구팀은 실제 로봇과 시뮬레이션을 통해 이러한 편집 방법들을 테스트함으로써 이 질문에 답하고자 했습니다. 그들은 로봇이 컵을 특정 위치로 옮기는 작업에 대해 130번의 시연을 통해 학습한 구체적인 시나리오에 집중했습니다. 그중 30번의 시연은 의도적으로 결함이 있게 만들어졌는데, 이는 로봇에게 컵을 잘못된 위치에서 놓도록 가르쳐 컵이 넘어지게 만드는 것이었습니다. 연구진은 이 30개의 잘못된 비디오의 영향을 제거하기 위해 다양한 편집 기술을 적용했습니다. 편집이 효과가 있었는지 확인하기 위해, 그들은 단순히 로봇의 최종 점수를 확인하거나 작업 수행 가능 여부를 묻는 데 그치지 않고, 엄격한 두 단계의 테스트를 구축했습니다.

첫 번째 테스트는 행동을 측정했습니다. 연구진은 편집된 로봇을 나쁜 비디오 없이 처음부터 완전히 재훈련시킨 '골드 스탠다드(표준)' 로봇과 비교했습니다. 그들은 작업 중 특정 순간에 로봇이 어떻게 움직이는지 관찰했습니다. 만약 편집된 로봇이 완전히 재훈련된 로봇과 구별할 수 없을 정도로 움직인다면, 행동 테스트를 통과한 것으로 간주했습니다. 두 번째 테스트는 증거를 측정했습니다. 여기에는 컴퓨터 프로그램이 로봇이 원래 나쁜 비디오를 보았다는 사실을 여전히 식별할 수 있는지 확인하는 과정이 포함되었습니다. 설령 로봇이 올바르게 행동하더라도, 탐지기가 로봇의 내부 논리에서 나쁜 데이터의 흔적을 찾아낼 수 있다면 망각은 불완전한 것입니다.

결과는 놀랍고도 우려스러운 괴리를 드러냈습니다. 한 가지 눈에 띄는 사례로, 특정 지름길 방식으로 편집된 로봇은 실제 하드웨어에서 거의 완벽하게 작동했습니다. 이 로봇은 20번의 시도 중 18번이나 컵을 올바른 위치로 옮기는 데 성공하며, 값비싼 전체 재훈련 로봇의 성능과 일치하는 모습을 보였습니다. 로봇의 행동 방식만 놓고 본다면 나쁜 지침은 사라진 것처럼 보였습니다. 그러나 연구진이 증거 테스트를 실행했을 때, 편집이 불완전했다는 사실이 확인되었습니다. 탐지기는 수정되지 않은 원래의 로봇만큼이나 완벽한 확신을 가지고 나쁜 비디오를 식별해 냈습니다. 이 감사는 로봇이 작업 중에 실수를 숨기도록 학습했다는 것을 성공적으로 찾아냈지만, 나쁜 지침에 대한 기억은 시스템 내부에 깊이 박혀 있었습니다.

반대로, 다른 편집 방법들은 정반대의 문제를 보여주었습니다. 어떤 기술들은 증거를 성공적으로 지워서 탐지기가 나쁜 비디오를 찾을 수 없게 만들었습니다. 하지만 이 로봇들은 작업 수행 능력이 떨어지거나, 골드 스탠다드 로봇과는 명확히 다른 방식으로 움직였습니다. 즉, 나쁜 데이터를 잊기는 했지만, 그 과정에서 업무를 제대로 수행하는 능력까지 잃어버린 것입니다. 연구진은 이 두 가지 목표, 즉 올바르게 행동하는 것과 증거를 숨기는 것이 종종 서로 반대 방향으로 움직인다는 것을 발견했습니다. 로봇의 행동을 고치는 방법은 나쁜 데이터의 증거를 남겨두는 경우가 많았고, 증거를 지우는 방법은 로봇의 성능을 망가뜨리는 경우가 많았습니다.

이 연구는 세 가지 유형의 로봇 정책과 두 가지 시뮬레이션 환경을 사용하여 총 다섯 가지의 뚜렷한 조건 하에 진행되었습니다. 모든 경우에서 연구진은 단 하나의 편집 방법도 두 목표를 동시에 달�성하지 못한다는 것을 발견했습니다. 로봇이 나쁜 지침을 성공적으로 망각한 것처럼 보일 때조차, 자세히 살펴보면 여전히 기억을 숨기고 있거나 업무 수행 능력을 상失한 상태였습니다. 연구진은 로봇이 작업을 잘 수행하는 것만으로는 제대로 망각했음을 증명하기에 충분하지 않다고 결론지었습니다. 진정한 망각은 두 가지 별개의 조건을 동시에 충족해야 합니다. 로봇은 나쁜 데이터를 본 적이 없는 것처럼 행동해야 하며, 동시에 자신이 그것을 보았다는 흔적을 전혀 남기지 않아야 합니다.

이 발견은 로봇의 작업 성공이 곧 적절한 정화의 증거라는 현재의 가정을 뒤흔듭니다. 연구진은 로봇이 우리가 잊기를 바랐던 데이터의 숨겨진 영향력을 여전히 지닌 채로 작업을 올바르게 수행하도록 '수리'될 수 있음을 입증했습니다. 또한, 로봇이 과거를 숨기기 위해 '정화'되는 과정에서 직무 수행 능력을 상실할 수도 있음을 보여주었습니다. 이 두 측면이 서로 멀어질 수 있기 때문에, 연구팀은 로봇의 행동과 내부 이력을 모두 점검하는 이중적인 접근 방식이 필요하다고 주장합니다. 두 조건을 동시에 만족하는 방법이 나오기 전까지, 로봇의 뇌에서 데이터를 쉽게 제거할 수 있다는 약속은 미완의 과제로 남을 것이며, 제거되지 않은 숨겨진 지침의 위험은 계속될 것입니다.

기술 요약: 로봇 공학을 위한 모방 학습에서의 데몬스트레이션 언러닝(Demonstration Unlearning)에 대한 재고

문제 정의

로봇 공학을 위한 모방 학습(Imitation Learning, IL)은 인간의 시연(demonstrations)에 의존하지만, 규제 및 윤리적 프레임워크는 전체 재학습이라는 막대한 비용 없이 특정 철회된 데이터에 대한 모델의 의존성을 제거하는 능력을 점점 더 요구하고 있다. 핵심 과제는 폐쇄 루프 피드백 시스템에서 작동하는 정책(policy)에 대해 "언러닝(unlearning)"이 무엇을 의미하는지 정의하는 것이다. 기존의 머신 언러닝 문헌에서 물려받은 지표들(예: forgetting loss 또는 단일 축 멤버십 추론 공격(MIA))은 편집(edit)이 특정 시연으로부터 정책의 행동으로부터 그 영향력을 진정으로 제거했는지 여부를 확립하는 데 실패한다. 저자들은 기존 방식들이 두 가지 별개의 차원, 즉 행동(behavior)(정책이 해당 데이터 없이 재학습된 것과 같이 행동하는가?)과 증거(evidence)(감사자가 해당 데이터를 사용했음을 탐지할 수 있는가?)를 혼동하고 있다고 주장한다.

방법론

본 논문은 "재학습 카운터팩추얼(retrain counterfactual)" $\pi^*$ (남은 깨끗한 데이터 $D_r$ 로 처음부터 또는 동일한 어댑터를 사용하여 재학습된 정책)를 기준으로 보정된 재학습 보정 감사(retrain-calibrated audit) 프레임워크를 제안하여, 두 개의 독립적인 축을 따라 데몬스트레이션 언러닝을 평가한다.

1. 두 가지 축

행동 축(Behavior Axis): 매칭된 상태에서 편집된 정책( $\pi_\theta$ )과 재학습된 참조 모델( $\pi^*$ ) 사이의 행동 발산(action divergence)을 측정한다. 이는 독립적인 재학습 모델들( $\pi^*_i, \pi^*_j$ )로부터 도출된 "플로어(floor)"에 의해 보정된다. 정책은 그 발산 정도가 독립적인 재학습들 사이의 분산과 유사하다면 행동적으로 일관적이라고 간주된다.
증거 축(Evidence Axis): 멤버십 추론을 사용하여 감사자가 편집된 정책을 재학습된 참조 모델과 구별할 수 있는 능력을 측정한다. 이는 다음과 같이 보고된다:
- Rank AUC: 멤버를 비멤버보다 높게 순위 매기는 능력.
- 절대적 멤버 손실 수준(Absolute Member-Loss Level): 멤버 손실과 널(null, 재학습) 손실의 비율($mem/null$).
- 핵심 통찰: 순위 통계는 스케일 불변(scale-free)이지만 "오버슈트(overshoot)"(멤버 손실이 널보다 과도하게 부풀려지는 현상)에는 맹목적이다. 따라서 순위와 절대적 수준이 모두 필요하다.

2. 결합 가설 검정

저자들은 두 축을 하나의 "결합 재학습 일관성(joint retrain consistency)" 가설으로 결합하는 **컨포멀 테스트(conformal test)**를 도입한다. 이 테스트는 편집된 정책의 감사 벡터가 일련의 독립적인 재학습 모델들("retrain fleet")과 교환 가능(exchangeable)한지 확인한다. 만약 편집된 정책이 플릿 멤버들보다 더 이례적이라면, 삭제 주장은 기각된다.

3. 실험 설계

연구는 다섯 가지 조건(사전 등록된 확증적, 수정된, 탐색적, 무효화된)에 대해 세 가지 정책 클래스를 평가한다:

정책 클래스: ACT (chunked L1 regression), Diffusion Policy (DDPM), $\pi_{0.5}$ (LoRA를 사용하는 Vision-Language-Action flow-matching 모델).
오염(Contamination): 130개의 데몬스트레이션 중 30개가 잘못된 모드(예: 컵을 떨어진 지점에서 놓아 컵이 넘어지게 함)를 가르친다.
연산자(Operators):
- Redirect (재지정): 특정 분기 상태에서 깨끗한 카운터팩추얼 행동을 향하도록 가중치를 편집함 (Behavior Uncloning과 유사).
- Ascent (상승): 포겟 셋(forget set)에 대한 경사 상승법(gradient ascent).
- Fine-Tuning (FT): 깨끗한 데이터로만 학습 (대조군).
평가: 오프라인 행동 발산, 멤버십 공격, 그리고 블라인드 점수 기반의 실제 로봇 실험(AgileX PiPER 암) 및 시뮬레이션 스위트(Robomimic, PushT)를 포함한다.

주요 결과

1. 축의 분리(Dissociation of Axes)

중심적인 발견은 동일한 체크포인트에서 행동 축과 증거 축이 양방향으로 분리된다는 것이다:

망각 없는 복구(Repair without Forgetting): ACT 암에 대한 "redirect" 연산자는 로봇 작업 성공률을 20/20인 재학습 모델에 근접한 18/20 실험으로 복구했으며, 행동 격차의 24.9%를 좁혔다. 그러나 멤버십 공격 AUC는 1.000으로 유지되어, 편집되지 않은 정책과 구별할 수 없었으며, 절대적 멤버 손실 수준도 변하지 않았다. 즉, 이 편집은 행동을 복구했지만 증거는 편집 전과 구별할 수 없는 상태로 남겨두어, 재학습 널(null)을 향해 이동하는 데 실패했다.
복구 없는 증거 감소(Evidence Reduction without Repair): 경사 상승 연산자는 순위 기반 증거를 줄일 수 있었으나(널을 통과함), 계보 의존적(lineage-dependent) 행동을 보였다. 기본 계보에서는 상승 연산이 행동을 재학습 카운터팩추얼로부터 멀어지게 했으나(격차의 128%까지 오버슈트), 두 개의 다른 독립적 시드에서는 동일한 예산이 행동을 재학습 쪽으로 이동시켰다(63% 및 27%만큼).
표준 감사에서의 위양성(False Positives in Standard Audits): 표준 단일 축 감사(예: 순위 AUC 단독 또는 작업 성공률 단독)는 종종 결합 기준이 거부한 편집을 수용했다. 예를 들어, 일부 연산자는 완벽한 순위 AUC를 달려 삭제를 시사했으나, 실제로는 행동이 망가져 있거나 증거가 부풀려져 있었다.

2. 하드웨어 검증

실제 로봇 하드웨어( $\pi_{0.5}$ 및 ACT)에서:

redirect 편집은 작업 성공률을 성공적으로 복구했으나(각각 17/20 및 18/20 실험), 증거 감사에는 실패했다(AUC 1.000, 편집되지 않은 정책과 구별 불가).
Fine-tuning은 작업 성공률을 회복했으나, $\pi_{0.5}$ 클래스에서 관찰된 바와 같이 오프라인 카운터팩추얼 수행을 4.6% 변화시켰으며, 순위 증거는 변화시키지 않았다. 이는 성공이 삭제의 증거가 아닌 하나의 발현 채널임을 보여준다.
Ascent 연산자는 혼합된 결과를 보였다: PushT 암에서는 높은 용량에서 성공률이 +8.0에서 +11.6 포인트 상승했으나, $\pi_{0.5}$ 암에서는 재학습보다는 낮지만 편집되지 않은 정책보다는 높은 성공률을 보였다. 모든 경우에서 상승 연산은 결합 재학습 일관성을 달려하지 못했다.

3. 컨포멀 거절(Conformal Rejection)

19개의 독립적인 재학습 모델 플릿을 사용한 결과, 컨포멀 테스트는 $p=0.05$ 에서 모든 감사된 체크포인트를 거절했다. 테스트된 어떤 편집도 "결합 재학습 일관성"(행동이 플로어에 있고 증거가 널에 정렬됨)을 달성하지 못했다.

의의 및 주장

본 논문은 재학습과 동등한 삭제는 단일 축 점수가 아닌 결합(conjunction)이다라고 주장한다.

구조적 주장: 유효한 삭제 주장은 행동이 재학습 플로어에 접근하는 것과 증거가 재학습 널에 정렬되는 것 둘 다를 요구한다. 어느 한 축만으로는 불충분하다.
감사 능력: 제안된 감사는 삭제 주장을 반박할 수는 있지만(불일치를 보여줌으로써), 이를 인증할 수는 없다(테스트 통과가 메모리가 사라졌음을 증명하는 것이 아니라, 재학 학습과 일관됨을 의미할 뿐이기 때문).
연산자의 한로: 현재의 연산자들(redirect, ascent, FT)은 결합 일관성을 달성하기에 불충분하다. (redirect는 행동을 복구하지만 증거를 은폐하며, ascent는 증거를 변경하지만 종종 행동을 파괴하거나 이상 현상을 만든다.)
적용 가능성: 특정 편집(예: 브랜치 리다이렉트)의 타당성은 삭제 요청의 구조(예: 오염된 데이터가 깨끗한 지지 집합과 접두사를 공유하는지 여부)에 따라 달라진다. 전체 에피소드 오염과 같은 경우에는 국소적 편집이 적용될 수 없다.

저자들은 행동적 복구는 구매 가능할지라도(종종 잔여 데이터 손상이나 비대칭적 효과를 대가로 함), 행동적 및 증거적 표준을 모두 만족하는 진정한 "언러닝"을 달리는 것은 여전히 해결되지 않은 과제로 남아 있다고 결론짓는다. 이 연구는 표면적인 지표를 넘어, 정책에서 실제로 무엇이 제거되었는지에 대한 구조적 분석을 통해 로봇 공학을 위한 언러닝의 엄격하고 재학습 보정된 프로토콜을 제공한다.