🤖 machine learning

The Latent That Never Was: A Forensic Re-run of the CVAE Ablation in Action Chunking Transformer

이 논문은 조건부 변이형 오토인코더(CVAE) 인코더를 제거했을 때 보고되었던 결정적인 성능 저하가 재실행 시 재현되지 않음을 입증함으로써, 해당 인코더의 유용성이 모델의 근본적인 필수 요소라기보다 훈련 및 평가 프로토콜에 매우 민감하다는 점을 보여주며 Action Chunking Transformer(ACT)의 기존 연구 결과를 반박한다.

원저자: Bo Kang

게시일 2026-09-16

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bo Kang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인간이 팔을 움직이는 것을 보고 배우는 로봇은 더 이상 공상 과학이 아닙니다. 이는 전 세계 실험실에서 구축되고 있는 현실입니다. 기계가 블록을 집어 올리거나 구멍에 핀을 끼우는 법을 가르치기 위해, 연구자들은 종종 인간의 시연 라이브러리를 학습하는 '모방 학습(imation learning)'이라는 방법을 사용합니다. 이를 위한 대중적인 도구는 '액션 청킹 트랜스포머(Action Chunking Transformer)'로 알려진 시스템입니다. 이 시스템은 정교한 예측 엔진처럼 작동합니다. 즉, 로봇이 무엇을 보고 있는지와 관절의 위치를 파악한 다음, 미래의 일련의 움직임을 통째로 추측합니다. 인간이 동일한 물체를 약간씩 다른 방식으로 움직일 수 있다는 점을 처리하기 위해, 이 시스템은 미세한 차이를 포착하도록 설계된 특수한 내부 구성 요소인 인코더(encoder)를 포함합니다. 훈련 과정에서 이 인코더는 인간의 동작을 압축된 코드, 즉 로봇에게 행동의 변화를 알려주는 숨겨진 변수로 변환합니다. 그러나 로봇이 실제로 작업을 독자적으로 수행할 때는 이 인코더가 꺼지며, 로봇은 숨겨된 코드를 0이라고 가정하도록 지시받습니다. 이 시스템의 원작자들은 이 인코더가 필수적이라고 주장하며, 이를 제거했을 때 로봇의 성공률이 35%라는 준수한 수준에서 2%라는 거의 완전한 실패 수준으로 급락했다고 보고했습니다.

보 강(Bo Kang)이라는 연구자는 이 주장을 처음부터 다시 테스트해 보기로 했습니다. 원본 연구는 독립적으로 재현되지 않았으며, 코드에 인코더를 끌 수 있는 간단한 스위치도 포함되어 있지 않아 검증하기 어려웠습니다. 강은 실험을 재구축하여 동일한 로봇 작업과 동일한 인간 시연을 사용하되, 이번에는 인코더가 있는 경우와 없는 경우를 명확하게 비교할 수 있는 능력을 갖추었습니다. 목표는 극적인 성능 저하가 이 기술의 근본적인 진실인지, 아니면 원래 실험 설정 방식의 우연한 결과인지를 확인하는 것이었습니다. 결과는 놀라웠습니다. 강의 재실험에서 인코더는 구원투수가 되지 못했습니다. 사실, 연구진이 인코더를 제거했을 때 로봇은 인코더가 있을 때와 비슷하거나 때로는 더 나은 성능을 보이기도 했습니다. 35%와 2% 사이의 거대한 격차는 이러한 새로운 테스트에서는 나타나지 않았습니다.

연구진은 왜 원래의 수치가 그토록 달랐는지 이해하기 위해 조사를 심화했습니다. 연구진은 로봇 실험의 결과가 작은 세부 사항에 매우 민감하다는 것을 발견했습니다. 예를 들어, 로봇이 훈련하는 시간의 길이가 중요합니다. 만약 로봇이 훈련을 일찍 중단하면 인코더가 도움이 되는 것처럼 보일 수 있지만, 더 오래 훈련하면 그 이점은 사라지거나 오히려 역전될 수 있습니다. 마찬가지로, 테스트를 위한 최적의 로봇 뇌 버전을 선택하는 방법도 결과를 바꿀 수 있습니다. 원본 연구는 아마도 인코더에 유리한 특정 훈련 시점을 선택했을 것이며, 다른 시점은 인코더가 없는 시스템에 유리했을 것입니다. 연구진이 이러한 요소들을 통제하고 동일한 훈련 시간과 동일한 선택 규칙을 사용했을 때, 인코더의 소위 '슈퍼파워'는 사라졌습니다. 성공률의 차이는 너무 작아져서 인코더가 도움이 되었는지 해가 되었는지 확신할 수 없을 정도가 되었습니다.

인코더가 실제로 무엇을 하고 있었는지 이해하기 위해, 팀은 인코더가 어떤 정보를 저장하고 있는지 확인하고자 로봇의 '마음' 내부를 들여다보았습니다. 그들은 숨겨진 코드가 움직임의 속도나 회전의 부드러움과 같은 인간의 스타일과 관련된 유용한 세부 정보를 담고 있는지 확인했습니다. 표준 훈련 설정으로 테스트된 특정 작업들에서 인코더는 거의 아무런 이득을 주지 못했습니다. 그러나 연구진은 인코더가 본질적으로 쓸모없는 것은 아니라는 점을 발견했습니다. 인코더의 정보를 제한하는 페널티를 제거했을 때, 숨겨진 코드는 동작의 재구성을 최대 84%까지 개선했습니다. 또한, 인코더는 완전히 침묵하는 것도 아니었습니다. 인코더는 전체 시연의 타이밍이나 부드러움을 안정적으로 복구하는 데는 실패했지만, 속도나 가속도 변화와 같은 짧은 액션 청크 내의 움직임에 대한 정보는 성공적으로 포착했습니다. 인코더가 유용하다고 알려진 다른 더 단순한 작업에서 시스템을 테스트했을 때, 그들이 만든 도구들은 인코더의 가치를 성공적으로 감지해 냈으며, 이는 그들의 테스트 방법이 타당함을 입증했습니다. 하지만 표준 조건 하의 복잡한 로봇 작업에서는 인코더가 측정 가능한 이득을 거의 제공하지 못했습니다.

이 연구는 또한 이 발견의 실질적인 부수 효과를 밝혔습니다. 인코더는 로봇 소프트웨어의 큰 부분을 차지하기 때문에, 이를 제거하면 훈련 과정이 더 빠르고 저렴해집니다. 테스트 결과, 인코더 계산을 건너뛰면 로봇의 학습 속도가 거의 25% 빨라졌습니다. 인코더는 로봇이 실제로 작업을 수행할 때는 사용되지 않으므로, 훈련 중에 이를 유지하는 것은 명확한 보상 없이 불필요한 비용을 치르는 것처럼 보입니다. 연구진은 원본 논문이 인코더가 필수적이라고 주장했지만, 증거는 그것이 그렇지 않음을 시사한다고 결론지었습니다. 원본 연구에서 보고된 극적인 실패는 여전히 미스터리로 남아 있으며, 이는 재현되지 않은 특정 훈련 길이와 선택 방식의 조합 때문일 가능성이 높습니다. 현재로서는 이러한 로봇을 구축하는 가장 신뢰할 수 있는 경로는 인코더가 없는 더 단순한 버전이며, 이는 다른 연구자들이 다른 작업과 데이터로 이 발견을 테스트할 수 있도록 가능성을 열어두고 있습니다.

기술 요약: "존재하지 않았던 잠재 변수: Action Chunking Transformers의 CVAE 절제 실험에 대한 법의학적 재실행"

문제 제기
Action Chunking Transformers (ACT)는 로봇 조작 학습을 위한 지배적인 아키텍처로, 데모 간의 차이를 모델링하기 위해 조건부 변이형 오토인코더(CVAE)를 활용한다. 원본 ACT 논문은 인코더를 제거했을 때 성능이 급격히 하락(평균 성공률 35.3%에서 2%로)한다고 보고하며, 이는 잠재 변수 $z$ 가 데모의 분산을 포착하는 데 결정적임을 시사했다. 그러나 이 절제 실험(ablation)은 독립적으로 재현된 적이 없다. 원본 코드는 인코더를 제거하는 스위치가 결여되어 있으며, 절제 실험 보고서는 훈련 길이, 시드 개수, 불확실성 지표와 같은 핵심 세부 사항을 누락했다. 또한, 추론 시 ACT는 잠재 변수 $z$ 를 0(사전 평균)으로 설정하여 배포 중에는 인코더를 사용하지 않도록 한다. 본 논문은 보고된 성능 저하가 재현 가능한지, 무엇이 이러한 불일치를 설명할 수 있는지, 그리고 잠재 변수가 실제로 데모된 동작을 재구성하는 데 유용한 정보를 담고 있는지 조사한다.

방법론
저자는 원본 코드와 LeRobot을 기반으로 한 수정된 구현체("nanoACT")를 사용하여 ACT CVAE 절제 실험에 대한 법의학적 재실행을 수행했다. 연구에는 다각적인 접근 방식이 사용되었다:

재현 및 비교: 저자는 인간 및 스크립트 데모를 모두 사용하여 원본 벤치마크 작업(Transfer Cube 및 Bimanual Insertion)에 대해 절제 실험을 재실행했다. 구현 특이적 효과를 테스트하기 위해 원본 코드와 적응된 LeRobot 구현체를 비교했다.
변수 통제: 재현되지 않는 성능 저하를 조사하기 위해 다음을 체계적으로 변화시켰다:
- 훈련 길이: 10k, 25k, 50k, 75k, 100k 단계의 체크포인트를 평가함.
- 체크포인트 선택: 최종 체크포인트를 검증 손실(인코더를 포함한 KL 페널티를 포함하지만, 인코더가 없는 변형에는 포함하지 않음)을 통해 선택된 것과 비교함.
- 실행 전략: 시간적 앙상블(중첩된 예측의 평균화) 대 전체 청크 실행(full-chunk execution)을 테스트함.
- 데이터 입력: 변환된 이미지(LeRobot 기반)와 원본 ACT 이미지를 사용하는 결과를 비교함.
잠재 변수 프로빙(Latent Probing): 성공률만으로는 디코더가 잠재 변수를 활용하는지 확인할 수 없으므로, 저자는 직접적인 프로브를 도입했다:
- 재구성 이득: 고정된 디코더에서 샘플링된 잠재 변수( $z$ )를 사용할 때와 고정된 zero 잠재 변수( $z=0$ )를 사용할 때의 L1 재구성 오차 감소량을 측정함.
- KL 스윕(KL Sweep): 잠재 정보가 페널티에 의해 억제되는지 테스트하기 위해 KL 페널티 가중치( $\beta$ )를 $\{0.001, 0.01, 0.1, 1, 10\}$ 값으로 변화시켰으며, 동시에 페널티가 없는 경우( $\beta=0$ )의 별도 실험을 수행함.
- 양성 대조군(Positive Controls): 프로브가 유용한 잠재 변수를 감지할 수 있는지 확인하기 위해, Planar Pushing 작업(PushT)과 특정 정보가 관측값에서는 숨겨져 있으나 액션 청크에는 존재하는 "심어진 선택(planted-choice)" 작업에 프로브를 테스트함.
- 콘텐츠 분석: 데모 수준의 속성(타이밍, 속도, 매끄러움)을 잠재 변수의 평균으로부터 예측하려고 시도함.

주요 결과

성능 저하 재현 실패: 보고된 33% 포인트의 성공률 하락(35.3%에서 2%로)은 테스트된 모든 설정에서 재현되지 않았다. 변환된 이미지를 사용한 초기 10,000단계 재실행에서, 인코더를 제거했을 때 오히려 평균 성공률이 증가했다(26.0%에서 45.2%로).
훈련 및 선택에 대한 민감도: 인코더가 있는 정책과 없는 정책의 상대적 성능은 훈련 길이와 체크포인트 선택에 매우 민감하다.
- 훈련 길이에 따라 어떤 정책이 더 높은 점수를 기록할지가 역전될 수 있다.
- 검증 손실(인코더와 인코더가 없는 모델 간에 서로 다름)을 기준으로 체크포인트를 선택하는 것은 결과를 크게 바꿀 수 있다. 예를 들어, 10,000단계에서는 검증 선택이 인코더가 없는 정책을 큰 차이로 선호했지만, 최종 체크포인트는 더 작거나 역전된 차이를 보였다.
- 시간적 앙상블 또한 특정 구성에서 인코더가 없는 정책에 이득을 주는 등 결과에 영향을 미쳤다.
잠재 변수의 유용성: 기본 KL 가중치( $\beta=10$ $β = 10$ ) 및 낮은 양수 가중치 스윕 전반에서, 샘플링된 잠재 변수는 ACT 벤치마크 작업에서 거의 또는 전혀 재구성 이득을 제공하지 못했다.
- 활성화된 잠재 단위가 감지되지 않았다(사후 평균의 분산 < 0.01).
- 재구성 오차 감소량(z-advantage)이 0에 가까웠다.
- 프로브는 잠재 변수로부터 데모의 스타일 속성(타이밍, 경로 길이)을 회복하는 데 실패했다.
- 반면, PushT와 $\beta=0$ 인 Transfer Cube에서의 양성 대조군은 유용한 잠재 정보를 성공적으로 감지하여, 프로브가 유용한 정보를 감지할 수 있는 민감도를 갖추었음을 확인했다.
훈련 효율성: 인코더를 제거하면 구현 방식에 따라 약 20~33%의 훈련 파라미터가 감소하며, 훈련 처리량(throughput)은 7.8%에서 24.5%까지 증가한다.

의의 및 주장
본 논문은 테스트된 조건 하에서 원본 ACT 논문에서 보고된 극적인 성능 저하가 재현되지 않으며, 그 원인이 여전히 불분명하다고 결론짓는다. 저자는 다음과 같이 주장한다:

인코더의 역할이 불분명함: 테스트된 벤치마크에서 샘플링된 잠재 변수는 표준 KL 가중치에서 무시할 만한 재구성 이득을 제공하며, ACT는 어차피 추론 시 이 잠재 변수를 0으로 설정한다.
성공률의 불확실성: 인코더가 있는 정책과 없는 정책 간의 성공률 차이는 종종 훈련 시드의 표준 편차 범위 내에 있으며, 이는 이러한 설정에서 인코더가 작업 성공을 개선하거나 해친다고 확정적으로 주장하는 것을 불가능하게 만든다.
방법론적 엄밀성: 본 연구는 절제 실험에서 훈련 길이, 시드 개수, 불확실성을 보고하는 것의 중요성을 강조한다. 또한 체크포인트 선택 기준과 평가 프로토콜이 모델 구성 요소의 인지된 효능을 어떻게 극적으로 바꿀 수 있는지 보여준다.
실질적 시사점: 인코더를 제거하면 테스트된 벤치마크에서 명확하고 재현 가능한 성능 저하 없이 계산 비용을 줄일 수 있다. 다만, 저자는 이를 모든 작업이나 실제 환경 배포에 일반화하는 것에 대해서는 신중한 입장을 유지한다.

저자는 추가적인 독립 검증 및 다른 작업에 대한 테스트를 가능하게 하기 위해 코드, 평가 도구 및 결과를 공개한다.

유사한 논문