🤖 machine learning

Learning to Fold: prizewinning solution at LeHome Challenge 2026 (1st place online, 2nd offline)

이 논문은 정책의 성공 및 진행도에 대한 자체 예측이 어드밴티지 추정 및 실패 감지를 주도하고, 플로우 매칭(flow-matching), 분산 학습, 견고한 심투리얼(sim-to-real) 전이를 포함한 포괄적인 엔지니어링 최적화 세트로 뒷받침되는 자기 지도 강화 학습 루프로 비전-언어-행동 정책을 향상시킴으로써 LeHome Challenge 2026에서 상위 순위를 달성한 수상 경력의 양손 의류 폴딩 시스템을 제시한다.

원저자: Ilia Larchenko

게시일 2026-06-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ilia Larchenko

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇이 구겨진 티셔츠나 바지를 접으려고 노력하는 모습을 상상해 보세요. 우리에게는 단순해 보이지만, 로봇에게 천 조각은 만질 때마다 모양이 변하는 혼란스럽고 미끄러운 뱀과 같습니다. 이 논문은 저자인 일리아 라르첸코(Ilia Larchenko)가 이 정확한 과제를 수행하여 시뮬레이션 대회에서 1위, 실제 세계 대회에서 2위를 차지한 로봇의 두뇌를 어떻게 구축했는지 설명합니다.

다음은 그가 이를 어떻게 해냈는지에 대한 이야기를 쉬운 개념으로 나누어 정리한 것입니다.

1. 문제: 기계 속의 "유령"

로봇은 두 팔을 사용하여 네 가지 종류의 옷(긴팔/반팔, 긴바지/반바지)을 접어야 했습니다.

함정: 로봇은 자신이 무엇을 잡고 있는지 알지 못했습니다. 로봇은 접기 시작하기 전에 옷을 보고 "이것이 티셔츠인가, 아니면 바지인가?"를 먼저 파악해야 했습니다.
보상: 로봇은 맨 마지막에 옷이 완벽하게 접혔을 때만 "금메달(보상)"을 받았습니다. 만약 중간에 실수했다면 아무것도 받지 못했습니다. 이는 자전거 타기를 배우는데, 결승선에 도착할 때까지 한 번도 넘어지지 않아야만 쿠키를 주는 것과 같습니다.

2. 해결책: "자기 학습" 루프

단순히 인간의 시연을 모방하는 대신(이는 영상을 보고 수영을 배우려는 것과 같습니다), 저자는 실행하고, 실패하고, 다시 시도함으로써 배우는 시스템을 구축했습니다. 그는 이를 **"플라이휠(Flywheel)"**이라고 부릅니다.

이것은 마치 공장에서 일하는 세 명의 팀원처럼 생각할 수 있습니다:

트레이너(Trainer): 데이터를 연구하고 로봇의 두뇌를 업데이트하는 선생님입니다.
러너(Runners): 비디오 게임(시뮬레이션) 속에서 하루에 수천 번씩 옷을 접으려고 시도하는 로봇 군단입니다.
인간 조력자(Human Helper): 로봇이 막혔을 때만 개입하여 옷을 바로잡고, 로봇이 다시 시도할 수 있게 해주는 사람입니다.

이 세 그룹은 직접 대화하지 않습니다. 대신 공유된 디지털 우체통(HuggingFace Hub)에 메모를 남깁니다. 트레이너는 메모를 읽고 학습한 뒤, 새로운 "두뇌 업데이트"를 다시 우체통에 넣습니다. 러너들은 이를 가져가서 다시 시도합니다.

3. 핵심 비결: 스스로 점수를 매기는 로봇

보통 로 로보틱스에서는 무엇을 할지 결정하는 두뇌와 얼마나 잘하고 있는지 추측하는 별도의 두뇌가 필요합니다. 이 저자는 이 둘을 하나로 합쳤습니다.

마법 같은 기술: "소매를 잡아라"라고 결정하는 것과 동시에 "성공할 확률이 80%이다" 그리고 "과정의 40%를 지나왔다"라고 예측하는 동일한 신경망을 사용했습니다.
도움이 되는 이유: 로봇이 실시간으로 자신의 점수를 알 수 있기 때문에 더 빠르게 학습할 수 있습니다. 만약 실패할 것이라고 예측한다면, 다른 동작을 시도해야 한다는 것을 알게 됩니다. 이는 학생이 시험을 치를 뿐만 아니라, 즉시 자신의 답안을 채점하여 어디서 틀렸는지 확인하는 것과 같습니다.

4. 실수로부터 배우기 ("리플레이" 전략)

저자는 단순히 연습만 하는 것은 지루하다는 것을 깨달았습니다. 어려운 부분을 연습해야 합니다.

하드 마이닝(Hard Mining): 로봇이 실패하면, 시스템은 그 정확한 순간을 저장합니다(비디오 게임의 "세이브 포인트"처럼). 그런 다음 그 실패한 상태를 불러온 뒤, 이번에는 더 어려운 환경(조명이나 천의 질감에 무작위 변화를 줌)을 추가하여 다시 시도합니다.
인간의 손길: 로봇이 정말로 막혔을 때, 인간이 단 몇 초 동안 제어권을 가져와 옷을 고친 뒤 다시 제어권을 넘겨줍니다. 로봇은 이 작은 교정으로부터 배웁니다. 이것을 DAgger(인간의 수정을 통해 배우는 방식의 멋진 이름)라고 부릅니다.

5. "마법의 안경" (추론 최적화)

똑똑한 두뇌를 가졌더라도 로봇이 너무 빠르거나 느리게 움직이면 서툴 수 있습니다. 저자는 로봇이 마지막 순간에 "생각"하는 방식을 미세하게 조정함으로써 성능이 급격히 향상된다는 것을 발견했습니다.

비유: 객관식 시험을 치르고 있다고 상상해 보세요. 머릿속에 떠오르는 첫 번째 답을 바로 고르는 대신, 세 가지 다른 답을 빠르게 생성해 보고, 자신의 직감(점수)에 따라 어떤 것이 "최선"인지 확인한 뒤 그 답을 선택하는 것입니다.
톰슨 샘플링(Thompson Sampling): 저자는 수학적 게임(슬롯머신 같은)을 사용하여 모든 유형의 옷에 맞는 완벽한 설정(예: "반바지에는 느리게 움직이고, 긴 바지에는 꽉 잡기")을 수동 테스트 없이 자동으로 찾아냈습니다.

6. 현실 세계의 도전: 비디오 게임에서 현실로

컴퓨터 시뮬레이션에서 실제 방 안에 있는 실제 로봇으로 옮겨가는 과정이 가장 어려웠습니다.

물리학의 "불쾌한 골짜기": 시뮬레이션에서 옷은 완벽해 보였습니다. 하지만 실제로는 조명이 다르고, 카메라가 약간 기울어져 있으며, 로봇 팔에 약간의 유격(백래시)이 있었습니다.
해결책: 저자는 로봇을 완벽하게 만들려고 노력하는 대신, 훈련 데이터를 혼란스럽게 만들었습니다. 어두운 곳에서, 밝은 햇빛 아래에서, 카메라가 기울어진 상태에서, 그리고 로봇이 다양한 속도로 움직이는 환경에서 옷을 접도록 가르쳤습니다.
결과: 로봇이 혼돈에 익으로 적응하도록 훈련함으로써, 현실 세계를 마주했을 때 당황하지 않게 되었습니다. 이는 폭풍우 치는 바다에서 서퍼를 훈련시켜 평온한 해변을 쉽게 느끼게 만드는 것과 같습니다.

7. 결과

시뮬레이션: 로봇은 **79.6%**의 성공률로 옷을 접었으며, 61개의 다른 팀을 제치고 우승했습니다.
실제 세계: 최종 대회에서 2위를 차지하며, 실제 로봇으로 실제 옷을 성공적으로 접었습니다.

큰 교훈

저자는 이것이 통제된 변수를 가진 완벽한 과학 실험은 아니었다고 인정합니다. 그것은 "키친 싱크(kitchen sink)" 접근법, 즉 작동할 때까지 모든 유용한 도구(강화 학습, 인간 피드백, 강력한 데이터 증강, 스마트한 추측)를 솥에 집어넣는 방식이었습니다.

핵적인 교훈은 로봇이 옷과 같이 무질서하고 예측 불가능한 것을 다루기 위해서는, 자신의 성공을 예측할 수 있어야 하고, 인간의 수정으로부터 배워야 하며, 현실이 비디오 게임과 다르게 보이더라도 당황하지 않도록 혼란스럽고 다양한 환경에서 훈련되어야 한다는 것입니다.

기술 요약: LeHome Challenge 2026에서의 폴딩 학습 (Learning to Fold)

문제 정의

본 논문은 의류와 같은 변형 가능한 물체(deformable objects)의 양팔 로봇 조작에 초점을 맞춘 LeHome Challenge 2026을 다룹니다. 이 과제는 두 개의 6-DOF 암(SO-ARM101 구성)과 세 개의 RGB 카메라를 가진 로봇이 테이블 위에 평평하게 놓인 네 가지 유형의 의류(긴 소매/짧은 소매 상의, 긴 바지/짧은 바지)를 접는 작업을 요구합니다.

챌린지는 두 단계로 나뉩니다:

온라인 라운드 (시뮬레이션): 팀들은 NVIDIA Isaac Sim에서 경쟁합니다. 성공 여부는 이진(binary)이며 기하학적 조건(예: 소매가 만남, 밑단 정렬 등 특정 키포인트 거리 조건)에 의해 결정됩니다. 데이터셋에는 스크립트된 데모가 포함된 10개의 "학습된(seen)" 의류와 학습 데이터가 없는 10개의 "미학습(unseen)" 의류(공개 2개, 비공개 8개)가 포함됩니다.
실세계 파이널: 상위 팀들은 실제 로봇에 배포합니다. 성공 기준은 중간 단계에 대한 부분 점수를 포함하며 심사위원단에 의해 판정됩니다. 핵심 제약 사항은 의류 유형이 입력값으로 제공되지 않는다는 점입니다. 즉, 정책(policy)이 이를 스스로 추론해야 합니다.

주요 과제로는 변형 가능한 천의 특성(궤적에 민감함), 희소한 이진 보상(sparse binary rewards), 학습 데이터 없이 미학습 의류로 일반화하는 문제, 그리고 개발 중 평가용 로봇에 접근할 수 없었던 어려운 Sim-to-Real 전이가 확인되었습니다.

방법론

본 솔루션은 통제된 절제 연구(ablation study)라기보다는 시각-언어-행동(Vision-Language-Action, VLA) 정책과 강화 학습(RL) 루프를 결합한 엔지니어링 케이스 스터디입니다.

1. 정책 아키텍처

시스템은 고정된 SigLIP 이미지 인코더, Gemma-2B 프리픽스 트랜스포머, 그리고 flow matching을 통해 30단계 액션 청크(action chunks)를 생성하는 Gemma-300M 액션 전문가(action expert)를 사용하는 $\pi_0.5$ 아키텍처를 기반으로 합니다.

LeHome을 위한 수정 사항:
- 의류 유형 토큰(Garment-Type Token): 텍스트 프롬프트 대신 학습된 임베딩을 사용합니다. 추론 시, "System-2" 부트스트랩이 에피소드 시작 시 의류 유형을 예측하여 나머지 롤아웃(rollout)을 조건화합니다.
- 이점 조건화(Advantage Conditioning): 정책은 학습된 이점 토큰(RECAP 방식)에 의해 조건화되며, 이를 통해 추론 시 분류기 없는 가이드(Classifier-Free Guidance, CFG)를 가능하게 합니다.
- Multi-Signal AdaRMS: 이점(advantage)과 의류 유형은 학습된 벡터를 통해 액션 전문가의 레이어 노름(layer norm)에 주입되어 조건화를 강화합니다.
- 배타적 자기 주의(Exclusive Self-Attention, XSA): 토큰이 자신의 값을 사소하게 라우팅하는 것을 방지하기 위해 적용되었으며, 훈련 안정성을 향상시킵니다.
- 부드러운 정규화(Smooth Normalization): 랜덤 워크(random-walk)와 유사한 궤적의 분산 증가를 처리하기 위해 타임스텝별로 액션 델타를 정규화합니다.

2. 자체 가치 함수로서의 정책 (The Policy as Its Own Value Function)

별도의 크리틱(critic) 대신, VLA 모델은 다음과 같은 보조 선형 헤드(auxiliary linear heads)를 포함합니다:

성공 확률: 가치 함수( $V$ ) 역할을 합니다.
완료 진행도: 잠재적 기반 셰이핑(potential-based shaping)을 위해 $t/T$ 를 예측합니다.
키포인트 거리: 성공 판정에 사용되는 특정 비율을 예측합니다.
미래 예측: "Q-함수" 헤드는 제안된 액션 청크에 조건화되어 30 프레임 앞의 성공 잔차( $\Delta_{success}$ )를 예측합니다. 이는 추론 시 Best-of-N 선택을 가능하게 합니다.

3. RL 훈련 루프 (The Flywheel)

시스템은 HuggingFace Hub를 통해 통신하는 비동기 파이프라인을 사용합니다:

알고리즘: AWR(Advantage Weighted Regression)과 RECAP(advantage conditioning)을 결합합니다.
- AWR: 높은 이점을 가진 프레임이 손실 함수에서 가중치를 받는 대신 더 빈번하게 샘플링됩니다 ( $P \propto e^{A/\beta}$ ). 이는 높은 가치의 데이터에 대해 100% 배치 활용을 보장합니다.
- RECAP: 이점이 입력 토큰으로 전달되어, 모델이 "좋은 행동만을 예측하도록" 학습하고 CFG를 가능하게 합니다.
데이터 전략:
- 멀티 데이터셋 샘플링: 로더는 행동 복제(BC) 데이터, RL 롤아웃, 그리고 DAgger(Human-in-the-loop) 데이터를 혼합합니다.
- 감쇠(Decay): RL 데이터는 온폴리시(on-policy) 데이터를 우선시하기 위해 시간이 지남에 따라 감쇠합니다.
- 복구(Recovery): DAgger 루프를 통해 인간이 시뮬레이션 내 실패 상태를 수정할 수 있게 합니다(비록 시뮬레이션에서는 어려움이 있었으나).
- 롤백(Rollback): 훈련 과정은 신선한 오프폴리시(off-policy) 데이터를 사용하여 지역 최적점(local optima)을 탈출하기 위해 주기적으로 이전 체크포인트로 롤백합니다.

4. 보상 및 이점 설계

실제 보상은 이진(binary)이므로, 시스템은 조밀한 중간 보상을 설계합니다:

체크포인트: 특정 키포인트 거리 마일스톤에 도달하면 중간 보상(0.5)이 부여됩니다.
실패 시 회수(Failure Withdrawal): 에피소드가 실패하면 누적된 모든 보상이 회수되어, 모델이 중간 상태를 "속이는(game)" 법을 배우는 것을 방략합니다.
이점 추정: 댐핑된 성공 확률과 완료 진행도를 결합한 일반화된 이점 추정(GAE)을 사용합니다. 오래된 롤아웃의 경우, 이점은 GRPO 스타일의 상대적 성공 신호로 부드럽게 저하됩니다.
정밀도 부스트: 조건을 "엄격하게" 만족하는 성공적인 에피소드에는 추가 이점을 부여하여 고품질의 폴딩을 장려합니다.

5. 추론 시 최적화

배포 시 재학습 없이 동일한 체크포인트가 최적화됩니다:

톰슨 샘플링(Thompson Sampling): 멀티 암드 밴딧(multi-armed bandit)이 롤아웃 수집 중에 의류 유형별로 하이퍼파라미터(실행 길이, 가이드 스케일, 노이즈 온도, 후보 수)를 튜닝합니다.
Best-of-N: 동일한 프리픽스로부터 여러 액션 청크를 샘플링하며, 예측된 $\Delta_{success}$ 가 가장 높은 것을 실행합니다.
소프트 인페인팅(Soft Inpainting): 매끄러운 궤적과 모드 고착(mode stickiness)을 보장하기 위해 겹치는 액션 청크들을 앵커링(anchoring)합니다.

6. Sim-to-Real 전이

실세계 전이는 다음을 포함하는 "스프린트"였습니다:

모델 프루닝(Pruning): 시뮬레이션 전용 헤드(키포인트 거리, 월드 모델)와 이점 조건화를 제거하고, 액션 전문가, 의류 유형 헤드, 완료 헤드만 유지했습니다.
데이터 혼합: 정리용 BC 데이터, 개인 텔레옵/DAgger 데이터, 그리고 대폭 증강된 시뮬레이션 리플레이를 혼합하여 미세 조정했습니다.
정렬 및 증강: 물리적 리그(rig)를 타겟과 정렬하기 위해 카메라 오버레이 도구를 사용했습니다. 도메인 격차를 줄이기 위해 극단적인 증강(컬러 지터, 노이즈, 카메라 드롭아웃, 모션 강도 재조정)을 적용했습니다.
실제 로봇에서의 DAgger: 인간이 개입할 때의 프레임을 개입 근접도에 따라 가중치를 두어, 정책이 실패할 때 복구 데이터를 수집했습니다.

결과

온라인 라운드 (시뮬레이션): 62개 팀 중 1위를 차지했으며, 전체 성공률은 **79.63%**로 2위 팀을 6.1% 포인트 차이로 앞섰습니다.
- 유형별 성능: 긴 소매 상의 (74.5%), 짧은 소매 상의 (70.0%), 긴 바지 (80.5%), 짧은 바지 (93.5%).
실세계 파이널: 2위를 달성했습니다. 점수는 최대 1080점 중 865점을 기록했습니다.
- 정책은 미학습 의류를 성공적으로 접었고 물리적 로봇의 역학을 처리했으나, 자율적 탐색보다는 DAgger 데이터에 크게 의존했습니다.

의의 및 주장

저자는 본 연구를 통제된 과학적 실험이라기보다 엔지니어링 케이스 스터디로 규정하며, 제한된 절제 연구 하에 경쟁 압박 속에서 반복적으로 구축된 시스템임을 명시했습니다.

실용적 레시피: 본 논문은 기존 아이디어들(AWR, RECAP, Flow Matching, DAgger)을 결합하여 사용할 수 있는 "레시피"라고 주장합니다.
가치 함수로서의 정책: 단일 VLA 모델이 정책과 가치 함수(성공/완료 예측기) 역할을 모두 효과적으로 수행할 수 있음을 입증하여, 훈련 파이프라인을 단순화하고 효율적인 Best-of-N 선택을 가능하게 했습니다.
추론 시 튜닝: 추가 학습 없이 추론 하이퍼파라미터를 최적화(톰슨 샘플링을 통해)함으로써 상당한 성능 향상을 얻을 수 있음을 강조합니다.
다양성을 통한 Sim-to-Real: 대폭적인 증강과 의도적인 리그 무작위화(rig randomization)를 결면하여, 평가용 로봇에 접근할 수 없는 상황에서도 상당한 도메인 격차를 극복할 수 있음을 보여줍니다.
한계: 저자는 시스템에 강력한 자율적 탐사/복구(autonomous exploration/recovery) 기능이 부족함을 인정합니다. 정책은 알려진 동작을 정교화하는 데는 뛰어나지만, 인간의 개입(DAgger) 없이는 훈련 분포를 완전히 벗어난 상태에서 복구하는 데 어려움을 겪습니다. 저자는 시뮬레이션 라운드의 RL 메커니즘과 파이널 라운드의 실세계 복구 데이터를 결합한 통합 파이프라인이 성공률 90% 이상을 달성할 수 있을 것이라고 제안합니다.