🤖 machine learning

Temporally Centered SIGReg Improves Multi-Task LeWorldModel Learning: From Analysis to Method

이 논문은 LeWorldModel에서 미미한 가우시안 정규화가 멀티태스크 설정에서 표현 에일리어싱(representation aliasing)을 유발한다는 점을 식별하고, 대신 잔차(residuals)에 정규화를 적용하는 시간 중심의 SIGReg 접근 방식을 제안함으로써 외부 사전 학습 없이도 LIBERO 벤치마크에서 다운스트림 멀티태스크 성능을 크게 향상시켰다.

원저자: Chang Liu, Fei Suo, Yanzhou Jin, Yusuke Iwasawa, Yutaka Matsuo, Yaonan Zhu

게시일 2026-07-30

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chang Liu, Fei Suo, Yanzhou Jin, Yusuke Iwasawa, Yutaka Matsuo, Yaonan Zhu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 집안일을 가르치고 있다고 상상해 보세요. 모든 양말이나 접시 하나하나에 대해 수백만 개의 구체적인 규칙을 프로그래밍하고 싶지는 않을 것입니다. 대신 로봇이 세상이 어떻게 돌아가는지에 대한 '세계 모델(world model)'—즉, 세상에 대한 정신적 지도—을 구축하기를 원할 것입니다. 이 지도는 로봇이 컵을 잡거나 의자를 밀었을 때 어떤 일이 일어날지 예측하게 해주며, 이를 통해 움직임을 실제로 만들기 전에 계획을 세울 수 있게 합니다. 오랫동안 과학자들은 로봇에게 영상을 보여주고 다음에 어떤 일이 일어날지 맞혀보라고 요청하는 방식으로 로봇을 가르치려 노력해 왔습니다. 하지만 문제가 하나 있습니다. 만약 로봇에게 너무 많은 다양한 작업(예: 청소, 요리, 정리 정돈)을 한꺼번에 보여주면, 로봇의 뇌는 혼란에 빠질 수 있습니다. 로봇은 '설거지'를 위한 규칙과 '빨래 접기'를 위한 규칙을 서로 뒤섞어 버릴 수 있으며, 이는 모든 것이 똑같아 보이는 엉망진창인 정신적 지도로 이어집니다. 이 논문은 왜 이런 현상이 발생하는지를 파헤치고, 로봇이 수십 가지의 일을 동시에 수행하더라도 그 뇌를 체계적으로 유지할 수 있게 해주는 영리한 새로운 기술을 제안합니다.

이 연구의 연구진은 LeWorldModel이라고 불리는 특정 방법에 주목했습니다. 이는 사람이 로봇에게 무엇을 잘했는지 틀렸는지를 일일이 알려주지 않고도, 픽셀(이미지)로부터 로봇이 학습하도록 가르치는 세련된 방식입니다. 로봇의 뇌가 쓸모없는 빈 상태(모든 것을 잊어버리는 상태)로 무너지는 것을 막기 위해, 기존 방식은 SIGReg라는 규칙을 사용했습니다. SIGReg를 도서관의 모든 책이 완벽하게 균일하고 둥근 패턴으로 선반에 배치되어야 한다고 고집하는 엄격한 사서라고 생각해 보세요. 이 방식은 도서관에 단 한 종류의 책만 있다면 아주 잘 작동할 것입니다. 하지만 온갖 종류의 다른 책들(작업들)을 그 동일한 완벽한 원형 패턴 안에 억지로 밀어 넣으려고 하면, 사서는 실수로 서로 다른 구역들을 찌그러뜨리게 됩니다. '요리' 구역이 '청소' 구역 바로 옆에 붙어버리고, 책들이 뒤섞여 버리는 것입니다.

이 논문은 이러한 '엄격한 사서' 방식이 문제라고 주장합니다. 로봇의 전체 정신 지도가 하나의 완벽한 원형처럼 보이도록 만들려는 시도가 역설적으로 서로 다른 작업 간의 차이점을 뭉개버린다는 것입니다. 이는 마치 사각형, 원형, 삼각형 모양의 말들을 모두 원형 구멍에 억지로 끼워 넣으려는 것과 같습니다. 결국, 그것들은 그 어떤 것에도 제대로 맞지 않는 모양으로 변하게 됩니다. 저자들은 시뮬레이션을 통해 이러한 '완벽하게 둥글어야 한다'는 압박이 서로 다른 작업 그룹들을 더 가깝게 밀어붙여, 나중에 로봇이 그것들을 구분하기 어렵게 만든다는 것을 발견했습니다.

이를 해결하기 위해 팀은 TC-LeWM(Temporally Centered LeWorldModel)이라는 새로운 방법을 도입했습니다. 전체 정신 지도를 둥글게 만드는 대신, 그들은 규칙을 바꾸었습니다. 로봇의 사고 과정에서 발생하는 '꿈틀거림'과 '변화'만을 둥글게 만드는 것입니다. 로봇의 뇌에 '일정한 웅웅거림'(수행 중인 주요 작업)과 '정전기 노이즈'(매 순간 발생하는 작은 변화)가 있다고 상상해 보세요. 기존 방식은 뇌 전체가 완벽한 음조가 되도록 만들려 했습니다. 새로운 방식은 이렇게 말합니다. "주요 음조는 작업을 수행하는 데 필요한 형태가 무엇이든 그대로 두되, 정전기 노이즈가 완벽하게 정리되도록 하라."

이처럼 주 신호(main signal)가 아닌 노이즈(잔차, residuals)에만 엄격한 규칙을 적용함으로써, 로봇은 서로 다른 작업 영역을 뚜렷하고 분리된 상태로 유지할 수 있는 자유를 얻게 됩니다. 결과는 인상적이었습니다. 로봇 조작 작업 모음인 LIBERO 벤치마크에서 테스트했을 때, 새로운 방법은 로봇의 성공률을 크게 높였습니다. 10가지 작업이 있는 테스트에서 성공률은 **53.2%**에서 **73.6%**로 급증했습니다. 40가지의 다양한 작업을 동시에 수행하도록 난이도를 높였을 때, 기존 방식의 성능은 **44.4%**로 떨어졌지만, 새로운 방식은 **73.5%**를 유지하며 강력한 모습을 보였습니다.

또한 이 논문은 로봇의 뇌가 훨씬 더 견고해졌음을 보여주었습니다. 카메라를 흐리게 하거나 이미지를 회전시키는 등의 시각적 트릭을 추가했을 때, 기존의 로봇 뇌는 혼란에 빠져 심하게 요동쳤습니다. 반면 새로운 로봇의 뇌는 외부 세계가 엉망이 되어도 내부 지도를 체계적으로 유지하며 안정적인 모습을 보였습니다. 본질적으로, 완벽하게 균일한 뇌를 만들려는 욕심을 버리고 오직 작고 순간적인 변화를 정리하는 데 집중함으로써, 로봇은 길을 잃지 않고 훨씬 더 다양한 직무를 처리하는 법을 배웠습니다. 이는 로봇이 여러 작업을 동시에 학습하기 위해서는, 하나의 경직된 틀에 강제로 맞춰지는 것이 아니라 다양한 형태를 담을 수 있는 유연한 정신 지도가 필요함을 시사합니다.

기술 요약: 시간적 중심화 SIGReg을 통한 멀티태스크 월드 모델 학습 개선

1. 문제 정의

최근 **LeWorldModel (LeWM)**의 발전은 **Sketched Isotropic Gaussian Regularizer (SIGReg)**가 재구성(reconstruction)이나 보상 감독(reward supervision) 없이도 픽셀로부터 직접 안정적인 엔드투엔드 월드 모델 학습을 가능하게 함을 입증했습니다. SIGReg은 Epps–Pulley (EP) 정규성 기준을 사용하여 잠재 마진 분포(latent marginal distribution)를 등방성 가우시안(isotropic Gaussian)으로 정규화함으로써 표현 붕괴(representation collapse)를 방-지합니다.

그러나 이 방식은 멀티태스크 학습(multi-task learning) 시나리오에서 결정적인 실패 모드를 보입니다. 단일 태스크 설정에서는 효과적이지만, 마진 SIGReg을 공동 멀티태스크 학습에 적용하면 다운스트림 행동 복제(behavior-cloning) 성능이 크게 저하됩니다. LIBERO-Long 벤치마크에서 표준 LeWM의 평균 성공률은 단일 태스크 학습 시 **40.0%**에서 10개 태스크 공동 학습 시 **29.9%**로 떨어졌으며, 10개 태스크 중 8개에서 성능 저하가 관찰되었습니다.

본 논문은 글로벌 표현이 통계적으로는 붕괴되지 않았더라도, **마진 가우시안화(marginal Gaussianization)**가 태스크 의존적 잠재 클러스터 간의 분리도를 클러스터 내부 변동성 대비 압축시킨다는 점을 식별했습니다. 이러한 압축은 **표현 에일리어싱(representation aliasing)**을 유발하여, 서로 다른 태스크나 상태가 겹치는 잠재 코드(latent codes)로 매핑되게 만들며, 결과적으로 학습된 표현을 미세한 시각적 섭동(perturbation)에 매우 민감하고 다운스트림 제어 정책에 부적합하게 만듭니다.

2. 방법론: 시간적 중심화 LeWorldModel (TC-LeWM)

마진 가우시안 사전 확률(marginal Gaussian priors)과 멀티태스크 잠재 구조 사이의 충돌을 해결하기 위해, 저자들은 SIGReg의 정규화 대상을 수정하는 TC-LeWM을 제안합니다.

핵심 메커니즘

전체 잠재 마진 분포( $Z$ )에 SIGReg을 적용하는 대신, TC-LeWM은 잠재 표현 $z_t$ 를 두 가지 성분으로 분해합니다:

로컬 시간적 평균 ( $\bar{z}_t$ ): 저주파, 태스크 의존적 및 컨텍스트 의존적 구조를 포착합니다.
$\bar{z}_t = \frac{1}{|W_t|} \sum_{s \in W_t} z_s$
중심화된 잔차 (Centered Residual, $r_t$ ): 상보적인 단기 스케일의 변동을 포착합니다.
$r_t = z_t - \bar{z}_t$

모델은 표준 예측 손실( $L_{pred}$ )과 더불어 시간적으로 중심화된 잔차( $R$ )에만 적용되는 SIGReg 항을 함께 최적화합니다:
$L_{TC} = L_{pred} + \lambda L_{SIGReg}(R)$

이론적 근거

수축 압력 제거 (Removal of Contractive Pressure): 저자들은 몬테카를로 분석을 통해 EP 목적 함수가 혼합 모델(mixture model) 내 구성 요소 중심 간의 분리도에 "수축 압력(contractive pressure)"을 가한다는 것을 입증했습니다. SIGReg을 전체 잠재값( $z_t$ )이 아닌 잔차( $r_t$ )에 적용함으로써, 이 방법은 저주파 태스크 클러스터( $\bar{z}_t$ )의 분리도에 대한 직접적인 정규화 압력을 제거합니다.
안티-붕괴 특성 유지 (Retention of Anti-Collapse): 잔차 타겟은 여전히 시간적으로 붕괴된 표현을 억제합니다. 만약 잠재값 $z_t$ 가 윈도우 내에서 일정해지면 잔차 $r_t$ 는 0이 되며, 이는 EP가 징벌하는 퇴행적 분포(degenerate distribution)로 이어집니다. 이를 통해 표현이 붕괴되지 않고 예측 가능하도록 보장하면서도, 태스크 클러스터가 병합되는 현상은 방지합니다.

3. 주요 기여

멀티태스크 실패 모드 식별: 마진 SIGReg이 글로벌 비붕괴(non-collapse)가 유지됨에도 불구하고, 태스크 의존적 잠재 클러스터 간의 분리도를 수축시켜 태스크 간 표현 에일리어싱을 유발함을 밝혀냈습니다.
TC-SIGReg 제안: 시간적으로 중심화된 잔차에 SIGReg을 적용하는 새로운 정규화 전략을 제안합니다. 이 접근법은 안티-붕괴 제약과 태스크별 클러스터의 구조적 분리를 분리합니다.
실험적 검증: LIBERO 벤치마크의 단일 태스크, 10개 태스크, 그리고 통합 40개 태스크 학습 환경 전반에서 TC-LeWM이 다운스트림 제어 성능을 일관되게 향상시킴을 입증했습니다.

4. 실험 결과

실험은 LIBERO 벤치마크(Spatial, Object, Goal, Long suite)에서 월드 모델 프리트레이닝 후 고정된 인코더를 사용하는 행동 복제 2단계 파이프라인을 통해 수행되었습니다.

성능 지표

10-태스크 공동 학습: TC-LeWM은 4개 suite에 대한 평균 성공률을 53.2%(Raw LeWM)에서 **73.6%**로 향상시켰습니다. 가장 큰 폭의 이득은 Object(+41.4 포인트)와 Long(+21.9 포인트) suite에서 관찰되었습니다.
통합 40-태스크 학습: 통합 40개 태스크 설정에서 Raw LeWM의 성능은 **44.4%**로 떨어졌으나, TC-LeWM은 73.5%(0.1%의 미미한 하락)를 유지했습니다. 성능 격차는 29.1 퍼센트 포인트까지 벌어졌습니다.
베이스라인과의 비교: 외부 프리트레이닝 없이, TC-LeWM은 처음부터 학습된 Diffusion Policy(73.6% vs 72.4%)를 약간 상회하였으며, Octo(75.1%) 및 OpenVLA(76.5%)와 같은 대규모 사전 학습된 파인튜닝 베이스라인의 성능에 근접했습니다.

잠재 구조 분석

기하학적 구조 (Geometry): Raw LeWM은 잠재 공간에서 광범위한 태스크 중첩과 파편화된 궤적을 보였습니다. 반면 TC-LeWM은 곡선 형태의 저차원 매니폴드를 따라 연속적이고 태스크 및 장면 관련성이 높은 표현을 조직화했습니다.
클러스터 분리도: 정규화된 클러스터 확산도( $\rho$ )가 0.74(Raw LeWM)에서 2.54(TC-LeWM)로 증가하여, 태스크 의존적 구조의 분리가 개선되었음을 나타냈습니다.
강건성 (Robustness): TC-LeWM은 8가지 유형의 시각적 섭동(이동, 회전, 노이즈, 폐쇄 등) 하에서 상대적으로 훨씬 작은 잠재 변위(latent displacement)를 보여주었으며, 이는 OOD(out-of-distribution) 컨디셔닝에 대한 높은 강건성을 시사합니다.

5. 의의 및 주장

본 논문은 **마진 가우시안 사전 확률(marginal Gaussian priors)**과 멀티태스크 잠재 구조 사이의 구조적 부적합성을 밝혀냈다고 주장합니다. 정규화 대상을 시간적으로 중심화된 잔차로 전환함으로써, 저자들은 안정적이고 확장 가능한 엔드투엔드 멀티태스크 월드 모델 학습을 위한 간결한 경로를 제공합니다.

본 연구는 글로벌 비붕괴(non-collapse)만으로는 멀티태스크 제어에 불충분하며, 잠재 공간의 기하학적 구조가 태스크 의존적 구분을 보존해야 함을 시사합니다. TC-LeWM은 SIGReg의 안티-붕괴 이점을 유지하면서도 별개의 태스크 클러스터를 병합시키는 "과잉 정규화"를 피함으로써 이를 달ей합니다. 저자들은 이를 더 큰 보상 없는 데이터셋 및 시각-언어-행동 모델(Vision-Language Action Models)과의 통합을 위한 기초적인 단계로 설정하고 있으나, 벤치마크 범위를 넘어 오픈 월드 물리 로봇에 즉각적인 배포를 주장하지는 않습니다.