🤖 machine learning

Learning Abstract World Models with a Group-Structured Latent Space

본 논문은 환경의 대칭성을 인코딩하기 위해 기하학적 사전 지식과 군 구조 잠재 공간을 통합하여 추상적 세계 모델을 학습하기 위한 프레임워크를 제안하며, 이는 다양한 3D 환경에서 예측 정확도 향상, 하류 강화 학습 성능 개선, 그리고 더 분리된 표현을 초래합니다.

원저자: Thomas Delliaux, Nguyen-Khanh Vu, Vincent François-Lavet, Elise van der Pol, Emmanuel Rachelson

게시일 2026-05-20

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Thomas Delliaux, Nguyen-Khanh Vu, Vincent François-Lavet, Elise van der Pol, Emmanuel Rachelson

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 새로운 도시를 어떻게 항해하는지 가르쳐야 한다고 상상해 보세요. 만약 모든 거리 모퉁이의 수백만 장의 사진만 보여준다면, 로봇은 결국 배울 수 있겠지만, 그것은 영원히 걸릴 것이며 막대한 양의 메모리를 소모할 것입니다. 이는 줄거리도 이해하지 못한 채 모든 책을 처음부터 끝까지 읽으며 도서관 전체를 암기하려는 것과 같습니다.

이 논문은 로봇에게 더 지혜로운 방법을 제안합니다: 도시의 규칙을 존중하는 지도를 제공하세요.

간단한 비유를 사용하여 그들의 아이디어를 다음과 같이 정리해 보겠습니다:

1. 문제: "픽셀"의 함정

대부분의 AI 로봇은 고화질 비디오 프레임(픽셀)과 같은 원시 데이터를 보고 학습합니다. 세상을 이해하기 위해, 그들은 수백만 개의 픽셀을 더 작은 "추상적" 요약으로 압축하려고 시도합니다.

문제점: 안내가 없으면 로봇은 모든 미세한 변화를 고유한 것으로 취급합니다. 왼쪽으로 1 도만 돌면 완전히 새로운 세상을 보게 되고, 왼쪽으로 359 도 돌면 (거의 한 바퀴) 다시 완전히 다른 세상을 보게 됩니다. 로봇은 360 도를 돌면 다시 시작점으로 돌아온다는 사실을 깨닫지 못합니다. 이 "루프"를 매번 다시 배워야 합니다.

2. 해결책: "그룹화"된 지도

저자들은 로봇의 내부 지도 (잠재 공간, Latent Space라고 함) 에 기하학적 규칙이나 **사전 지식 (priors)**이 내장되도록 구축할 것을 제안합니다.

비유: 평평한 격자 위를 걷는 비디오 게임 캐릭터를 상상해 보세요. 오른쪽 끝을 벗어나면 즉시 왼쪽 끝에 나타납니다. 이는 "감싸는" 세계 (고전 게임 Asteroids와 유사) 입니다.
구식 방법: 로봇은 "오른쪽 끝"과 "왼쪽 끝"이 같은 지점임을 백만 번이나 보는 것을 통해 암기하려고 시도합니다.
새로운 방법: 저자들은 로봇에게 "자네의 지도는 사실 도넛 (토러스) 이야"라고 말합니다. 도넛 위에서는 오른쪽 끝을 벗어나면 자연스럽게 왼쪽으로 루프되어 돌아옵니다. 로봇은 연결 관계를 암기할 필요가 없습니다. 지도의 모양이 세상이 연결되어 있음을 이해하도록 강제하기 때문입니다.

3. 작동 원리: "대칭성" 도구

이 논문은 이러한 모양을 설명하기 위해 **군론 (Group Theory)**이라는 수학 개념을 사용합니다.

대칭성: 팽이를 생각해 보세요. 팽이를 돌리면 다른 각도에서도 팽이는 똑같이 보입니다. 이 논문은 로봇에게 "돌리는" 것이 예측 가능한 패턴을 따르는 특정 유형의 움직임임을 인식하도록 가르칩니다.
"군 작용 (Group Action)": 이는 단순히 규칙집이라는 fancy 한 용어일 뿐입니다. 로봇은 "만약 행동 A(오른쪽으로 돌기) 를 적용하면 지도의 이 특정 곡선을 따라 이동한다"는 규칙집을 부여받습니다.
지저분함과 깔끔함의 혼합: 실제 생활은 완벽한 원만이 아닙니다. 때로는 회전 (대칭성) 을 하고, 때로는 패턴을 따르지 않는 독특한 건물을 지나갑니다. 저자들의 방법은 두 개의 차선을 가진 지도를 구축하기 때문에 영리합니다:
1. 규칙이 엄격하고 예측 가능한 대칭성 차선 (회전을 위한 원형 트랙과 유사).
2. 패턴을 따르지 않는 지저분하고 독특한 세부 사항을 위한 자유 차선 (직선 도로와 유사).
  이것은 로봇의 뇌를 정리하여 "세상의 규칙"과 "무작위적인 것"을 분리합니다.

4. 결과: 더 빠르게 배우고 더 멀리 보기

연구진은 세 가지 수준에서 이를 테스트했습니다:

간단한 격자: 감싸는 사각형 보드 위를 이동하는 로봇.
3D 도넛: 토러스 (도넛) 모양의 표면 위를 이동하는 로봇.
1 인칭 게임 (VizDoom): 카메라를 통해 세상을 보는 비디오 게임을 하는 로봇 (실생활처럼 매우 복잡함).

무슨 일이 일어났나요?

더 나은 일반화: 로봇이 몇 가지 예시만으로 훈련되었을 때, 아직 본 적 없는 상황에서도 무엇이 일어날지 예측할 수 있었습니다. 예를 들어, 오른쪽으로 조금 돌리는 법을 배웠다면, "도넛 지도"가 경로가 연속적임을 알려주었기 때문에 오른쪽으로 많이 돌면 무슨 일이 일어날지 예측할 수 있었습니다.
더 적은 데이터 필요: 이 특별한 지도를 갖지 않은 로봇들보다 훨씬 적은 훈련 예시로 동일한 기술을 배웠습니다.
깔끔한 사고: 로봇의 내부 "생각" (표현) 이 훨씬 더 단순해졌습니다. 로봇은 혼란스러워하지 않았으며, "나는 돌고 있다"와 "나는 앞으로 이동하고 있다"를 명확히 구분했습니다.

결론

로봇에게 거리 모퉁이의 모든 사진을 암기하도록 강요하는 대신, 이 논문은 세상이 어떻게 감싸고 반복되는지 이미 알고 있는 골격 지도를 로봇에게 제공합니다. 로봇의 학습을 이 기존 모양에 맞추면, 로봇은 더 빠르게 배우고, 실수를 줄이며, 복잡한 3D 비디오 게임을 볼 때조차 세상이 어떻게 움직이는지에 대한 "큰 그림"을 이해하게 됩니다.

참고: 이 논문은 로봇이 시뮬레이션 (격자 세계 및 비디오 게임과 같은) 에서 환경을 예측하고 작업을 수행하는 방법을 개선하는 데 엄격히 초점을 맞추고 있습니다. 의료 진단, 실제 세계의 자율 주행 자동차, 또는 기타 구체적인 실제 산업에 이를 적용하는 것에 대해서는 논의하지 않습니다.

기술 요약: 군 구조 잠재 공간을 활용한 추상적 세계 모델 학습

문제 정의

마르코프 결정 과정 (MDP) 의 의미 있는 추상 모델을 학습하는 것은 강화 학습 (RL) 에서 제한된 데이터로 일반화 능력을 향상시키는 데 필수적입니다. 기존 세계 모델 학습 방법들은 고차원 데이터를 저차원 추상 공간에 임베딩하여 샘플 효율성을 개선하는 데 성공했으나, 최첨단 접근법들은 초인간적 성능을 달성하기 위해 종종 대규모 학습 데이터셋을 필요로 합니다. 주요 한계는 환경 역학에 내재된 알려진 기하학적 구조 (대칭성) 를 통합하지 못한다는 점입니다. 이러한 사전 지식이 없으면 에이전트는 보지 못한 시나리오로 일반화하는 데 어려움을 겪거나, 회전 불변성이나 병진 불변성과 같은 단순한 대칭성을 학습하는 데 과도한 데이터를 필요로 할 수 있습니다.

방법론

저자들은 학습된 전이 모델의 저차원 표현 다양체에 기하학적 사전 지식을 부과하는 프레임워크를 제안합니다. 핵심 방법론은 다음과 같습니다:

군 구조 잠재 공간: 추상 상태 공간 $Z$ 를 표준 유클리드 벡터 공간으로 취급하는 대신, 저자들은 이를 몫 공간 (예: $\mathbb{R}/k\mathbb{Z}$ ) 또는 그러한 공간들의 곱으로 모델링합니다. 이 선택은 환경의 내재적 대칭군 (예: 회전에 대한 순환군) 을 반영합니다.
전이 역학으로서의 군 작용: 전이 모델 $\tau: Z \times A \to Z$ 는 군 작용을 통해 작동하도록 제약됩니다. 구체적으로, 다음 잠재 상태는 현재 상태와 학습된 전이 벡터를 군 연산 $\oplus$ 로 결합하여 예측됩니다:
$\hat{z}_{t+1} = z_t \oplus \Delta(z_t, a; \theta_{trans})$
$\mathbb{R}/k\mathbb{Z}$ 와 같은 몫 공간의 경우, 이 연산은 모듈로 산술을 통해 구현되어 주기적 경계 조건을 자연스럽게 인코딩합니다.
분리된 표현: 대칭적 (구조화된) 과 비대칭적 (비구조화된) 특성을 모두 포함하는 환경을 처리하기 위해, 프레임워크는 분리 (disentanglement) 를 촉진합니다. 전이 벡터 $\Delta$ 에 희소성 정규화를 적용하여, 특정 행동 하에서 불변이어야 하는 특성이 0 이 되도록 강제합니다. 이는 행동 $a$ 가 영향을 미치는 잠재 차원을 정의하는 매핑 $\sigma(a)$ 에 기반하여 전이 벡터의 특정 좌표를 마스킹함으로써 달성됩니다.
학습 목적 함수: 모델은 예측된 전이를 실제 값과 정렬시키기 위해 자기지도식 대비 학습 목적 함수 (InfoNCE 손실) 를 사용하여 훈련되며, reward 예측 손실과 추상 공간을 컴팩트하고 해석 가능하게 유지하기 위한 부피 정규화 손실이 결합됩니다. 가중치 공유 네트워크 아키텍처를 통해 공변성을 강제하는 이전 접근법 (이는 계산 비용이 많이 들 수 있음) 과 달리, 이 방법은 잠재 공간 기하학 내에서 직접 구조를 부과합니다.

주요 기여

잠재 공간의 기하학적 사전 지식: 이 논문은 신경망 아키텍처를 수정하는 대신 적절한 잠재 공간 (몫 공간) 과 해당 군 작용을 선택함으로써 알려진 대칭 구조 (예: 회전 및 병진 대칭성) 를 통합하는 방법을 보여줍니다.
혼합 대칭성 처리: 이 프레임워크는 구조화된 (대칭적) 과 비구조화된 특성을 결합한 표현을 성공적으로 학습하여, 모든 역학이 대칭적이지 않은 1 인칭 3D 뷰와 같은 복잡한 환경으로 모델이 확장되도록 합니다.
향상된 일반화: 이 접근법은 더 단순하고 분리된 표현을 이끌어내어 보지 못한 전이에 대해 더 잘 일반화하며, 완전히 비구조화된 베이스라인에 비해 더 적은 학습 샘플을 필요로 합니다.
하류 RL 성능: 학습된 추상 모델은 하류 RL 작업에 효과적인 사전 지식을 제공하여, 저데이터 환경에서 샘플 효율성을 크게 향상시킵니다.

실험 결과

저자들은 여러 환경에서 그들의 접근법을 평가했습니다:

Toy MDPs (Passage 및 Torus): 간단한 순환 격자 세계와 토러스 MDP(두 개의 순환군의 곱) 에서, 군 구조 모델은 비구조화된 베이스라인이 실패한 보지 못한 전이를 정확하게 예측했습니다. 이 모델은 2 개의 잠재 차원만 사용하여 올바른 위상 (예: $\mathbb{R}^3$ 에서 토러스로 잠재 공간 매핑) 을 복원했습니다.
MiniGrid (Top-Down View): 이 방법은 방향 (순환군으로 모델링됨) 을 위치 (유클리드 공간으로 모델링됨) 에서 성공적으로 분리하여 $\mathbb{R}/2\pi\mathbb{Z} \times \mathbb{R}^2$ 의 곱 공간 표현을 생성했습니다.
VizDoom (First-Person 3D View): RGB 입력을 가진 고차원 환경에서, 모델은 복잡한 시각 데이터를 3 차원 잠재 공간으로 매핑했습니다. 이는 회전의 순환적 특성과 이동의 병진적 특성을 정확하게 포착하여 일반화 지표 (Hits@k, Mean Reciprocal Rank) 와 하류 RL 작업에서 베이스라인을 능가했습니다.
정량적 지표: 모든 환경에서 "AWM + Geometric Priors"모델은 보지 못한 전이에 대한 일반화, 특히 저데이터 환경에서 비구조화된 베이스라인 (사전 지식 없는 AWM) 및 기타 방법 (PRAE, Rotation Matrix) 보다 현저히 우수한 성능을 보였습니다. 하류 RL 작업 (Torus, MiniGrid, VizDoom) 에서 기하학적 사전 지식을 사용한 에이전트는 더 적은 학습 단계로 더 높은 누적 보상을 달성했습니다.

의의 및 주장

이 논문은 잠재 공간과 군 작용의 선택을 통해 기하학적 사전 지식을 활용함으로써, 공변 신경망의 계산 오버헤드 없이 더 샘플 효율적이고 일반화 가능한 세계 모델을 학습할 수 있다고 주장합니다. 저자들은 그들의 방법이 대칭적 및 비대칭적 특성의 유연한 결합을 가능하게 하여 3D 1 인칭 게임과 같은 복잡하고 실제적인 시나리오에 적용 가능하다고 강조합니다. 이 연구는 추상 표현에서 환경의 내재적 대칭성을 존중하는 것이 "더 단순하고 분리된 표현"으로 이어지며, 이는 더 나은 예측과 계획을 촉진한다고 시사합니다. 저자들은 재현성을 보장하기 위해 전체 코드를 제공합니다.