💻 computer science

Recursive Transport Topology Detects Structural Regime Transitions Associated with Behavioral Failure in World Models

이 논문은 잠재적 수송 위상(latent transport topology)에 대한 재귀적 인덱싱(Recursive Indexing, RIX) 분석이 행동적 실패에 앞서 발생하는 월드 모델의 구조적 체제 전이를 감지할 수 있음을 입증하며, 이를 통해 표현(representations) 자체는 점별로 안정적으로 유지될 수 있는 반면 그 기저의 조직적 구조는 스트레스 하에서 붕괴할 수 있음을 밝힌다.

원저자: Jeffery Scott Allbright

게시일 2026-07-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jeffery Scott Allbright

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 당신에게는 T자형 블록을 테이블 위로 밀어내는 법을 배우는 아주 똑똑한 로봇의 뇌, 즉 '월드 모델(world model)'이 있습니다. 이 모델은 블록이 움직이는 완벽하고 선명한 영상으로 훈련되었습니다. 이제, 카메라 피드에 마치 TV 신호가 약간 흐릿해지는 것처럼 아주 약간의 정적 노이즈(static noise)를 뿌린다고 가정해 봅시다.

보통, "로봇의 뇌가 여전히 제대로 작동하고 있는가?"라고 묻는다면, 우리는 로봇의 내부 지도가 얼마나 이동했는지를 살펴봅니다. 만약 로봇이 블록을 A 위치에서 보고 있는데, 노이즈가 섞인 카메라 때문에 블록이 A-플러스-아주-조금 위치에 있다고 생각하게 된다면, 우리는 "헤이, 여전히 꽤 가까운데! 별일 아니야!"라고 말할 것입니다.

하지만 제프리 스콧 올브라이트(Jeffery Scott Allbright)가 작성한 이 논문은, 단지 '거리'만을 측정하는 것은 마치 자동차 한 대가 출발선에서 얼마나 멀리 이동했는지만 보고 도시 전체의 교통 체증을 판단하는 것과 같다고 말합니다. 그것은 다른 모든 곳에서 일어나고 있는 혼돈을 놓치게 됩니다.

거대한 놀라움: 지도는 망가졌다, 비록 차는 가까이 있을지라도

연구진은 로봇의 뇌 내부를 들여다보기 위해 **재귀적 인덱싱(Recursive Indexing, RIX)**이라는 특별한 도구를 사용했습니다. 그들은 단순히 로봇의 내부 지도가 얼마나 이동했는지를 측정한 것이 아니라, *이웃(neighborhoods)*들이 어떻게 변했는지를 측정했습니다. 이것은 마치 당신의 가장 친한 친구들이 여전히 점심 식탁에 앉아 있는지, 아니면 카페테리아 전체가 갑자기 다른 모양으로 재배치되었는지 확인하는 것과 같습니다.

결과는 다음과 같았습니다:
그들이 아주 적은 양의 노이즈(스트레스 수준 0.05)를 추가했을 때, 로봇의 내부 지도는 거의 움직이지 않았습니다. 거리는 너무 작아서 거의 무시할 수 있는 수준(0.00087)이었습니다. 일반적인 기준에 따르면, 로봇은 괜찮아야 했습니다.

하지만 내부적으로, 이웃 관계는 완전히 붕괴되었습니다!

이웃이 사라졌습니다: 로봇은 원래의 "가장 가까운 이웃(best friends)"을 **19.9%**밖에 유지하지 못했습니다.
분지(Basins)가 사라졌습니다: 로봇은 원래의 "안전 구역(safe zones)"을 **8.0%**밖에 유지하지 못했습니다.
경로가 이상해졌습니다: 로봇이 하고 싶었던 움직임 중 "깨끗한" 세상에서 허용되는 것은 단 **6.1%**뿐이었습니다.

마치 로봇이 같은 자리에 서 있지만, 갑자기 발밑의 타일이 서로 바뀌고, 벽이 움직이며, 출구 표지판이 아무 데도 가리키지 않는 상황과 같습니다. 지도는 단순히 '이동'한 것이 아니라, 지도의 구조 자체가 알아볼 수 없는 형태로 재편된 것입니다.

"임계점"과 추락

연구진은 데이터 분석 방식(줌 레벨, 수학적 시드, 그리드 크기 변경 등)을 320가지 방식으로 바꾸어가며 실험했습니다. 매번, 그들은 동일한 파괴 지점을 발견했습니다.

구조적 붕괴는 스트레스 수준 0.05와 0.10 사이에서 발생했습니다.

이것이 단순한 수학적 트릭이 아님을 증명하기 위해, 연구진은 로봇을 실제 폐쇄 루프 게임(closed-loop game)에서 실행했습니다. 그들은 물었습니다: "로봇이 실제로 블록을 밀 수 있는가?"

0.00 스트레스 (완벽한 시각): 로봇은 **80%**의 확률로 성공했습니다.
0.05 스트레스 (내부 지도 구조가 깨진 바로 그 순간): 성공률이 **20%**로 떨어졌습니다.
0.10 스트레스 이상: 로봇은 100% 실패했습니다.

내부 구조가 엉망이 되는 순간, 로봇의 작업 수행 능력은 급락했습니다. 이 논문은 로봇이 "멀리 떨어져서" 실패한 것이 아니라, 세상을 붙잡고 있던 연결고리가 끊어졌기 때문에 실패했다는 것을 보여줍니다.

이것이 우리에게 알려주는 것 (그리고 알려주지 않는 것)

이 논문은 자신의 주장에 매우 신중합니다. 이 현상이 모든 로봇이나 모든 종류의 노이즈에서 발생한다고 말하지 않습니다. 오직 하나의 특정 로봇 모델(LeWM)을 하나의 특정 작업(PushT)과 하나의 유형의 노이즈(가우시안 정적 노이즈)로 테스트했을 뿐입니다.

또한, 이것이 단 하나의 로봇이 단 한 번의 시도에서 언제 실패할지를 예측하는 마법의 수정구슬이라고 주장하지도 않습니다. 대신, 이는 일련의 상황들(하나의 "레짐", regime)에 대해, 내부 구조가 변하는 순간 로봇이 위험에 처한다는 것을 시사합니다.

핵별 요점

핵심 교훈은 신뢰성이란 단순히 당신의 지도가 실제 세계와 얼마나 가까운가가 아니라, 그 지도가 여전히 이해할 수 있는 방식으로 조직되어 있는가에 달려 있다는 것입니다. 당신은 올바른 위치에 서 있을 수 있지만, 주변의 거리들이 당신이 알지 못하는 미로로 재배치되었다면, 당신은 길을 잃게 될 것입니다.

저자들은 로봇을 안전하게 유지하기 위해서, 단순히 로봇이 얼마나 멀리 벗어났는지가 아니라, 그들의 내부 이웃 관계가 여전히 잘 유지되고 있는지를 확인해야 한다고 제안합니다. 만약 구조가 깨진다면, 로봇은 "구조적 레짐 전이(structural regime transition)" 상태에 있는 것입니다. 이는 로봇이 한 발짝도 움직이지 않았더라도, 게임의 규칙이 바뀌었다는 것을 의미하는 멋진 표현입니다.

기술 요약: 재귀적 수송 토폴로지를 통한 세계 모델의 행동 실패와 관련된 구조적 체제 전이 탐지

문제 정의

세계 모델(World models)은 일반적으로 예측 정확도, 재구성 품질 또는 다운스트림 태스크 성공 여부에 따라 평가된다. 그러나 이러한 지표들은 내부 잠재 상태 공간(latent state space)의 조직이 구조적으로 불안정한 운영 체제로 넘어갔는지 여부를 직접적으로 진단하지 못한다. 현재의 진단 방식에는 중요한 격차가 존재한다. 즉, 점 단위의 근접성(예: 작은 벡터 변위)이 구조적 보존을 보장하지는 않는다는 점이다. 잠재 상태는 깨끗한 상태의 대응물과 수치적으로는 가까울 수 있지만, 원래의 이웃 관계를 상실하거나, 베이신(basin) 멤버십이 변경되거나, 참조 체제에는 존재하지 않는 전이 경로로 진입할 수 있다. 계획 및 제어 시스템의 경우, 이러한 관계적 변화는 큰 벡터 변위가 나타나기 전에 행동 붕괴(behavioral collapse)를 초래할 수 있다.

본 연구는 사전 학습된 세계 모델이 통제된 관측 스트레스 하에서 재현 가능한 운영 체제 전이를 식별할 수 있는지, 그리고 이러한 구조적 전이가 폐쇄 루프(closed-loop) 행동 실패의 시작과 일치하는지를 다룬다.

방법론

실험 설정

본 연구는 시각-운동 제어에 사용되는 평면 밀기 벤치마크인 사전 학습된 LeWorldModel (LeWM) PushT 세계 모델을 활용하였다.

스트레스 메커니즘: 현재 관측 픽셀에 제어된 가우시안 노이즈를 가하였다. 목표 이미지는 깨끗한 상태를 유지하였으며, 모델 파라미터는 고정되었다.
스트레스 사다리: 여섯 단계의 스트레스 진폭을 테스트하였다: $S = \{0.00, 0.05, 0.10, 0.15, 0.20, 0.30\}$ .
데이터 매칭: 각 스트레스 사다리의 프레임에 대해 결정론적인 노이즈 실현(noise realization)을 스케일링하여, 섭동의 크기는 변하되 섭동의 정체성은 모든 레벨에서 일관되게 유지되도록 하였다.

잠재 표현 및 분석

잠재 추출: 인코더는 49,344차원의 잠재 벡터를 생성하였다.
차원 축소: 그래프 및 구조 분석을 위해, 잠재 벡터를 고정된 결정론적 희소 무작위 투영(sparse random projection)을 통해 매핑하였다. 주요 분석에는 64차원을 사용하였으며, 32, 128, 256차원에서 강건성 테스트를 수행하였다.
고정 참조 기하학 (핵심 혁신): 핵심적인 방법론적 규칙이 적용되었다: 구조적 참조 기하학(스케일러, PCA 좌표계, 분위수 베이신 임계값)은 오직 깨끗한 조건(스트레스 0.00)으로부터만 학습되었으며 고정되었다. 모든 스트레스 상태의 잠재 벡터는 이 단일한 고정 참조 시스템에 할당되었다. 이 설계는 매 스트레스 레벨마다 기하학을 다시 피팅함으로써 발생하는 모호함을 방지하며, 대신 스트레스를 받은 표현이 건강한 운영 체제의 조직을 보존하는지 테스트한다.

구조적 지표

분석은 깨끗한 참조 상태에 대한 상호 보완적인 조직 수준을 추적하였다:

이웃 보존(Neighbor Retention): 깨끗한 상태와 스트레스 상태의 $k$ -최근접 이웃 집합 간의 중첩.
매칭된 베이신 보존(Matched Basin Retention): 고정된 참조 RIX 베이신 할당을 유지하는 프레임의 비율.
깨끗한 경로 적응성(Clean-Path Admissibility): 깨끗한 참조에서 관찰된 전이 집합에 속하는 스트레스 전이의 비율.
전이 JS 발산(Transition JS Divergence): 스트레스 상태와 깨끗한 상태의 전이 분포 간의 젠슨-샤논(Jensen-Shannon) 발산.
경로 엔트로피 및 Top-10 비율: 전이의 집중도 및 확산 정도를 측정함.
태스크 국소성(Task Locality): 잠재 이웃들 사이의 물리적 상태, 고유 수용 감각, 행동 및 시간적 거리.

강건성 및 행동 교정

강건성 그리드: 투영 차원(32, 64, 128, 256), 무작위 투영 시드(5), RIX PCA 차원(3–6), 분위수 빈(3–6)을 교차하여 320개의 구성 그리드를 구축하였다.
브레이크포인트 분석: 두 구간 선형 스캔을 통해 구조적 지표가 가장 급격하게 변화하는 스트레스 구간을 식별하였다.
폐쇄 루프 교정: 독립적인 평가를 위해 고정된 CPU 안전형 CEM(Cross-Entropy Method) 플래너 예산을 사용하였다. 스트레스 레벨별로 10개의 에피소드를 평가하여 태스크 성공 확률을 측정하였다.

주요 결과

1. 작은 점 단위 변위 vs. 큰 구조적 재조직

첫 번째 비제로 스트레스 레벨(0.05)에서, 깨끗한 상태로부터의 평균 코사인 변위는 무시할 수 있는 수준(0.00087)이었다. 그러나 구조적 지표는 극적으로 붕괴하였다:

이웃 보존: 100%에서 **19.9%**로 하락.
베이신 보존: 100%에서 **8.0%**로 하락.
깨끗한 경로 적응성: 100%에서 **6.1%**로 하락.
전이 JS 발산: 0.921로 증가.

이는 낮은 진폭의 섭동이 벡터 자체는 수치적으로 가깝게 유지하면서도 잠재 수송 토폴로지의 거대한 재조직을 일으켰음을 나타낸다.

2. 경로 조직의 급격한 분산

스트레스 상태의 표현은 단순히 위치가 이동한 것이 아니라, 전이 역학이 확산되었다.

경로 엔트로피: 스트레스 0.05에서 깨끗한 상태의 6.85 bits에서 8.81 bits로 증가하였다.
Top-10 경로 비율: 24.65%에서 **5.45%**로 감소하였다.
태스크 국소성: 인접한 잠재 상태들이 더 이상 인접한 물리적 상태나 시간적 순간과 일치하지 않게 되었다. 평균 물리적 상태 국소성 거리는 스트레스 0.05에서 0.575에서 2.224로 증가하였다.

3. 전이 구간의 강건성

모든 320개 분석 구성에 걸쳐, 지배적인 구조적 브레이크포인트는 일관되게 0.05–0.10 스트레스 구간으로 국지화되었다.

일치성: 이웃 보존, 베이신 보존, 경로 적응성, 경로 엔트로피, Top-10 비율에 대한 모든 구성(100%)이 이 구간을 식별하였다.
전이 JS 발산: 320개 구성 중 316개(98.75%)가 이 구간을 식별하였다.

4. 행동 붕괴와의 정렬

독립적으로 측정된 폐쇄 루프 태스크 성공률은 구조적 전이를 반영하였다:

스트레스 0.00: 80% 성공률 (10개 에피소드 중 8개).
스트레스 0.05: 20% 성공률 (10개 에피소드 중 2개).
스트레스 0.10+: 0% 성공률.

행동 붕괴(20% $\to$ 0%)의 시작은 구조적 브레이크포인트 분석에서 식별된 것과 동일한 스트레스 체제(0.05–0.10) 내에서 정확히 발생하였다.

주요 기여

고정 참조 스트레스 실험: 매우 작은 점 단위 잠재 변위 하에서도 거대한 관계적 재조직이 발생할 수 있음을 입증하였다.
강건성 분석: 투영 차원, 시드, 해상도 선택에 관계없이 구조적 브레이크포인트가 안정적임을 보여주는 320개 구성 분석을 통해, 해당 전이가 분석적 취약성이 아니라 모델의 상태를 반영함을 논증하였다.
행동 대응성: 독립적으로 식별된 구조적 전이가 폐쇄 루프 행동 붕계와 일치함을 보여주었다.
체제 수준의 정식화: 점 단위 거리와 다운스트림 성능을 보완하여, 잠재 시스템이 여전히 구조적으로 친숙한 운영 체제에 머물고 있는지를 테스트하는 세계 모델 신뢰성에 대한 관점을 제안하였다.

의의 및 주장

본 논문은 세계 모델의 신뢰성은 점 단위 거리가 아니라 운영 체제의 속성이라고 주장한다. 본 연구는 다음을 확립한다:

잠재 표현은 점 단위로는 가까울 수 있으나 그 수송 조직은 실질적으로 변할 수 있다.
고정 참조 수송 토폴로지(재귀적 인덱싱을 통한)는 이러한 구조적 체제 전이를 드러낼 수 있다.
잠재 수송 조직의 구조적 전이와 태스크 성능 저하 사이에는 재현 가능한 대응 관계가 존재한다.

저자들은 본 연구가 결정론적인 단일 실행(single-rollout) 예측이 아니라 체제 탐지 및 행동 대응성을 확립하는 것임을 명시적으로 밝힌다. 연구 결과는 실질적인 신뢰성 스택이 기존의 진단(예측 오차, 불확실성)과 더불어, 잠재 시스템이 여전히 탐색 가능하고 구조적으로 친숙한 체제에 머물고 있는지를 판단하기 위한 구조적 진단을 결합해야 함을 시사한다. 본 연구는 특정 맥 context(가우시안 관측 스트레스 하의 LeWM PushT 모델)에서 행동 실패와 관련된 재현 가능한 구조적 브레이크포인트를 입증하는 것이지, 보편적인 열역학적 상전이를 증명하려는 것이 아니다.