기술 요약: MIRTH – 시각-언어-행동 에이전트를 위한 상호 정보량 추론 및 시계열 허브(Mutual-Information Reasoning with Temporal Hubs)

1. 문제 정의

시각-언어-행동(VLA) 모델은 웹 규모의 데이터로부터 의미론적 지식을 물리적 로봇 제어로 전이하는 능력을 입증해 왔다. 그러나 현재의 오픈 소스 VLA 아키텍처는 장기적 호라이즌(long-horizon) 및 동적 작업에 적용하는 데 있어 다음과 같은 세 가지 본질적인 구조적 한계에 직면해 있다:

1. 시간적 근시안(Temporal Myopia): 대부분의 최첨단 VLA는 단일 프레임 체제에서 작동하며, 즉각적인 관측에만 기반하여 행동을 디코딩한다. 이는 견고한 의사결정에 필수적인 풍부한 시간적 단서(예: 움직임의 추세, 폐쇄(occlusion) 중의 객체 영속성)를 버리는 결과를 초래한다. 일부 접근 방식이 시간적 청킹(temporal chunking)을 도입하기도 하지만, 대규모 시각-언어 모델(VLM)이 가진 일반화된 의미 이해 능력은 결여되어 있는 경우가 많다.
2. 추론 격차(Reasoning Gaps): 고수준의 언어적 목표와 저수준의 모터 명령 사이에는 단절이 존재한다. 기존 방법들은 입력을 행동으로 직접 매핑하거나(해석 가능성 부족), 수작업으로 제작된 어휘집에 의해 감독되는 이산적 행동 토큰에 의존하는데, 이는 다양한 묘사가 동일한 동작으로 매핑되는 "다대일(many-to-one)" 문제로 인해 어려움을 겪는다.
3. 추론 비효전성(Inference Inefficiency): 표준 전략은 연속적인 행동 차원을 이산적 토큰으로 양자화하며, 이로 인해 단일 기동을 위해 긴 토큰 시퀀스를 자기회귀적으로 생성해야 한다. 이는 심각한 레이턴시 병목 현상을 유발하여, 디퓨전 기반 정책과 비교했을 때 실시간 고주파 제어를 계산적으로 불가능하게 만든다.

2. 방법론: MIRTH 프레임워크

이러한 과제를 해결하기 위해 저자들은 사전 학습된 VLA 백본에 세 가지 핵심 혁신을 더한 MIRTH(Mutual-Information Reasoning with Temporal Hubs)라는 통합 프레임워크를 제안한다.

2.1 이중 스케일 시간 메모리 허브(Dual-Scale Temporal Memory Hubs)

컨텍스트 윈도우를 팽창시키지 않으면서 시간적 근시안을 극복하기 위해, MIRTH는 역사적 정보를 고정된 길이의 프롬프트로 압축하는 두 가지 메모리 메커니즘을 도입한다:

• 워크스페이스 메모리 허브(Workspace Memory Hub, 장기): 서로 다른 감쇠율(decay rates)을 가진 $K$개의 지수 이동 평균(EMA)을 유지한다. 이 허브는 장기적 호라이즌에 걸쳐 장면 수준의 증거(예: 레이아웃, 객체 영속성)를 축적하여, 모델이 객체가 가려진 상황에서도 추적할 수 있게 한다.
• 단기 호라이즌 메모리 허브(Short-Horizon Memory Hub, 단기): 최근 프레임($w$ 프레임)의 고정된 길이 큐를 유지한다. 이는 최근성 편향(recency bias)을 가진 시간적 어텐션 분포를 계산하여 미세한 움직임 역학(속도 및 가변성)을 포착한다.
• 통합: 이 허브들은 퍼 패치 시그모이드 게이트(per-patch sigmoid gate)를 통해 융합되며, Prefix 전략(메모리 토큰을 시퀀스에 추가) 또는 Infusion 전략(패치 임베딩을 변조)을 사용하여 현재 프레임의 표현에 통합된다. 이를 통해 모델은 일정한 토큰 수를 유지하면서도 임의의 이력을 조건화할 수 있다.

2.2 상호 정보량을 통한 잠재 추론(Latent Reasoning via Mutual Information)

중간 계획 단계에서 비용이 많이 들고 모호한 텍스트 감독에 의존하는 대신, MIRTH는 일련의 **학습 가능한 잠재 추론 토큰(learnable latent reasoning tokens)**을 도입한다.

• 목표: 이 토큰들은 정보 이론적 손실 함수(InfoNCE loss 기반)인 대비적 상호 정보량(Mutual Information, MI) 목적 함수를 통해 최적화된다.
• 메커니즘: 추론 토큰은 멀티모달 컨텍스트(시각 정보 + 지시문)와 행동 출력 사이에 위치한다. 훈련 목적 함수는 다음 사이의 상호 정보량을 최대화한다:
  1. 추론 표현과 멀티모달 컨텍스트 사이의 정보량 ($L_{rx}$).
  2. 추론 표현과 그에 대응하는 행동 궤적 사이의 정보량 ($L_{ra}$).
• 결과: 이는 잠재 토큰이 특정 텍스트적 합리화에 구애받지 않고 시각적 관측을 행동 의도와 정렬시키는 "의미론적 계획 공간(semantic plan space)"을 인코딩하도록 강제하며, 효과적으로 추론 격차를 메운다.

2.3 병렬 행동 디코딩(Parallel Action Decoding)

자기회귀적 스칼라 디코딩의 효율성 병목을 해결하기 위해, MIRTH는 병렬 행동 디코딩 방식을 채택한다:

• 벡터 단위 예측(Vector-wise Prediction): 모든 자유도(DoF)에 대해 토큰 시퀀스를 생성하는 대신, 하나의 행동 토큰을 전체 행동 벡터(청크)에 할당한다.
• 병렬 생성: 행동 토큰의 은닉 상태가 주어지면, 전체 행동 궤적은 순차적이 아니라 경량화된 프로젝션 헤드를 통해 병렬로 디코딩된다.
• 이점: 이는 행동 토큰 시퀀스 길이를 $1/N_F$ (여기서 $N_F$는 DoF의 수) 배로 줄여주며, 실시간 배포에 적합한 높은 처리량의 제어를 가능하게 한다.

3. 주요 기여

1. 아키텍처: 컨텍스트 윈도우를 확장하지 않고도 장기적 장면 레이아웃과 단기 역학을 유지할 수 있도록 이중 스케일 시간 메모리 허브를 통합한 새로운 VLA 아키텍처를 제시한다.
2. 추론 메커니즘: 명시적인 텍스트 감독 없이도 인지와 제어 사이의 의미론적 가교를 만드는, 상호 정보량 기반의 라벨 효율적인 잠재 추론 방식을 제안한다.
3. 효율성: 자기회귀적 스칼라 생성을 대체하는 병렬 벡터 단위 디코딩 패러다임을 통해, 통합된 토큰 기반 인터페이스를 유지하면서도 높은 제어 처리량을 달 Erkennt한다.
4. 평가: LIBERO 시뮬레이션 벤치마크와 실제 LeRobot 플랫폼에서의 검증을 통해, 최첨단 성능과 창발적 오류 복구 능력을 입증하였다.

4. 실험 결과

저자들은 시뮬레이션과 실제 하드웨어 모두에서 강력한 베이스라인(예: OpenVLA, Octo, Diffusion Policy)을 대상으로 MIRTH를 평가하였다.

• LIBERO 시뮬레이션: MIRTH는 모든 스위트에서 포화 상태에 가까운 성능을 달성했다. 특히, 장기적 호라이즌 컨텍스트가 요구되는 까다로운 LIBERO-Long 스위트에서 MIRTH는 **95.3%**의 성공률을 기록하며, OpenVLA(53.7%) 및 기타 SOTA 모델들을 크게 압도했다.
• LeRobot 실세계 환경: 물리적인 싱글 암 매니퓰레이터에서, MIRTH는 복잡한 추론 시나리오(예: 관절형 객체 조작, 다단계 레시피 수행)에서 우수한 견고성을 보여주었다. 또한 더 가벼운 베이스라인들과 대등한 높은 추론 처리량을 유지했다.
• 절제 연구(Ablation Studies):
  • 시간적 메모리 허브를 제거했을 때 성능이 크게 하락(최대 2.1%)하여, 장기적 작업에서의 필요성을 확인했다.
  • MI 추론 목적 함수를 제거하면 성능이 저하되었으며, 이는 의도와 행동을 정렬하는 데 있어 잠재 토큰의 역할을 입증한다.
  • 오류 복구(Error Recovery): MIRTH는 **12.1%**의 창발적 오류 복구율(실패를 감지하고 재계획)을 보인 반면, 단일 프레임 베이스라인 모델들은 미미한 복구율(<10%)을 보였다.
• 시간적 접지(Temporal Grounding): 선형 프로빙(Linear probing) 결과, MIRTH의 임베딩이 단일 프레임 모델보다 고차 움직임 미분값(속도)을 더 잘 인코딩함을 확인했다. 민감도 테스트 결과, 시간적 이력을 섞었을 때 성공률이 크게 감소하여 모델이 인과적 시간적 일관성에 의존함을 증명했다.

5. 의의 및 주장

본 논문은 MIRTH가 VLA 모델을 복잡한 실제 로봇 작업에 실행 가능하게 만드는 중요한 진전이라고 주장한다. 토큰 공간 내에 메모리와 추론을 명시적으로 구조화함으로써, MIRTH는 현재의 아키텍처를 괴롭히는 "시간적 근시안"과 "추론 격차"를 성공적으로 해결한다.

저자들은 다음과 같은 점을 강조한다:

• 견고성: 폐쇄(occlusion)나 긴 지연 시간 상황에서도 객체 상태와 계획의 일관성을 유지하는 능력.
• 효율성: 자기회귀적 디코딩 오버헤드로 인해 제한되었던 실시간 제어 능력.
• 창발적 능력: 잠재 추론 토큰이 자발적으로 의미론적 클러스터를 형성하여, 명시적인 프로그래밍 없이도 실패 시 동적으로 재계획할 수 있게 함.

이 연구는 VLM의 의미론적 풍부함과 물리적 에이전트에 필요한 정밀한, 이력 인식 제어 사이의 균형을 맞춘 통합 프레임워크로서 제시된다. 저자들은 해석 가능성(잠재 토큰의 불투명성)과 구현 범위(현재 싱글 암)에 대한 한계를 언급하면서도, MIRTH를 더 유능한 Embodied AI를 향한 기초적인 단계로 규정한다.