기술 요약: VANE – 시각-언어-행동(VLA) 모델을 위한 신뢰할 수 있는 테스트 타임 트레이닝(Test-Time Training)

1. 문제 정의

시각-언어-행동(VLA) 모델은 로봇 조작을 위한 강력한 백본을 제공하지만, 배포 중 새로운 작업이나 시각적 환경에 적응하는 데 있어 상당한 어려움에 직면합니다. 기존의 적응 방식은 비용이 많이 드는 작업별 시연(demonstrations)과 반복적인 미세 조정(fine-tuning)을 요구하며, 이는 통합되고 유지 관리 가능한 시스템보다는 파편화된 정책 컬렉션을 만드는 결과로 이어집니다. 테스트 타임 트레이닝(TTT)은 라벨이 없는 배포 스트림에서 자기 지도 학습 목적 함수를 최적화함으로써 가벼운 대안을 제시하지만, 현재 VLA를 위한 TTT 접근 방식은 폐쇄 루프(closed-loop) 조작에서 세 가지 결정적인 신뢰성 문제를 겪습니다:

1. 작업 간섭(Task Interference): 단일 공유 적응 공간은 서로 호환되지 않는 수정 방향을 혼합하여, 한 작업에 유익한 업데이트가 다른 작업의 성능을 저하시키는 경우가 발생합니다.
2. 검증되지 않은 온라인 업데이트(Unvalidated Online Updates): 후보 업데이트를 즉시 배포하면 그 결과가 알려지기도 전에 후속 행동을 변경할 수 있으며, 이는 잘못된 미래 관측에 근거하여 업데이트가 유익하다고 판단되는 상태로 로봇을 유도할 위험이 있습니다.
3. 프록시의 한계(Proxy Limitations): 기존의 프록시 목적 함수(예: 상태 접지(state grounding))는 저차원적이고 특정 체형(embodiment)에 국한되어 있으며, 상호작용 결과에 대한 시간적 예측력이 부족합니다.

본 논문은 TTT가 신뢰성을 갖추기 위해서는 후보 업데이트가 선택적으로 도입되어야 하고, 미래의 증거에 의해 평가되어야 하며, 만약 퇴보를 일으킬 경우 가역적(reversible)이어야 한다고 주장합니다.

2. 방법론: VANE 프레임워크

저자들은 VANE(VLA Adaptation via Future Visual Representation Prediction)을 제안합니다. 이 프레임워크는 컨텍스트 기반 라우팅 적응 공간, 미래 예측 프록시, 그리고 선택적 업데이트 프로토콜의 세 가지 핵심 구성 요소로 이루어져 있습니다.

2.1 컨텍스트 라우팅 혼합 잠재 프롬프트(MoLP)

작업 간 간섭 문제를 해결하기 위해, VANE은 단일 공유 프롬프트를 **혼합 잠재 프롬프트(Mixture of Latent Prompts, MoLP)**로 대체합니다.

• 메커니즘: 전역적인 잠재 프롬프트 뱅크를 유지합니다. 선형 라우터는 현재의 시각-언어 컨텍스트(VLM 표현의 마지막 토큰)를 조건으로 하여 이 프롬프트들의 희소 혼합(sparse mixture)을 계산합니다.
• 이점: 이를 통해 외부의 작업 식별자 없이도 작업별 수정을 동적으로 구성할 수 있습니다. 관련 작업 간의 공유 구조를 보존하면서도 상충하는 수정 방향의 얽힘을 방지합니다.

2.2 월드-예측 인터페이스(WPI)

상태 접지 프록시의 한계를 대체하기 위해, VANE은 **월드-예측 인터페이스(World-Predictive Interface, WPI)**를 도입합니다.

• 목적: 이미 관측된 현재 상태를 예측하는 대신, WPI는 현재 관측값($Z_t$), 언어 지시문, 그리고 행동 컨텍스트를 바탕으로 미래의 시각적 표현($Z_{t+k}$)을 예측합니다.
• 구현: 동결된 시각 인코더(V-JEPA 2)가 시각 토큰을 추출합니다. 적응 가능한 프롬프트는 지연된 시각적 표현을 예측하도록 잠재 행동 디퓨전 트랜스포머(Latent-Action DiT)를 조건화합니다.
• 장점: 이는 라벨이 필요 없는, 시간적으로 예측 가능하며, 행동에 의해 조건화된 감독 신호를 제공합니다. 단순히 현재의 뷰를 재구성하는 것이 아니라, 상호작용의 결과로 발생하는 장면의 의미론적 진화를 모델링합니다.

2.3 어텐션 게이팅 및 검증 기반 TTT(AGV-TTT)

업데이트가 검증에 사용되는 데이터 자체를 변경하는 폐쇄 루프 결합 문제를 해결하기 위해, VANE은 AGV-TTT를 채택합니다.

• 이벤트 탐지: 시스템은 정책 내의 교차 레이어 어텐션 재분배를 모니터링합니다. 유의미한 어텐션 변화(접촉이나 파지 종료와 같은 상호작용 전환 시 발생)가 감지되면 업데이트 제안이 트리거됩니다.
• 섀도우 제안(Shadow Proposals): 이벤트가 감지되면, 잠재 프롬프트 뱅크의 **섀도우 복사본(shadow copy)**에 대해 후보 프롬프트 업데이트가 계산됩니다. 실제 정책은 기존 프롬프트($P_{old}$)를 사용하여 로봇을 계속 제어합니다.
• 미래 검증: 후속 관측이 도착함에 따라, 기존 프롬프트와 후보 프별 프롬프트 모두 일치하는 미래 예측 쌍에 대해 평가됩니다.
• 원자적 확정(Atomic Commitment): 후보는 다음 조건을 만족할 때만 확정됩니다:
  1. 집중된 손실(high-attention 토큰에 대한 손실)이 개선됨.
  2. 글로벌 손실이 저하되지 않음.
  3. 후속 검증 쌍의 대다수가 후보를 지지함.
     그렇지 않으면 후보는 폐기되며, 시스템은 이전 상태로 복구됩니다.

3. 주요 기여

1. 프롬프트 간섭 진단: 저자들은 단일 공유 프롬프트가 이질적인 작업을 처리하는 데 실패하여 성능 저하를 초래함을 체계적으로 입증했습니다. 이들은 공유와 특수화 사이의 균형을 맞추는 해결책으로 MoLP를 제안합니다.
2. WPI 공식화: 이들은 배포 시점의 프록시가 갖춰야 할 요구사항(관측 가능성 및 정책 관련성)을 정의하고, 프롬프트 전용 TTT를 위한 우수한 라벨 프리 목적 함수로서 미래 시각 표현 예측을 구현했습니다.
3. AGV-TTT 프로토콜: 업데이트 제안과 배포를 분리하는 프로토콜을 개발했습니다. 어텐션 전환을 사용하여 업데이트를 트리거하고 지연된 관측을 통해 검증함으로써, 업데이트가 선택적이고 가역적이도록 보장합니다.
4. 포괄적 평가: 본 프레임워크는 SimplerEnv WidowX 및 Google Robot 스위트에서 평가되었으며, TTT 베이스라인 및 기존 정책보다 향상된 성능을 보여주었습니다.

4. 실험 결과

4.1 SimperEnv WidowX

• 성능: WidowX에서 WPI-MoLP 인터페이스는 비적응형 정책의 성능을 64.3%에서 70.7%로 향상시켰습니다. 전체 VANE 구성(QwenWPI + MoLP + AGV-TTT)은 성공률을 **71.2%**까지 끌어올렸습니다. 이는 QwenPi TTT 베이스라인(QwenPi + SG-LP + TTT, 63.9%) 대비 7.3 퍼센트 포인트 상승이며, 발표된 TTT-VLA 결과(67.4%)보다 3.8 퍼센트 포인트 높습니다.
• 구성 요소 분석:
  • MoLP: 모든 프로토콜에서 단일 프롬프트 구성보다 일관되게 높은 성능을 보였습니다.
  • WPI: WidowX의 모든 매칭된 비교에서 상태 접지 프록시보다 우수한 성능을 보였습니다.
  • AGV-TTT: No-TTT 베이스라인과 비교했을 때 모든 프록시-프롬프트 구성에서 성능을 개선한 유일한 프로토콜입니다.
• 효율성: AGV-TTT는 온라인 TTT와 비교하여 역방향 최적화 호출을 98.7%(약 75배) 감소시켰으며, 적격 프레임의 1.3%에서만 업데이트를 트리거하면서도 더 높은 성공률을 유지했습니다.
• 검증의 필요성: 절제 연구(Ablation studies)에 따르면, "미래 검증(Future Validation)"은 이벤트 트리거 업데이트만 사용했을 때보다 1.7 퍼센트 포인트의 성능 향상을 가져왔으며, 이는 불리한 후보를 필터링하는 것이 매우 중요하다는 것을 입증합니다.

4.2 Google Robot

• 성능: 결과는 작업 및 체형에 따라 다릅니다. 가장 우수한 VANE 변형(QwenPi + MoLP + AGV-TTT)은 **76.7%**의 전체 성공률을 달 기록하며, 발표된 TTT-VLA 결과(66.3%)를 10.4 포인트 초과했습니다.
• 미묘한 차이: WidowX와 달리 이점은 균등하지 않습니다. 예를 들어, WPI 프록시가 Google Robot 작업에서 상태 접지보다 일관되게 우수하지는 않으며, MoLP의 이점 또한 작업군(예: "Put in Drawer"에서는 큰 이득, 다른 곳에서는 혼재된 결과)에 따라 다릅니다.
• 결론: 저자들은 VANE가 입증적인 접근 방식을 보여주지만, 이점의 규모는 특정 작업 구성과 체형에 크게 의존한다고 결론지었습니다.

5. 의의 및 주장

본 논문은 VANE가 상호작용 중 VLA 정책을 적응시키는 신뢰할 수 있고, 제약적이며, 증거 기반인 접근 방식을 구축한다고 주장합니다. 그 의의는 다음과 같습니다:

• 신뢰성: 낙관적인 온라인 업데이트를 넘어, 배포 전 미래의 결과에 의해 검증되는 시스템으로 나아갔습니다.
• 선택성: 지속적으로 업데이트하는 대신, 내부 정책 신호(어텐션)를 사용하여 적응이 필요한 시기를 식감합니다.
• 가역성: 원자적 커밋/롤백 메커니즘을 통해 해로운 업데이트가 배포된 정책을 영구적으로 저하시키지 않도록 보장합니다.
• 겸손함: 저자들은 Google Robot에서의 결과를 통해 이러한 이점의 보편성을 제한하며, 적응의 성공이 모든 체형이나 작업군에 걸쳐 균일하지 않음을 인정합니다. 이들은 VANE를 보편적인 해결사가 아니라, 폐쇄 루프 제어에서 테스트 타임 적응의 위험을 관리하기 위한 견고한 프레임워크로 포지셔닝합니다.