LEEVLA 기술 요약: 시각-언어-행동(VLA)을 위한 잠재 환경 진화에서의 중요한 요소 포착

문제 정의

시각-언어-행동(Vision-Language-Action, VLA) 모델은 다중 모달 입력(시각적 관찰, 고유 수용 감각, 언어 지시어)을 로봇 행동으로 직접 매핑하는 것을 목표로 합니다. 그러나 기존 방식은 복잡한 동적 시나리오를 처리하는 데 있어 두 가지 주요 한계에 직면해 있습니다:

1. 균등한 토큰 처리: 대부분의 방법은 모든 시각적 토큰을 균등하게 취급하며, 작업에 결정적인 증거와 정적인 무관 배경 정보를 구분하지 못합니다. 이는 감독(supervision)과 추론 능력을 희석시킵니다.
2. 인간이 선택한 요소에 대한 의존: 현재의 추론 메커니즘은 종종 외부에서 인간이 선택한 맥락 단서(예: 서브골 이미지, 세그멘테이션, 깊이 맵)에 의존합니다. 이는 탐색 공간을 제한하고, 보조 모델로 인한 계산 오버헤드를 유발하며, 알려진 요소에 과도하게 집중하게 만들어 미처 알지 못하지만 작업과 관련 있는 잠재적 요소를 무시하게 만듭니다. 결과적으로, 이러한 모델은 객체의 외형이 변하거나 유사한 객체가 다른 양상으로 나타날 때 일반화 능력이 떨어집니다.

방법론

저자들은 잠재 특징 공간(latent feature space)에서 직접 추론하도록 설계된 아키텍처인 LEEVLA(Latent Environment Evolution VLA)를 제안합니다. LEEVLA는 외부 조건에 의존하는 대신, 행동을 고차원 공간에서 환경 상태가 어떻게 진화하는지를 이끄는 동인(driver)으로 취급합니다. 이 프레임워크는 작업 인지형 "어디를-어떻게(where–how)" 학습 전략을 형성하는 두 가지 핵심 구성 요소로 이루어져 있습니다.

1. 드리프트 가이드 동적 우선순위 지정 (Drift-Guided Dynamic Prioritization, DGDP)

이 모듈은 **"어디에 주목할 것인가"**라는 질문을 해결합니다. 이는 외부 주석 없이도 훈련 중에 중요하고 지시어와 관련 있는 영역을 자동으로 식별합니다. DGDP는 두 가지 메커니즘을 결합합니다:

• 동적 위치 우선순위 지정 (Dynamic Position Prioritization, DPP): 시간 $t$와 $t+T$ 사이의 패치 간 코사인 유사도 변화를 측정하여 공간 영역의 역동성을 정량화합니다. 강한 시간적 가변성을 보이는 영역(예: 로봇의 상호작용)은 높은 가중치를 받고, 정적인 배경은 가중치가 낮아집니다.
• 의미론적 드리프트 가이드 (Semantic Drift Guidance, SDG): 모델이 언어 토큰과 유사성이 높은 영역에 주목하도록 보장합니다. 이는 패치의 지시어 관련성 점수를 계산하며, "의미론적 드리프트"는 시간에 따른 이 관련성 점수의 변화로 정의됩니다. 의미론적 변화가 작업 관련성 쪽으로 향하는 패치는 우선순위가 높아지는 반면, 무관한 배경 의미론 쪽으로 흐르는 패치는 억제됩니다.
• 통합: 각 토큰에 대한 최종 우선순위 가중치 $\beta_i$는 역동성 점수와 의미론적 드리프트 인자의 비선형 결합으로 결정되며, 이를 통해 모델이 의도된 조작과 인과적으로 연결된 동적 영역에 집중하도록 보장합니다.

2. 구조적 특징 흐름 생성 (Structured Feature Flow Generation, SFFG)

이 모듈은 **"잠재 표현이 어떻게 진화해야 하는가"**라는 질문을 해결합니다. 이는 표준적인 플래튼(flattened) 토큰 예측 시 발생할 수 있는 국소적 특징 구조의 손상을 방지합니다.

• 프로토타입-투-페리페리 (Prototype-to-Periphery, P2P) 예측: 공간적 의미 연속성을 보존하기 위해, 모델은 다중 뷰 특징에 대해 공동 클러스터링을 수행합니다. 그 후 클러스터 멤버들을 클러스터 중심으로부터의 유클리드 거리(프로토타입에서 주변부까지)에 따라 정렬합니다. 예측 손실은 이 정렬된 순서대로 적용되어, 동일한 의미 단위에 속하는 특징들이 함께 예측되도록 함으로써 국소적 맥락을 유지합니다.
• 상호 이웃 대조 (Mutual-Neighborhood Contrastive, MC) 손실: 잠재 공간에서의 노이즈 섞인 클러스터링과 비대칭적 친밀도를 처리하기 위해, 저자들은 대조 손실을 도입합니다. 이는 신뢰도가 높은 상호 이웃 관계(2차 이웃)를 기반으로 양의 쌍(positive pairs)을 구성합니다. 이를 통해 가짜 연결을 필터링하고 의미적으로 유사한 특징들 사이의 위상적 일관성을 유지합니다.

학습 목적 함수

전체 손실 함수는 세 가지 구성 요소의 결합입니다:

1. 행동 회귀 손실 ($L_{action}$): 예측된 연속적 행동 청크와 실제 정답(ground-truth) 사이의 L1 손실입니다.
2. P2P 예측 손실 ($L_{P2P}$): 구조화된 상태 진화를 강제합니다.
3. 상호 이웃 대조 손실 ($L_{MC}$): 의미론적 이웃 위상을 보존합니다.

결정적으로, DGDP와 SFFG는 학습 단계에서만 사용됩니다. 추론 시에는 토큰 스트림이 변경되지 않으므로 추가적인 추론 비용이나 메모리 오버헤드가 발생하지 않습니다.

주요 기여

1. 드리프트 가이드 동적 우선순위 지정 (DGDP): 동적 위치 우선순위 지정(DPP)과 의미론적 드리프트 가이드(SDG)를 통해 작업 관련 영역을 자동 발견하여, 모델이 역동적으로 활성화되고 지시어와 일치하는 특징에 집중할 수 있게 하는 메커니즘입니다.
2. 구조적 특징 흐름 생성 (SFFG): 프로토타입-투-페리페리(P2P) 예측과 상호 이웃 대조(MC) 손실을 포함하여, 위상적 일관성을 유지하면서 구조화된 잠재 진화를 학습하도록 유도하는 전략입니다.
3. 최첨단 성능 (State-of-the-Art Performance): 광범위한 실험을 통해 명시적인 작업 증거 가이드와 구조화된 잠재 추론이 VLA 모델의 일반화 및 장기 추론 능력을 크게 향상시킨다는 것을 입증했습니다.

실험 결과

저자들은 두 가지 규모로 LEEVLA를 평가했습니다: LEEVLA-mini(miniVLA 기반, 약 0.5B 파라미터)와 LEEVLA-large(OpenVLA-7B 기반, 약 7B 파라미터).

• LIBERO 벤치마크: LEEVLA-large는 Spatial, Object, Goal, Long-horizon 작업 전반에 걸쳐 평균 성공률 **98.2%**를 달성하여, OpenVLA(76.5%), CoT-VLA(81.1%), OpenVLA-OFT(97.1%)와 같은 강력한 베이스라인들을 능가했습니다. LEEVLA-mini 또한 소규모 베이스라인들을 제치고 평균 97.5%의 성공률을 기록했습니다.
• CALVIN 벤치마크: CALVIN ABC-D 작업에서 LEEVLA-large는 평균 성공률 4.34를 기록하며 OpenVLA(3.80)와 $\pi_0$(3.87)를 앞질렀습니다.
• 실제 환경 평가: UR5 로봇 팔을 사용한 물리 실험(물체 놓기, 버튼 누르기, 서랍 닫기 작업)에서 LEEVLA-large는 평균 **78.5%**의 성공률을 달성하여, OpenVLA의 40%를 크게 상회했습니다.
• Ablation 연구: P2P, MC, DPP, SDG 중 하나라도 제거하면 성능 저하가 발생했습니다. 특히 DGDP의 추가가 단일 요소 중 가장 큰 성능 향상(+15.0% 대비 +1.5%)을 제공하여, 상호작용 중심 영역에 감독을 집중하는 것의 중요성을 강조했습니다.

의의 및 주장

본 논문은 명시적인 작업 증거 가이드와 구조화된 잠재 추론이 모두 확장 가능한 VLA를 위해 매우 중요하다는 점을 주장합니다. LEEVLA는 수기로 제작된 외부 조건에 의존하는 대신 잠재 공간에서 직접 추론함으로써, 제한된 탐색 공간과 보조 모델 의존성의 한계를 극복합니다.

저자들은 이 접근 방식이 모델로 하여다 다음과 같은 능력을 갖추게 한다고 강조합니다:

• 전통적인 방식이 놓칠 수 있는 작업 결정적이지만 알려지지 않은 요소를 발견함.
• 동일한 객체에 얽혀 있는 의미, 외형, 기하학적 단서를 공동으로 활용함.
• (글로벌 변조 인자 $\alpha$를 통해) 작업 결정적 영역에 집중하는 것과 전역적 장면 인식을 유지하는 것 사이의 균형을 맞춤.

이 연구는 행동을 잠재 공간에서의 환경 진화의 동인으로 취급하고, 동적 우선순위 지정과 구조적 흐름에 의해 가이드될 때, 추론 지연 시간을 늘리지 않고도 더 견고하고 일반화 가능한 로봇 정책을 도출할 수 있음을 보여줍니다.