기술 요약: FlexLAM

문제 정의

잠재 행동 모델(Latent Action Models, LAMs)은 비디오 데이터 $(o_t, o_{t+1})$를 잠재 코드(latent codes)로 압축하고, 이를 제한된 라벨 데이터를 사용하여 실행 가능한 행동(executable actions)과 정렬함으로써, 행동 정보가 없는 비디오 데이터와 다운스트림 의사결정 사이의 간극을 메우는 것을 목표로 한다. 기존 LAM의 핵심 설계 제약은 **고정 용량 병목(fixed-capacity bottleneck)**이다. 즉, 모든 전이(transition)는 복잡도와 상관없이 고정된 길이 $K$의 잠재 코드를 반드시 통과해야 한다.

저자들은 이러한 고정 용량 설계에 내재된 근본적인 **병목 트레이드오프(bottleneck trade-off)**를 식별하였다:

1. 타이트한 코드 (낮은 $K$): 효율적이지만, 과도하게 압축된 코드는 특히 라벨 데이터가 부족할 때 실행 가능한 행동과 잠재 표현을 정렬하는 데 필요한 결정적인 전이 단서들을 유실할 수 있다.
2. 루즈한 코드 (높은 $K$): 더 많은 전이 변동성을 보존하지만, 과도하게 루즈한 코드는 노이즈와 불필요한 프레임 차이를 도입한다. 라벨이 희소하거나 분포가 좁을 때(예: 단일 태스크로부터의 데이터), 번역기(translator)는 행동 가능한 신호와 무관한 변동성을 구분하는 데 어려움을 겪게 되어 정렬이 취약해진다.

기존 방식들은 용량을 튜닝 가능한 글로벌 하이퍼파라미터로 취급하지만, 저자들은 전이의 복잡도는 가변적이며, 단일한 고정 예산은 모든 전이나 모든 정렬 체계를 최적으로 지원할 수 없다고 주장한다.

방법론: FlexLAM

FlexLAM은 고정 용량 병목을 **잔류 접두사 학습(retained-prefix training)**을 통해 가변 길이 잠재 행동 인터페이스로 교체함으로써 이 트레이드오프를 해결한다. 핵심 혁신은 주변의 LAM 파이프라인(인코더, 디코더, 번역기, 다운스트림 평가기)은 변경하지 않고 오직 병목 학습 절차만을 수정하는 구조적 중립성(architectural-agnostic)에 있다.

주요 기술 구성 요소

1. 잔류 접두사 학습 (Retained-Prefix Training):
   모든 전이에 대해 단일 고정 길이 코드 $z_t = (z_{t,1}, \dots, z_{t,K})$를 학습하는 대신, FlexLAM은 잔류 접두사 길이 $k$를 균등 분포 $p(k) = \text{Unif}\{0, \dots, K\}$에서 샘플링한다.

   • 처음 $k$개의 토큰은 학습된 잠재 변수로 유지된다.
   • 나머지 접미사 슬롯($j > k$)은 공유된 학습 가능한 널 잠재값(null latent) $z_\emptyset$으로 대체된다.
   • 디코더는 현재 관측치 $o_t$와 이 널(null)로 채워진 표현 $\tilde{z}^{(k)}_t$를 조건으로 하여 $o_{t+1}$을 재구성한다.

2. 접두사 유효 잠재 행동 (Prefix-Valid Latent Actions):
   이 학습 체계는 잠재 코드의 모든 접두사가 전이 디코딩과 행동 정렬 모두를 위한 유효한 표현이 되도록 보장한다.

   • 정보 밀도: 초기 토큰들은 더 많은 샘플에서 유지되므로 더 밀도 높은 학습 압력을 받게 되어, 압축적이고 고수준의 전이 구조를 포착하도록 유도된다.
   • 잔여 세부 사항: 후기 토큰들은 접두사 길이 $k$가 클 때만 미세한 세부 사항을 추가한다.
   • 정렬 안정성: 번역기가 동일한 코드의 부분적인 뷰(partial views)를 바탕으로 학습함으로써, 모델은 접미사만의 변동성에 의존하지 않고 핵심 전이 구조를 기반으로 행동을 정렬하는 법을 배운다. 이는 라벨이 희소하거나 좁을 때 매우 중요하다.

3. 추론 시 유연성 (Inference-Time Flexibility):
   추론 시 모델은 재학습 없이 임의의 토큰 예산 $k \le K$ 내에서 작동할 수 있다. 시퀀스 모델은 오직 처음 $k$개의 토큰만을 생성하며, 번역기는 널(null)로 채워진 표현을 사용하여 행동을 디코딩한다. 이를 통해 단일 모델 내에서 지연 시간(latency)과 성능 사이의 동적인 트레이드오프가 가능하다.

주요 기여

1. 병목 트레이드오프의 특성화: 본 논문은 고정 용량 인터페이스가 전이 복잡도와 표현 예산 사이의 불일치를 생성하여, 라벨이 희소하거나 좁은 정렬 체계에서 구체적인 실패 모드를 유발함을 공식적으로 규명하였다.
2. 잔류 접두사 학습: 모든 전이 코드의 모든 접두사가 유효한 잠재 행동이 되도록 만드는 학습 전략을 도입하였다. 이를 통해 단일 모델이 다양한 토큰 예산을 아우를 수 있게 하고, 잠재-행동 인터페이스의 견고함을 개선하였다.
3. 실험적 우월성: 광범한 실험을 통해, 단일 FlexLAM 모델이 모든 평가된 토큰 예산($k \in \{4, 16, 64\}$)에서 별도로 학습된 고정 용량 베이스라인(Fixed-$K_k$)보다 우수한 성능을 보임을 입증하였으며, 이는 개선이 단순히 중간 예산에 접근할 수 있기 때문이 아니라 더 나은 인터페이스를 학습했기 때문임을 증명한다.

실험 결과

평가는 DMLab(시뮬레이션) 환경과 Ego4D(실제 세계 비디오)를 중심으로 이루어졌다.

1. 희소 라벨 하에서의 샘플 효율성 (DMLab)

• 설정: 번역기를 데이터셋의 극히 적은 비율(0.025%)의 라벨로 학습시킴.
• 결과: Flex-LAM은 모든 토큰 예산에서 별도로 학습된 Fixed-$K$ 베이스라인을 일관되적으로 능가한다. 특히, 전체 용량에서 평가된 FlexLAM@64가 Fixed-$K_{64}$보다 높은 성능을 보였는데, 이는 잔류 접두사 학습이 단순한 추론 시의 유연성을 넘어 표현 자체의 품질을 향상시켰음을 나타낸다.

2. 좁은 소스로부터의 정렬 (DMLab)

• 설정: 단일 저수익 태스크("Lasertag One Opponent Large")의 라벨을 사용하여 번역기를 학습시킴 (좁은 분포).
• 결과: 고정 용량 베이스라인, 특히 고용량 모델들은 소스가 좁을 때 성능이 크게 저하되어(때로는 랜덤 정책보다 낮아짐) 취약성을 보였다. 반면 FlexLAM은 견고함을 유지하며 고용량 코드의 "취약성"을 피했다.

3. 실제 세계 재구성 (Ego4D)

• 설정: 다양한 실제 1인칭 시점(egocentric) 비디오에 대한 전이 재구성.
• 결과: FlexLAM은 공개된 고정 병목 모델인 villa-X-LAM 참조 모델에 비해 우수한 재구성 지표(PSNR, SSIM, LPIPS)를 달려냈다. 또한, FlexLAM 모델 내에서 잔류 접두사 길이 $k$를 늘릴수록 미세한 시각적 세부 사항이 점진적으로 회복됨을 확인하여, 접두사 유효 구조를 검증하였다.

4. 교차 체형 전이 (Cross-Embodiment Transfer)

• 결과: 한 장면/체형(예: 사람의 손)에서 학습된 잠재 행동이 다른 장면이나 체형(예: 로봇 그리퍼)으로 성공적으로 전이되었으며, 시각적 정체성과 독립적으로 운동 구조를 보존하였다.

5. 추론 시 트레이드오프

• 지연 시간 vs 성능: FlexLAM은 동적인 토큰 예산을 지원한다. 접두사 길이를 64에서 16으로 줄이면 다운스트림 리턴(return)의 95%를 유지하면서도 지연 시간을 $3.6\times$ 단축할 수 있어, 자원이 제한된 하드웨어 배포를 위한 실질적인 메커니즘을 제공한다.

의의 및 주장

본 논문은 가변 길이 잠재 행동이 고정 용량 병목을 대체할 수 있는 **아키텍처 자유로운(architecture-free), 드롭인 업그레이드(drop-in upgrade)**라고 주장한다.

• 핵심 통찰: 개선의 원인은 단순히 추론 시 서로 다른 예산을 선택할 수 있는 능력 때문만이 아니다. 오히려 잔류 접두사 학습 과정 자체가 라벨 희소성과 분포 변화에 더 견고한 더 나은 잠재-행동 인터페이스를 만들어내기 때문이다.
• 범위: 저자들은 FlexLAM을 비디오와 행동 사이의 인터페이스를 개선하는 표현 수준(representation-level)의 솔루션으로 정의한다. 이들은 새로운 정책 아키텍처나 직접적인 VLA(Vision-Language-Action) 모델 비교를 제안하는 것이 아니라, 정책 학습 이전에 발생하는 병목 문제를 다루고 있음을 명시한다.
• 한계: 통제된 다운스트림 비교는 DMLab 계열에 국한되어 있으며, 실제 세계 비교는 외부 참조 모델을 사용하였다. 저자들은 향ate 연구에서 이러한 표현 수준의 이득을 실제 실행 가능한 정책 전이 및 시각적으로 모호한 전이 상황에서의 행동 선택과 연결 지어야 한다고 언급하였다.

요약하자면, FlexLAM은 모델이 "접두사 유효(prefix-valid)"하도록 학습함으로써 압축과 정보 보존 사이의 긴장을 해결하고, 비디오 전이를 실행 가능한 행동과 정렬하는 데 있어 더 안정적이고 적응력 있는 인터페이스를 구축한다.