기술 요약: LiteVLA-H

1. 문제 제기

시각 - 언어 - 행동 (VLA) 모델은 로봇 조작 분야에서 강력한 의미적 기반과 작업 일반화를 입증해 왔습니다. 그러나 이러한 모델을 무인 항공기 (드론) 에 탑재하는 것은 엄격한 온보드 컴퓨팅 및 통신 제약으로 인해 여전히 어렵습니다. 무인 항공기는 시각적 변화에 대응하기 위해 저지연 폐루프 제어가 필요하지만, 동시에 장애물 설명, 활주로 인식, 운영자 감독을 위한 고수준 의미 이해도로부터 혜택을 받습니다.

기존 문헌은 종종 항법 성공, 벤치마크 생성, 또는 서버급 추론을 강조합니다. 소형 온보드 모델을 위한 실제적인 스케줄링 문제를 해결하는 데에는 중요한 격차가 존재합니다: 단일 엣지 VLA 가 어느 한쪽을 희생하지 않고 어떻게 반응형 고빈도 가이드와 느린 문장 수준의 의미 추론을 모두 지원할 수 있는가? 현재 접근 방식들은 종종 추론을 단일 엔드 - 투 - 엔드 지표로 취급하여, 엣지 배포의 특정 지연 병목 현상을 고려하지 못합니다.

2. 방법론: LiteVLA-H

저자들은 NVIDIA Jetson AGX Orin 에서 듀얼 레이트 작동을 위해 설계된 경량 256M 파라미터 VLA 시스템인 LiteVLA-H를 제안합니다. 이 시스템은 세 가지 핵심 기술 기둥을 중심으로 구축되었습니다:

A. 듀얼 레이트 스케줄링 아키텍처

이 시스템은 스케줄러가 관리하는 두 가지 명확한 모드로 VLA 의 출력을 명시적으로 분리합니다:

1. 고속 외부 루프 가이드: 약 19.74 Hz(50.65 ms 지연) 에서 짧은 시간 범위의 행동 토큰 (1~2 개 토큰) 을 생성합니다. 이러한 토큰은 속도, 방향, 웨이포인트와 같은 외부 루프를 위한 고수준 명령으로 사용되며, 기존 비행 제어기는 내부 루프 자세 안정화를 처리합니다.
2. 느린 의미 모드: 장면 이해, 위험 설명, 운영자 내러티브를 위한 문장 수준의 설명을 6.08–6.67 Hz(149.90–164.57 ms 지연) 에서 생성합니다.

스케줄러는 의미 쿼리 주기 ($\Delta_s$) 가 행동 쿼리 주기 ($\Delta_a$) 의 정수 배수 ($K > 1$) 가 되도록 관계를 유지하여, 중요한 행동 마감 시간을 차단하지 않으면서 의미 업데이트를 기회주의적으로 수행할 수 있게 합니다.

B. 지연 분해 및 프리-필 우세

이 연구의 핵심 경험적 관찰은 경량 엣지 환경에서 엔드 - 투 - 엔드 지연이 토큰 디코딩이 아닌 멀티모달 프리-필 (pre-fill) 에 의해 지배된다는 것입니다.

• 프리-필 비용 ($P$): 약 47.8 ms(공유된 시각 - 언어 프롬프트 통과).
• 한계 디코딩 비용 ($D_i$): 토큰당 약 1.4 ms.
• 함의: 짧은 출력 (예: 단일 행동 토큰) 의 경우, 프리-필 비율 ($\rho$) 은 약 94.4% 입니다. 이는 디코딩된 토큰 수를 최적화하는 것이 체감 효과를 거두지 못함을 의미하며, 시스템 병목은 초기 이미지 - 언어 융합에 있습니다. 따라서 불필요하게 프리-필 경로를 재계산하지 않는 한, 시스템은 행동 루프에 큰 영향을 주지 않으면서 더 많은 토큰이 필요한 의미 디코딩을 더 낮은 속도로 실행할 수 있습니다.

C. 지식 보존 미세 조정

일반적인 시각 - 언어 능력을 "파국적 망각" 없이 무인 항공기 작업에 특화시키기 위해, 저자들은 혼합 손실 학습 목표를 사용합니다:
$$\mathcal{L} = \lambda_a\mathcal{L}_{act} + \lambda_s\mathcal{L}_{sem} + \lambda_g\mathcal{L}_{gen} + \lambda_{kp}\mathcal{L}_{kp}$$

• $\mathcal{L}_{act}$: 반응형 비행 데이터 (행동 토큰).
• $\mathcal{L}_{sem}$: 무인 항공기 의미 데이터 (장면 설명).
• $\mathcal{L}_{gen}$: 광범위한 역량을 유지하기 위한 일반 캡션/VQA 감독.
• $\mathcal{L}_{kp}$: 모델이 좁은 행동 분류기로 붕괴하는 것을 방지하기 위한 선택적 지식 보존 정규화제 (미세 조정 전 백본에 대한 증류).

3. 주요 기여

1. 프리-필 우세의 식별: 이 논문은 경량 엣지 배포 VLA 에 대해 "최초 행동까지의 시간"이 디코딩 길이가 아닌 멀티모달 프리-필에 의해 주도되는 주요 시스템 병목임을 확립합니다.
2. 듀얼 레이트 스케줄러: 단일 Jetson AGX Orin 에서 19.74 Hz 외부 루프 행동 방출을 달성하면서도 6.08–6.67 Hz 문장 수준 의미 지각을 유지하는 스케줄링 전략을 도입했습니다.
3. 지식 보존 학습: 반응형 비행 성능과 유지된 일반 시각 - 언어 역량 (CIDEr 및 F1 점수) 을 성공적으로 균형 잡는 미세 조정 레시피를 제시합니다.
4. 시스템 수준 포지셔닝: 최신 최첨단 프레임워크 (AnywhereVLA, FutureVLA, ReMem-VLA) 에 대한 비교 분석을 통해, LiteVLA-H 가 이 특정 임베디드 컨텍스트에서 무거운 메모리 또는 예측 모듈과 관련된 지연 페널티 없이 행동에 대한 더 높은 엣지 추론 속도를 달성하면서도 주기적인 의미 인식을 유지함을 입증했습니다.

4. 결과

실험은 FP16 정밀도와 2048 컨텍스트 윈도우를 갖춘 NVIDIA Jetson AGX Orin 에서 수행되었습니다.

• 지연 성능:

  • 반응형 가이드: 50.65 ms (19.74 Hz).
  • 장면 캡션: 149.90 ms (6.67 Hz).
  • 맥락 인식 (3 문장): 164.57 ms (6.08 Hz).
  • 의미 분기는 행동 분기보다 약 3 배 느려, 듀얼 레이트 접근법의 실현 가능성을 검증합니다.

• 어블레이션 연구:

  • 데이터 혼합: 행동 전용 미세 조정은 심각한 파국적 망각을 초래했습니다 (CIDEr 0.31 로 하락). 일반 캡션/VQA 리허설을 추가하면 일반 역량이 회복되었습니다 (CIDEr 0.82) 하지만 행동 성공률은 행동 전용 변형의 1.1% 이내로 유지되었습니다.
  • 런타임 효율성: 단일 레이트 의미 실행 (6.67 Hz) 이나 메모리 집약적 변형 (ReMem-VLA, FutureVLA) 과 비교하여, LiteVLA-H 는 행동 전용 기준 대비 메모리 0.1 GB 증가 및 전력 3.6 W 증가만으로 높은 행동 속도 (19.74 Hz) 를 유지했습니다.
  • 폐루프 성능: 시뮬레이션된 활주로 항법 및 하드웨어 장애물 코스에서 LiteVLA-H 는 각각 84.1% 및 **81.3%**의 작업 성공률을 달성하여, 하드웨어 설정에서 ReMem-VLA(78.2%) 및 FutureVLA(70.0%) 와 같은 기준선보다 우수했으며, 지연 시간도 현저히 낮았습니다 (50.65 ms 대 205–250 ms).

5. 중요성 및 주장

이 논문은 LiteVLA-H 를 모든 로봇 환경에 대한 보편적 우위가 아닌, 소형 온보드 무인 항공기 환경을 위한 전문 솔루션으로 포지셔닝합니다.

• 설계 철학: 저자들은 온보드 VLA 설계가 문장 수준 응답 지연과 별도로 최초 행동까지의 시간을 최적화해야 한다고 주장합니다. 프리-필 우세를 인식함으로써, 단일 모델이 두 시간 척도를 효과적으로 서비스할 수 있음을 입증했습니다.
• 안전 및 제어: 이 시스템은 직접적인 모터 제어 대신 외부 루프 수준에서 작동하도록 설계되어 가이드 명령을 제공합니다. 이러한 분리는 VLA 가 하류 안전 로직 (예: 명령 클램핑, 비상 정지) 에 의해 필터링될 수 있게 하여, 모델 자체의 안전 부담을 줄입니다.
• 겸손함: 저자들은 가장 강력한 증거가 온보드 추론 타이밍임을 인정하며, 다양한 바람, 조명, 페이로드 조건에 대한 보다 광범위한 폐루프 비행 평가가 여전히 필요하다고 지적합니다. 하드웨어 및 구현체의 차이로 인해 이전 작업과의 비교는 완전히 통제되지 않았지만, 보고된 Jetson AGX Orin 배포 하에서는 반응성과 의미 인식 간의 더 나은 절충안을 제공한다고 주장합니다.

요약하자면, LiteVLA-H 는 엣지 추론의 프리-필 우세 특성을 활용하고 듀얼 레이트 스케줄러를 적용함으로써, 무인 자율성을 위한 의미 있는 의미적 컨텍스트 (6 Hz) 를 제공하면서도 거의 실시간 속도 (20 Hz) 로 반응하는 경량 VLA 를 배포할 수 있음을 보여줍니다.