Your Vision-Language-Action Model Already Has Attention Heads For Path Deviation Detection

1. 문제 정의 (Problem)

비전 - 언어 - 행동 (VLA, Vision-Language-Action) 모델은 복잡한 언어 지시와 시각적 맥락을 기반으로 내비게이션 작업을 수행하는 데 뛰어난 잠재력을 보여주고 있습니다. 그러나 이러한 모델은 대규모 언어 모델 (LLM) 의 본질적인 한계인 시각적 추론 환각 (Visual Reasoning Hallucinations) 에 의해 심각하게 방해받습니다.

• 핵심 문제: 로봇이 다단계 지시를 따르며 시각적 역사를 축적할 때, 언어와 시각 정보 간의 정합성 (Grounding) 이 깨지면 로봇은 계획된 궤적에서 벗어나거나 (Trajectory Drift), 잘못된 하위 목표를 선택하여 치명적인 경로 이탈을 초래합니다.
• 기존 방법의 한계: 기존에는 경로 이탈을 감지하기 위해 외부 크리틱 (Critic) 모듈을 학습시키거나, 복잡한 불확실성 휴리스틱에 의존하거나, API 를 통한 외부 LLM 호출을 사용했습니다. 이러한 방법들은 추가적인 학습 비용, 높은 계산 오버헤드, 그리고 실시간 배포에 필요한 고주파수 모니터링이 불가능하다는 단점이 있었습니다.

2. 방법론 (Methodology)

이 연구는 학습이 필요한 외부 모듈 없이, 이미 동결 (Frozen) 된 VLA 모델 내부의 특정 메커니즘을 활용하여 경로 이탈을 감지하고 복구하는 프레임워크를 제안합니다.

가. 내비게이션 헤드 (Navigation Heads) 의 발견

• 발견: 수천 개의 어텐션 헤드 중 소수의 특정 헤드들이 시각적 시퀀스와 언어 지시 간의 시공간적 인과 관계 (Spatiotemporal Causality) 를 자연스럽게 포착하고 있음을 발견했습니다. 저자들은 이를 Navigation Heads ($H_{nav}$) 라고 명명했습니다.
• 동작 원리: 정상적인 내비게이션 중에는 이 헤드들이 지시문을 따라 시각적 토큰에 대해 구조화된 어텐션 진행을 보입니다. 하지만 로봇이 경로를 이탈하면 (Hallucination 발생), 이 어텐션 구조가 특징적으로 붕괴되거나 산란됩니다.

나. 학습 불필요 이상 탐지 프레임워크 (Training-Free Anomaly Detection)

• 감지 메커니즘: $H_{nav}$ 의 어텐션 엔트로피 (Entropy) 를 실시간으로 모니터링하여 이상을 탐지합니다.
  • 스텝 1 (Head Selection): 정상 경로 (Normal) 와 이탈 경로 (Anomaly) 사이에서 어텐션 분포의 차이가 가장 큰 소수의 헤드 (약 3 개) 를 선택합니다.
  • 스텝 2 (Entropy Monitoring): 선택된 헤드들의 평균 어텐션 엔트로피를 계산하고, 이를 최근 시간 윈도우의 평균과 비교하여 상대적 엔트로피 점수 ($R_t$) 를 도출합니다.
  • 스텝 3 (Thresholding): $R_t$ 가 임계값을 초과하고 일정 시간 (Patience) 동안 지속되면 경로 이탈로 판단합니다.
• 효율성: 이 과정은 VLA 모델의 순전파 (Forward Pass) 결과인 어텐션 가중치를 재사용하므로, 추가적인 계산 오버헤드나 학습 파라미터가 전혀 발생하지 않습니다.

다. RL 기반 안전 복구 (RL-based Safe Rollback)

• 계층적 제어: VLA 모델이 고수준의 지시 (Sub-goal) 를 생성하면, 저수준의 강화학습 (RL) 정책이 이를 실행합니다.
• 이상 발생 시 대응: 경로 이탈이 감지되면 무거운 VLA 모델의 추론을 우회하고, 경량화된 RL 정책을 즉시 활성화합니다.
• 롤백 (Rollback): RL 정책은 로봇이 마지막으로 검증된 안전한 상태 (Checkpoint) 로 최단 경로를 통해 안전하게 되돌아가는 (Shortest-path rollback) 동작을 수행하며, 동시에 실시간 장애물 회피를 수행합니다.

3. 주요 기여 (Key Contributions)

1. 내비게이션 헤드 식별: 동결된 LVLM 내부에서 언어 기반 내비게이션 의도와 시각적 관찰을 정렬하는 소수의 어텐션 헤드 ($H_{nav}$) 를 최초로 식별하고, 이것이 해석 가능한 내비게이션 메커니즘임을 증명했습니다.
2. 학습 불필요 이상 탐지: 오직 3 개의 어텐션 헤드를 모니터링하여 실시간으로 경로 이탈을 탐지하는 프레임워크를 제안했습니다. 추가 학습 없이 44.6% 의 이탈 탐지율 (EDR) 과 11.7% 의 낮은 오탐지율 (FER) 을 달성했습니다.
3. 강건한 복구 파이프라인: 이상 탐지 신호를 경량 RL 제어기와 통합하여, 고수준 추론 실패 시에도 로봇이 안전하게 되돌아가고 장애물을 회피할 수 있는 계층적 시스템을 구축했습니다.
4. 실제 로봇 배포 검증: 시뮬레이션 (VLN-CE) 을 넘어, 실제 물리적 로봇 (AgileX Scout 2.0, Jetson AGX Orin 탑재) 에서 시스템의 실용성과 견고성을 검증했습니다.

4. 실험 결과 (Results)

• 이상 탐지 성능: R2R 데이터셋 검증 세트에서 제안된 방법은 기존 휴리스틱 방법 (위치 정지 감지 등) 보다 월등히 높은 성능을 보였습니다.
  • Episode Detection Rate (EDR): 44.6% (기존 방법 대비 크게 향상).
  • False Episode Rate (FER): 11.7% 로 낮게 유지.
  • Step-level F1 Score: 76.4% 로 높은 정확도 달성.
  • 계산 오버헤드: VLA 추론 시간 대비 약 20ms 미만의 추가 지연만 발생하여 실시간성이 확보되었습니다.
• RL 장애물 회피 성능: IsaacLab 시뮬레이션 및 실제 환경에서 RL 정책은 기존 로컬 플래너 (DWA, TEB, APF 등) 보다 우수한 성능을 보였습니다.
  • 성공률 (Success Rate): 87.3% (가장 높은 성능).
  • 충돌률 (Collision Rate): 10.6% 로 매우 낮음.
• 실제 로봇 배포: 5G 네트워크를 통해 원격 제어되는 실제 로봇에서 VLA 의 환각으로 인한 경로 이탈이 발생했을 때, RL 정책이 자동으로 개입하여 로봇을 안전하게 원래 경로로 되돌리는 데 성공했습니다.

5. 의의 및 결론 (Significance)

이 논문은 VLA 모델의 내부 구조 (어텐션 헤드) 를 활용하여 외부 의존성 없이 실시간으로 '자기 진단 (Self-monitoring)'이 가능함을 최초로 증명했습니다.

• 실용성: 고비용의 추가 학습이나 무거운 외부 모델 없이도, 기존 VLA 모델을 그대로 사용하여 안전하고 신뢰할 수 있는 로봇 내비게이션을 구현할 수 있는 길을 열었습니다.
• 확장성: 발견된 내비게이션 헤드는 모델 압축 (Pruning) 을 통한 추론 속도 향상에도 활용될 수 있으며, 복잡한 연속 환경에서 embodied agent 를 배포할 때 필수적인 안전 장치를 제공합니다.

결론적으로, 이 연구는 VLA 기반 로봇이 환각 (Hallucination) 에 취약하다는 근본적인 문제를 해결하기 위해, 모델 내부의 '지식'을 활용하여 실시간 감지와 자동 복구를 가능하게 하는 혁신적인 접근법을 제시합니다.