기술 요약: PGN (Pangu Navigator)

문제 정의

시각-언어 내비게이션(Vision-Language Navigation, VLN)은 체화된 에이전트(embodied agent)가 자연어 지침을 해석하고 시간적으로 순서가 있는 시각적 관찰을 바탕으로 일련의 행동을 예측할 것을 요구합니다. 멀티모달 거대 언어 모델(MLLM)은 광범위한 시각-언어 표현을 제공하지만, 이를 연속적인 내비게이션에 적응시키는 데에는 다음과 같은 구체적인 과제가 따릅니다:

1. 시각-언어 정렬(Visual-Language Alignment): 시각적 특징과 언어 모델의 임베딩 공간 사이의 간극을 메우는 것.
2. 시간적 표현(Temporal Representation): 컨텍스트 윈도우를 과도하게 점유하지 않으면서 일련의 관찰 시퀀스를 효율적으로 인코딩하는 것.
3. 행동 공간 접지(Action-Space Grounding): 생성된 텍스트를 작은 이산적 행동 공간(전진, 왼쪽, 오른쪽, 정지)으로 제한하는 것.
4. 하드웨어 제약 사항: 혼합 정밀도 연산이 불안정할 수 있는 특정 하드웨어(Ascend NPU)에서 안정적인 학습을 유지하는 것.

기존 벤치마크는 종종 이산적 그래프나 연속적인 환경에 의존하지만, OpenPangu-7B와 같은 7B 규모의 파운데이션 모델을 이러한 작업에 적응시키려면 이러한 제약 사항을 동시에 해결하는 특화된 아키텍처와 학습 파이프라인이 필요합니다.

방법론: PGN (Pangu Navigator)

저자들은 OpenPangu-7B를 기반으로 구축된 오프라인 VLN 행동 예측 시스템인 PGN을 제안합니다. 이 시스템은 시간적 추론과 행동 생성을 위해 설계된 2단계 학습 파이프라인과 특정 입출력 구조를 채택합니다.

1. 모델 아키텍처

• 시각 인코더(Visual Encoder): $224 \times 224$ 관찰 이미지에서 패치 레벨 특징을 추출하기 위해 동결된 EVA-ViT-G/14를 사용합니다.
• 시각-언어 정렬 (PGMM): 32개의 학습 가능한 쿼리 토큰을 가진 Q-Former가 교차 주의(cross-attention)를 사용하여 고정된 크기의 시각적 표현을 생성합니다. 그 후, 768차원의 쿼리 표현을 OpenPangu-7B의 4096차원 임베딩 공간으로 매핑하는 2계층 MLP 프로젝터가 뒤따릅니다.
• 언어 백본(Language Backbone): OpenPangu-7B가 핵심 언어 모델 역할을 합니다.
• 적응(Adaptation): 전체 미세 조정 없이 작업별 학습을 가능하게 하기 위해 언어 백본에 LoRA(Low-Rank Adaptation) 어댑터를 주입합니다.
• 구조적 토큰(Structural Tokens): 이미지 시작, 이미지 끝, 프레임 경계를 표시하여 멀티모달 입력을 구성하는 세 개의 학습된 토큰을 사용합니다.

2. 입력 및 출력 형식

• 입력: 타임 스텝 $t$에서 모델은 내비게이션 지침 $I$와 다섯 개의 시간 순서로 정렬된 관찰 윈도우($O_t = \{o_{t-4s}, \dots, o_t\}$)를 받습니다. 여기서 $s$는 샘플링 간격입니다.
• 출력 형식: 모델은 추론 텍스트($r_t$)를 생성한 후 정형화된 행동($a_t$)을 생성합니다. 행동 공간은 $\{forward, left, right, stop\}$으로 이산적입니다.
  • 인수 분해(Factorization): $P(r_t, a_t | I, O_t) = P(r_t | I, O_t)P(a_t | r_t, I, O_t)$.

3. 학습 파이프라인

• 1단계: 시각-언어 정렬 (PGMM):
  • 데이터: Microsoft COCO 및 Visual Genome의 이미지-캡션 쌍을 사용합니다.
  • 동결: 시각 인코더(EVA-ViT-G/14)와 언어 백본(OpenPangu-7B)을 동결합니다.
  • 학습: 시각 입력을 언어 모델과 정렬하기 위해 Q-Former와 2계층 MLP 프로젝터만을 최적화합니다.
• 2단계: 내비게이션 적응:
  • 데이터: DAgger 호환 파이프라인을 통해 수집된 전문가 내비게이션 궤적(실질적으로 $\beta=1$을 사용하여 전문가 데이터만 수집한 후 지도 행동 복제 수행)을 사용합니다.
  • 동결: 정렬된 시각 경로(EVA, Q-Former, 프로젝터)와 기본 언어 모델 파라미터를 동결합니다.
  • 학습: 업데이트는 세 개의 구조적 토큰 임베딩과 LoRA 어댑터로 국한됩니다.
  • 샘플링: 전진, 회전, 정지 행동의 균형을 맞추기 위해 에포크 종속적 시간 샘플링($istart = e \mod s$)과 행동 인식 샘플링을 사용하는 다섯 개의 관찰 윈도우를 사용합니다.

4. 구현 세부 사항

• 하드웨어: 8개의 Ascend 910B NPU에서 학습되었습니다.
• 정밀도: DeepSpeed ZeRO-2를 사용하여 혼합 정밀도 연산을 활용합니다. FP16 어텐션 마스크 연산에서의 수치적 오버플로를 처리하기 위해, 시스템은 글로벌 FP32 학습 대신 특정 불안정한 연산에 대해 선택적 FP32 연산을 채택합니다.

주요 기여

1. 2단계 시스템: 시각 및 언어 표현을 먼저 정렬(PGMM)한 다음, 시간적 관찰과 LoRA를 사용하여 정렬된 모델을 전문가 내비게이션 궤적에 적응시키는 파이프라인을 제공합니다.
2. 구조화된 I/O 형식: 다섯 프레임의 관찰 윈도우, 시간적 경계 토큰, 추론 텍스트 생성 및 정형화된 4개 행동 공간을 결합한 새로운 입출력 설계를 제시합니다.
3. Ascend 지향적 구현: 선택적 FP32 연산을 통한 안정성과 티처 포스(teacher-forced), 오픈 루프 평가 프로토콜을 특징으로 하는 강력한 Ascend NPU용 학습 스택을 구축했습니다.

결과

시스템은 500개의 홀드아웃(held-out) 전문가 궤적에 대해 티처 포스 방식의 오픈 루프 프로토콜(모델이 새로운 관찰을 생성하기 위해 실행되지 않고 전문가 관찰 이력을 바탕으로 행동을 예측함)을 사용하여 평가되었습니다.

• 지표:
  • 정규화된 행동 일치도 (Normalized Action Match, NAM): 텍스트 표현을 정규화한 후 예측된 행동과 전문가 행동 간의 일치도를 측정합니다.
  • 비빈 비율 (Non-empty Rate, NER): 비어 있지 않은 응답을 생성하는 예측의 비율입니다.
  • 정확한 문자열 일치 (Exact-string Match, EM): 엄격한 문자열 일치도를 나타냅니다 (추론 텍스트 포함으로 인해 이후 버전에서는 0%로 기록됨).
• 성능:
  • 버전 V9: 62.29% NAM 및 100.00% NER를 달려 달성했습니다.
  • 버전 V8: 62.13% NAM 및 100.00% NER를 달성했습니다.
  • 추세: 초기 버전(V5, V6)은 낮은 NAM(25.40% 및 23.18%)과 NER(33.98% 및 99.17%)을 보였으며, 이는 추론 텍스트, 아이덴티티 프롬프팅 및 V8/V9에서의 개선된 샘플링 도입이 행동 정렬을 크게 향상시켰음을 나타냅니다.

의의 및 한계 (저자의 주장)

본 논문은 PGN을 Ascend 하드웨어에서 OpenPangu-7B 파운데이션 모델을 오프라인 VLN 작업에 적응시키기 위한 개념 증명(proof of concept)으로 위치시킵니다.

• 타당성: 결과(62.29% NAM)는 동결된 백본과 LoRA 적응 방식을 사용하여 오프라인 전문가 행동 정렬을 수행하는 것이 타당함을 뒷받침합니다.
• 평가의 범위: 저자들은 이러한 지표가 폐쇄 루프(closed-loop) 내비게이션 성공이 아닌 오프라인 전문가 행동 정렬을 정량화한다는 점을 명시적으로 밝힙니다.
  • 이 평가는 오류 누적, 경로 효율성, 목표 완수 또는 잘못된 행동으로부터의 회복 능력을 측정하지 않습니다.
  • Success Rate, SPL 또는 내비게이션 오차와 같은 지표는 보고되지 않았습니다.
• 향후 과제: 저자들은 시뮬레이터에서 예측된 행동을 실행하는 폐쇄 루프 환경에서 시스템을 평가하는 것이 진정한 내비게이션 성공을 확립하는 데 필요하다고 언급합니다. 현재의 작업은 최첨단 폐쇄 루프 VLN 시스템과의 비교보다는 모델 정렬을 위한 개발 기록으로서의 역할을 합니다.