ProGAL-VLA: 비전 - 언어 - 행동 (VLA) 모델에서의 전향적 추론을 통한 기반 정렬 (Grounded Alignment)

이 논문은 ProGAL-VLA (Prospective Grounding and Alignment VLA) 를 제안하며, 이는 기존 비전 - 언어 - 행동 (VLA) 모델이 겪는 '언어 무지 (Language Ignorance)'와 '로봇 불안정성' 문제를 해결하기 위해 고안된 계층적 아키텍처입니다.

1. 문제 정의 (Problem)

기존의 VLA 모델 (RT-2, OpenVLA 등) 은 범용 로봇 에이전트를 가능하게 하지만, 다음과 같은 두 가지 주요 실패 모드를 보입니다:

1. 언어 무지 (Language Ignorance): 모델이 지시문의 의미론적 내용보다는 시각적 단서 (시각적 휴리스틱) 에 의존하여 행동을 결정합니다. 지시문이 변경되어도 로봇의 행동이 변하지 않는 현상입니다.
2. 로봇 불안정성 (Robotic Instability): 심층적 추론이 시각 - 운동 (visuomotor) 조정과 충돌할 때 제어 성능이 급격히 저하됩니다. 이는 언어 임베딩이 3D 장면의 실행 가능한 엔티티와 명확하게 연결되지 않고 얕은 결합 (shallow concatenation) 만으로 처리되기 때문입니다.

2. 방법론 (Methodology)

ProGAL-VLA 는 추론 (Reasoning) 과 제어 (Control) 를 비동기적으로 분리하고, 실행 전 검증 병목 (Verification Bottleneck) 을 도입하여 언어 의도가 3D 장면의 구체적 엔티티와 일치하는지 확인합니다.

핵심 구성 요소

1. 전향적 플래너 (Prospective Planner, $\pi_{slow}$):

   • 지시문 ($L$) 과 맥락을 바탕으로 심볼릭 하위 목표 (Symbolic Sub-goal, $s_t$) 를 예측합니다.
   • 예: "빨간 블록 잡기"와 같은 구체적인 행동 템플릿을 생성하지만, 정확한 위치는 추후 기반 단계에서 해결합니다.
   • 저수준의 시각 - 운동 세부사항보다는 의미론적 추론에 집중합니다.

2. 기반 상태 모듈 (Grounded State Module, GSM):

   • 원시 관측치 ($O_t$) 를 엔티티 중심의 3D 그래프로 변환합니다.
   • YOLO-World 등의 오픈 보카불러리 탐지기를 사용하여 3D 객체 그래프 ($G_t$) 와 시간적 메모리 ($M_t$) 를 구축합니다.
   • 객체의 정체성 (Identity) 을 자세 (Pose) 와 외관 (Appearance) 에서 분리하여 정밀한 심볼릭 바인딩을 가능하게 합니다.

3. 상태 정렬 크로스 어텐션 (State Alignment Cross Attention, SACA):

   • 심볼릭 하위 목표 ($s_t$) 와 3D 기반 엔티티 ($E_t$) 간의 정렬을 검증합니다.
   • 검증된 목표 임베딩 ($g_t$) 을 생성하며, 이는 실제 3D 엔티티에 바인딩된 정보만 포함합니다.
   • 주의 엔트로피 (Attention Entropy): 어텐션 분포의 엔트로피를 계산하여 지시문의 모호성 (Ambiguity) 을 감지합니다. 엔트로피가 높으면 단일 엔티티로 해석할 수 없음을 의미합니다.

4. 행동 정책 (Action Policy, $\pi_{fast}$):

   • 검증된 목표 임베딩 ($g_t$) 만을 입력으로 받아 행동을 실행합니다.
   • 원시 언어 피처는 직접 입력되지 않으므로, 모든 행동은 검증된 지각적 증거에 기반해야 합니다.

학습 목표: 기반 정렬 대비 학습 (Grounding Alignment Contrastive, GAC) Loss

• 심볼릭 하위 목표와 올바른 3D 엔티티 쌍을 양의 쌍 (Positive pair) 으로, 다른 엔티티들을 음의 쌍 (Negative pair) 으로 정의합니다.
• InfoNCE 손실 함수를 사용하여 심볼릭 토큰과 3D 엔티티 임베딩 간의 상호 정보량 (Mutual Information) 하한을 최대화합니다.
• 이는 모델이 시각적 단서가 아닌 실제 엔티티와 심볼릭 목표를 정확하게 연결하도록 강제합니다.

3. 주요 기여 (Key Contributions)

1. 검증 병목 (Verification Bottleneck) 아키텍처: 실행 전 심볼릭 목표가 3D 장면의 구체적 엔티티와 일치하는지 검증하는 계층적 구조를 제안하여 언어 무지 문제를 구조적으로 해결합니다.
2. 이론적 분석:
   • 검증 병목이 언어와 행동 간의 조건부 상호 정보량을 증가시킨다는 것을 증명합니다.
   • GAC 손실이 심볼릭 - 엔티티 바인딩에 대한 InfoNCE 하한을 부과함을 보였습니다.
   • SACA 엔트로피가 모호성 감지를 위한 보정된 선택적 예측 (Calibrated Selective Prediction) 을 가능하게 함을 이론화했습니다.
3. 모호성 감지 및 선택적 예측: 명확하지 않은 지시문에 대해 무작위 행동을 취하는 대신, "명확화 요청 (Clarification)" 토큰을 출력하여 실패를 방지하는 능력을 갖췄습니다.

4. 실험 결과 (Results)

LIBERO-Plus 벤치마크:

• 강건성 (Robustness): 로봇 및 카메라 교란 (Perturbation) 하에서 성공률이 30.3% 에서 71.5% 로 크게 향상되었습니다. 특히 로봇 초기화 및 레이아웃 변경에 대한 강건성이 두드러집니다.
• 언어 무지 감소: 단순, 공간, 관계적 지시문에서 언어 무지 오류가 3~4 배 감소했습니다.
• 엔티티 검색 (Entity Retrieval): Recall@1 이 0.41 에서 0.71로 향상되어 모델이 지시된 객체를 정확히 식별하는 능력이 개선되었음을 보여줍니다.

Custom Ambiguity Benchmark (CAB):

• 모호성 감지: AUROC 0.81 (기존 0.52 대비), AUPR 0.79를 기록하여 모호한 입력을 정확히 식별했습니다.
• 선택적 예측: 모호한 상황에서 0.09 에서 0.81로 명확화 요청 (Clarification) 비율이 크게 증가했으며, 명확한 지시문에 대한 성공률은 유지되었습니다.

5. 의의 및 결론 (Significance)

ProGAL-VLA 는 VLA 모델이 단순히 텍스트와 이미지를 결합하는 것을 넘어, 명시적인 기반 정렬 (Explicit Grounding) 을 통해 언어 의도와 물리적 행동 사이의 간극을 해소함을 입증했습니다.

• 구조적 안정성: 검증된 목표 임베딩 ($g_t$) 을 통해 시각적 교란 (조명, 카메라 각도 등) 에 대한 행동의 안정성을 보장합니다.
• 신뢰성 있는 에이전트: 모호한 상황에서 무작위 행동을 취하지 않고 명확화를 요청하거나 중단할 수 있는 능력을 갖추어, 실제 로봇 적용 시 안전성과 신뢰성을 높입니다.
• 실용성: 추가적인 계산 비용은 적게 들면서도 (초당 약 10 프레임), 기존 모델 대비 월등한 성능 향상을 달성하여 실제 로봇 제어에 적용 가능한 새로운 패러다임을 제시합니다.

이 연구는 심볼릭 추론과 물리적 기반 (Grounding) 을 명시적으로 연결하는 것이 지시문에 민감하고 모호성을 인지하는 차세대 로봇 에이전트 개발의 핵심 열쇠임을 보여줍니다.