기술 요약: GuardVLA – 비전 - 언어 - 행동 모델을 위한 백도어 기반 소유권 검증 방향

1. 문제 제기

비전 - 언어 - 행동 (VLA) 모델은 언어와 비전과 같은 다중 모달 입력을 연속적인 로봇 행동으로 매핑함으로써 범용 로봇 제어를 가능하게 합니다. 이러한 모델은 아키텍처, 미세 조정 (fine-tuning), 데이터에 상당한 투자가 필요한 귀중한 지적 자산이 되어감에 따라, 오픈 릴리스는 무단 재사용, 수정 및 상업적 배포에 노출됩니다.

기존 모델 소유권 검증 방법은 VLAs 에 적용될 때 다음과 같은 치명적인 한계에 직면합니다:

• 약한 응답 구분성: 표준 비전 - 언어 모델이 의미론적 출력을 생성하는 것과 달리, VLAs 는 실행 가능한 연속 행동을 생성합니다. 서로 다른 정책들은 종종 동일한 작업에서 매우 유사한 성공적인 행동을 보이기 때문에, 응답 수준의 차이점을 기반으로 소유권을 구분하기 어렵습니다.
• 안전 제약: 비정상적인 출력을 유도하는 전통적인 백도어 기반 방법이나 적대적 교란은 배포 중 안전하지 않은 행동을 유발할 수 있으므로 로봇 공학에는 적합하지 않습니다.
• 강건성: 검증 메커니즘은 모델이 하류 미세 조정 또는 적응을 거친 후에도 여전히 효과적이어야 합니다.

핵심적인 과제는 정상적인 작업 수행을 저해하거나 안전하지 않은 로봇 행동을 유발하지 않으면서 구별 가능한 소유권 증거를 제공하는 검증 프레임워크를 설계하는 것입니다.

2. 방법론: GuardVLA

저자들은 VLAs 를 위해 특별히 설계된 첫 번째 백도어 기반 소유권 검증 프레임워크인 GuardVLA를 제안합니다. 이 프레임워크는 '스왑 및 감지 (swap-and-detect)' 메커니즘을 기반으로 작동하여, 정상 실행과 트리거 모드 검증을 분리합니다.

2.1. 워터마크 임베딩 (안전한 미세 조정)

학습 단계에서 GuardVLA 는 보호된 모델에 은밀하고 무해한 백도어 워터마크를 임베딩합니다:

• 스테가노그래피 주입: 고정된 비밀 메시지 ($m_s$) 를 사전 훈련된 이미지 스테가노그래피 임베더 ($E_\phi$) 를 사용하여 embodied 시각 관찰 ($x_{ob}$) 에 임베딩하여 워터마크가 적용된 관찰 $x_s = x_{ob} + \delta_s$를 생성합니다.
• 안전한 미세 조정: 보호된 모델 ($M_w$) 은 표준 작업 손실 (task loss) 을 사용하여 이러한 워터마크가 적용된 관찰에 대해 미세 조정됩니다. 이는 모델의 파라미터에 백도어 패턴을 임베딩하면서도 깨끗한 입력에 대한 행동은 변경하지 않습니다.
• 보조 모델: 검출을 지원하기 위해 두 가지 보조 모델이 훈련됩니다:
  • 클린 모델 (Clean Model, $M_c$): 원본, 수정되지 않은 데이터로 미세 조정된 모델.
  • 노이즈 모델 (Noise Model, $M_r$): 무작위 비대상 비밀 메시지 ($m_r$) 가 포함된 데이터로 미세 조정된 모델.

2.2. 트리거 프로젝터 및 분류기 공동 훈련

배포된 모델의 정상적인 행동을 변경하지 않고 감지를 가능하게 하기 위해 GuardVLA 는 외부 모듈을 훈련합니다:

• 트리거 프로젝터 ($P_t$): 검증 중 표준 프로젝터를 대체합니다. 이는 임베딩된 워터마크에 민감한 토큰으로 시각 특징을 매핑합니다.
• 분류기 헤드 ($H_c$): 검증 중 표준 행동 전문가 (action expert) 를 대체하여 소유권 확률을 출력합니다.
• 훈련 목표: 이러한 모듈들은 표현 공간을 구조화하기 위해 트리플릿 손실 (Triplet Loss)(클린 및 노이즈 표현을 가깝게 하고 워터마크가 적용된 표현은 멀게 함) 과 워터마크가 적용된 모델을 양수로, 나머지를 음수로 분류하기 위해 **이진 교차 엔트로피 손실 (Binary Cross-Entropy Loss)**을 사용하여 훈련됩니다.

2.3. 스왑 및 감지 검증 프로토콜

소유권 검증은 두 가지 명확한 모드에서 발생합니다:

1. 정상 모드 (성능 테스트): 모델은 원래 구성 요소 ($P_b, H_a$) 를 사용하여 작업을 실행합니다. 성공률 (SR) 을 측정하여 모델이 충돌하거나 크게 저하되지 않았는지 확인합니다.
2. 트리거 모드 (워터마크 감지): 모델이 성능 테스트를 통과하면 내부 프로젝터 및 행동 헤드를 훈련된 트리거 프로젝터 ($P_t$) 와 분류기 헤드 ($H_c$) 로 교체합니다. 모델은 동일한 입력을 처리하며, 분류기는 워터마크 식별 신뢰도 (WIC) 를 출력합니다.
   • $WIC \ge \tau_{wic}$인 경우, 모델은 보호된 모델의 복사본으로 식별됩니다.
   • $WIC < \tau_{wic}$인 경우, 모델은 워터마크가 적용되지 않은 것으로 간주됩니다.

3. 주요 기여

1. GuardVLA 프레임워크: VLAs 에 맞춘 첫 번째 백도어 기반 소유권 검증 프레임워크로, 훈련 중 무해한 워터마크를 임베딩하여 표준 배포 중에는 비활성 상태로 유지됩니다.
2. 스왑 및 감지 메커니즘: 정상 실행과 트리거 모드 검증을 명시적으로 분리하는 새로운 검증 전략입니다. 이는 소유권 증거가 감사 중에만 활성화되도록 하여 정상 로봇 운영 중 안전하지 않은 행동을 방지합니다.
3. 강건성과 충실도: 광범위한 실험을 통해 GuardVLA 는 출시 후 모델 적응 (미세 조정) 및 다양한 억제 공격 하에서도 높은 워터마크 감지성을 유지하면서 하류 작업 성능 (충실도) 을 보존함을 입증했습니다.

4. 실험 결과

저자들은 LIBERO 벤치마크 스위트를 사용하여 세 가지 대표적인 VLA 아키텍처 (OpenVLA-OFT, VLA-Adapter, $\pi_{0.5}$) 에 GuardVLA 를 평가했습니다.

• 모델 충실도: GuardVLA 는 클린 모델에 비해 작업 성공률 (SR) 을 보존하거나 약간 향상시켰습니다. 예를 들어, 워터마크가 적용된 OpenVLA-OFT 는 Object suite 에서 99.4% 의 SR 을 달성했습니다 (클린 모델 대비 98.2%). VLA-Adapter 는 LIBERO-10 에서 89.8% 에서 93.4% 로 향상되었습니다.
• 워터마크 감지성: 트리거 모드에서 워터마크가 적용된 모델은 일관되게 99.8% 이상의 WIC 점수를 달성한 반면, 클린 및 노이즈 모델은 0.1% 미만으로 유지되었습니다. 이는 보호된 모델과 보호되지 않은 모델 간의 명확한 분리를 나타냅니다.
• 적응에 대한 강건성:
  • 크로스 - 데이터셋 미세 조정: LIBERO-10 에서 훈련된 워터마크가 적용된 모델을 LIBERO-Spatial 에서 미세 조정했을 때, WIC 는 적응 과정 내내 100% 근처에 유지되었습니다.
  • 크로스 - 방법 미세 조정: 시각 입력이 축소되어 미세 조정되더라도 (단일 뷰 대 듀얼 뷰), 워터마크는 여전히 감지 가능했습니다.
• 억제에 대한 저항: 프레임워크는 가중치 양자화 (INT4), 지식 증류, 프로젝터 불변 적응 공격을 견뎌냈습니다. 모든 경우 WIC 는 100% 근처에 유지된 반면, 공격들은 종종 모델의 작업 성능 (SR) 을 저하시켰습니다. 이는 워터마크를 제거하면 유용성이 손상됨을 시사합니다.
• 행동 수준 확장: 저자들은 트리거에 의해 유도된 독특한 엔드 이펙터 운동 패턴을 통해 소유권을 검증할 수 있음을 입증하여, 해석 가능한 행동 수준 검증 신호를 제공했습니다.

5. 중요성과 주장

이 논문은 GuardVLA 가 신뢰할 수 있고 안전하며 강건한 소유권 검증 방법을 제공함으로써 오픈 소스 VLA 배포의 중요한 격차를 해소한다고 주장합니다.

• 안전 최우선: 이전의 백도어 방법들이 잘못된 행동을 유발할 수 있었던 것과 달리, GuardVLA 는 워터마크가 정상 운영 중에는 잠복 상태 (dormant) 로 유지되도록 보장하여 로봇 정책의 안전성과 유용성을 보존합니다.
• 지속성: 워터마크는 VLA 적응의 일반적인 시나리오인 하류 미세 조정을 통해 지속되도록 설계되어, 모델이 새로운 작업이나 환경에 적응된 후에도 소유권 주장이 유효하도록 보장합니다.
• 실용성: 이 프레임워크는 검증자가 전체 모델 가중치가 아닌 제한된 접근 (인터페이스 기반) 을 갖는 현실적인 위협 모델 하에서 작동하며, 검증 과정에서 개인적인 훈련 데이터를 노출할 필요가 없습니다.

저자들은 GuardVLA 가 개발자들이 선의의 연구와 적응을 방해하지 않으면서 무단 사용을 추적할 수 있게 함으로써 책임 있는 모델 공유를 가능하게 하고, embodied intelligence 를 위한 지속 가능한 생태계를 지원한다고 결론지었습니다.