기술 요약: 시각-언어-행동(VLA) 및 월드 액션 모델(WAM)을 위한 워터마크

문제 정의

시각-언어-행동(VLA) 모델과 월드 액션 모델(WAM)은 모델 가중치는 비공개로 유지하면서 정책은 API 또는 온사이트 패키지를 통해 실행되는 블랙박스 서비스로 점점 더 많이 배포되고 있습니다. 이러한 모델들은 학습에 필요한 독점 데이터와 계산 자원 덕분에 중요한 지적 재산(IP)을 나타냅니다. 핵심적인 과제는 파트너나 적대자가 소유자의 허가 없이 보호된 정책을 재판매하거나 재배포하려고 할 때 발생합니다.

기존의 로봇 정책 워터마킹 솔루션은 두 가지 주요 한계점에 직면해 있습니다:

1. 백도어 기반 워터마크: 이는 특정 행동을 트리거하기 위해 모델 가중치를 수정해야 합니다. 이는 다중 사용자 식별 시나리오로 확장하기 어렵고, 후속 미세 조정(fine-tuning)이나 행동 복제(behavior cloning)에 의해 약화될 수 있습니다.
2. 출력 변조(Output-perturbation) 워터마크: 이는 액션 스트림의 탐색 노이즈(exploration noise)에 신호를 삽다합니다. 그러나 신호가 출력의 좁은 주파수 대역에 집중되어 있기 때문에, 스펙트럼 분석과 협대역 필터를 적용하여 최소한의 작업 성능 저하만으로 워터마크를 쉽게 제거할 수 있는 적대자에게 노출됩니다.

핵심 문제는 블랙박스 환경에서 소유권을 보호하고, 멀티 키(multi-key) 식별을 지원하며, 출력 측 제거 공격에 대해 견고성을 유지하면서도 작업 성능을 저하시키지 않는 워터마킹 메커니즘을 설계하는 것입니다.

방법론: 키 기반 잠재 프로비넌스 검증 (Keyed Latent-Provenance Verification)

저자들은 최종 액션 출력이 아닌 잠재 노이즈 시드(latent noise seed)에 소유권 증거를 삽입하는 2단계 방식인 키 기반 잠재 프로비넌스 검증을 제안합니다.

1. 핑거프린트 주입 (Fingerprint Injection)

주입은 모델이 액션 청크(action chunk)를 생성하기 전에 수행됩니다.

• 메커니즘: 모델 소유자는 샘플러에 의해 추출된 표준 가우시안 노이즈 시드($z_c$)를 "핑거프린트가 찍힌" 시드($z^{fp}_c$)로 교체합니다.
• 키 기반 섭동(Keyed Perturbation): 핑거프린트가 찍힌 시드는 원래의 노이즈와 키 기반 참조 벡터($r_c$)의 선형 결합입니다:
  $$z^{fp}_c = \sqrt{1-\beta^2} z_c + \beta r_c$$
  여기서 $\beta$는 주입 강도를 제어합니다. 참조 벡터 $r_c$는 비밀 키 $k^*$, 논스(nonce) $\nu_e$, 그리고 청크 인덱스를 시드로 사용하는 의사 난수 생성기에 의해 생성됩니다.
• 통계적 불변성: 결정적으로, 결과물인 $z^{fp}_c$는 원래의 노이즈와 동일한 가우시안 분포($N(0, I)$)를 그대로 유지합니다. 이를 통해 액션 스트림이 적대자가 쉽게 필터링할 수 있는 명시적인 가산 신호를 나타내지 않도록 보장합니다. 시드와 키 사이의 상관관계는 모델의 비선형 생성 과정 내에 숨겨집니다.
• 선택적 주입: 모든 액션 청크에 마킹을 하는 것은 아닙니다. 키 기반 선택기가 어떤 청크를 섭동시킬지 결정하여 작업 방해를 제한하고, 적대자가 타겟팅된 제거를 위해 특정 "마킹된" 청크를 식별하는 것을 방지합니다.

2. 핑거프린트 검증 (Fingerprint Verification)

검증은 의심스러운 로봇이 실행한 행동(부분적이거나 후처리되었을 수 있음)에 접근할 수 있는 권한을 가진 소유자에 의해 수행됩니다.

• MAP 잠재 복구 (MAP Latent Recovery): 검증자는 내부 시드를 볼 수 없으므로, 관찰된 행동($y_c$)으로부터 시드를 복구해야 합니다. 저자들은 이를 최대 사후 확률(Maximum A Posteriori, MAP) 최적화 문제로 정식화합니다. 검증자는 예측된 액션($\hat{z}$로부터 생성됨)과 관찰된 액션 사이의 오차를 최소화하면서 가우시안 사전 확률(prior)로부터의 편차를 페널티로 부여하는 잠재 시드 $\hat{z}$를 탐색합니다. 이 접근 방식은 이미지 워터마킹에서 사용되는 역-ODE(reverse-ODE) 방식의 실패 지점인 관찰되지 않은 액션 채널을 추측할 필요가 없게 합니다.
• 키 조건부 스코어링 (Key-Conditioned Scoring): 복구된 시드는 매치 필터(내적)를 사용하여 후보 키 기반 참조들과 비교됩니다.
• 교정 및 집계 (Calibration and Aggregation): 작업 및 에피소드 간의 변동성을 처리하기 위해, 검증자는 점수를 정규화하기 위해 "디코이(decoy)" 키 뱅크를 대상으로 스코어를 산출합니다(Z-score). 소유 여부에 대한 최종 이진 결정을 내리거나 여러 후보 중 특정 키를 식별하기 위해 여러 롤아웃(group aggregation)으로부터 얻은 증거를 합산합니다.

주요 기여

1. 키 기반 잠재 프로비론스 검증: 가우시안 노이즈 법칙을 보존하고, 가시적인 출력 측 신호를 피하며, 잠재 노이즈 시드를 수정함으로써 VLA 및 WAM 배포에 워터마크를 삽입하는 새로운 프레임워크를 제공합니다.
2. 블랙박스 검증기 설계: MAP 최적화를 사용하여 부분적이고 후처리된 액션 명령으로부터 잠재 시드를 복구할 수 있는 검증 시스템을 설계하여, 이진 소유권 검증과 다중 키 식별을 모두 지원합니다.
3. 포괄적 평가: 두 가지 정책 패밀리($\pi0.5$ 및 LingBot-VA)와 두 가지 로봇 스위트(LIBERO-10 및 RoboTwin)에 걸쳐 광범위한 실험을 수행하여, 출력 측 공격(클리핑, 스무딩, 지터, 지연), 소유자 측 변형(LoRA, 프루닝, 양자화), 그리고 적응형 미세 조정 공격에 대한 견고성을 평가했습니다.

실험 결과

방법론은 네 가지 모델-로봇 조합에 대해 평가되었습니다. 주요 결과는 다음과 같습니다:

• 작업 성능: 워터마크 주입은 작업 성공률(일반적으로 몇 퍼센트 포인트 이내)과 에피소드 길이에 무시할 만한 변화만을 주었습니다.
• 탐지 정확도: 공격이 없는 상태에서, 방법론은 16개의 롤아웃을 집계했을 때 모든 조합에서 완벽한 탐지(1% 거짓 양성률에서 TPR 1.00)를 달-성했습니다.
• 출력 공격에 대한 견고성: 워터마크는 다양한 출력 측 제거 공격 하에서도 탐지 가능한 상태를 유지했습니다. $\pi0.5$/LIBERO-10 조합에 대한 공격적인 스무딩이나 지터가 탐지율을 낮추기는 했으나, 방법론은 일반적으로 높은 견고성을 유지했습니다. 저자들은 워터마크를 제거할 만큼 강력한 공격은 대개 작업 성능을 크게 저하시킨다는 점을 언급했습니다.
• 소유자 변형에 대한 견고성: 핑거프린트는 LoRA 미세 조정, 프루닝, 양자화에서도 생존했습니다. 압축이 모델 백본을 손상시켜 작업 성공률을 낮추는 경우에도, 집계 후 핑거프린트는 여전히 복구 가능했습니다.
• 식별: 시스템은 33개의 후보 중 의심스러운 정책에 할당된 특정 키를 성공적으로 식별했으며, 집계 후 높은 Rank-1 정확도를 달성했습니다.
• 보안 분석:
  • 오탐 키 위험 (False-Key Risk): 무작위 또는 독립적인 키가 임계값을 통과할 확률은 매우 낮습니다(임계값에 따라 경험적으로 $10^{-3}$에서 $10^{-9}$ 사이로 추정).
  • 적응형 제거: 워터마크 점수를 최소화하도록 정책을 미세 조정하는 화이트박스 공격은 작업 성능을 심각하게 저하시키지 않고서는 핑거프린트를 제거하는 데 실패했습니다.
  • 증류 (Distillation): 행동 복제(교사의 출력을 기반으로 학생 모델을 학습시키는 것)는 워터마크를 성공적으로 제거했습니다. 학생 모델은 액션 분포는 학습하지만 교사의 샘플러가 가진 특정 노이즈 법칙의 불변성은 학습하지 못하기 때문입니다. 저자들은 이를 "회피 비용(새로운 모델을 학습시키는 것)이 막대한 수준이 되는 경계"로 규정합니다.

의의 및 주장

본 논문은 키 기반 잠재 프로비넌스 검증이 프라이빗 생성 로봇 정책을 보호하기 위한 실용적이고 견고한 메커리즘을 제공한다고 주장합니다. 워터마크를 출력 대신 잠재 시드에 삽격함으로써, 이 방법은 주파수 기반 워터마크의 "저렴한 제거" 취약점을 피합니다.

저자들은 이 방법이 암호학적 증명이라기보다는 **경험적 운용 지점(empirical operating points)**임을 강조합니다. 이 방법은 소유자가 의심스러운 서비스에 접근할 수 있는 승인된 사후 감사를 위해 설계되었습니다. 의의는 소유자가 가중치가 숨겨져 있고 출력이 표준적인 배포 후 처리를 거치는 상황에서도 자신의 정책이 무단 재배포되었음을 탐지할 수 있게 한다는 점에 있습니다. 이 연구는 트레이드오프를 보여줍니다: 워터마크는 출력 조작 및 모델 편집에는 견고하지만 증류(distillation)에는 취약하며, 이는 회피 비용이 단순한 필터링에서 고비용의 재학습 과정으로 이동함을 시사합니다.