Tex3D: Objects as Attack Surfaces via Adversarial 3D Textures for Vision-Language-Action Models

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 비전 - 언어 - 행동 (VLA, Vision-Language-Action) 모델은 로봇 조작 분야에서 뛰어난 성능을 보이지만, 물리적으로 실현 가능한 적대적 공격 (Adversarial Attacks) 에 대한 견고성 (Robustness) 은 아직 충분히 연구되지 않았습니다.
• 기존 연구의 한계:
  • 언어 기반 공격: 지시어에 교란을 주지만, 실제 배포 환경에서 언어 인터페이스에 의존적입니다.
  • 2D 패치 기반 공격: 입력 이미지에 적대적 패치를 부착하지만, 시점 (Viewpoint) 과 물체의 자세에 매우 민감하며, 눈에 띄고 비자연스러워 물리적 환경에서 탐지되기 쉽습니다.
• 핵심 문제:
  1. 미분 가능성의 부재: MuJoCo 와 같은 일반적인 물리 시뮬레이터는 3D 물체의 외관 (텍스처) 에 대해 미분 가능한 최적화 경로를 제공하지 않아, VLA 의 목적 함수에서 물체 텍스처로 그라디언트를 역전파하는 것이 불가능합니다.
  2. 장기적 일관성 유지: VLA 추론은 수백 프레임에 걸친 긴 시퀀스를 포함하는데, 기존 3D 텍스처 공격은 단일 프레임이나 짧은 시퀀스에 최적화되어 있어 전체 조작 궤적 (Trajectory) 에서 공격 효과를 일관되게 유지하기 어렵습니다.

2. 제안 방법론 (Methodology: Tex3D)

저자들은 VLA 시뮬레이션 환경 내에서 3D 적대적 텍스처를 End-to-End 로 최적화할 수 있는 프레임워크인 Tex3D를 제안합니다. 주요 기술적 구성 요소는 다음과 같습니다.

A. 전경 - 배경 분리 (Foreground-Background Decoupling, FBD)

• 목적: 물리 엔진 (MuJoCo) 의 비미분 가능성 문제를 해결하고, 텍스처 최적화를 위한 미분 가능한 경로를 구축합니다.
• 작동 원리:
  1. 배경 렌더링: MuJoCo 를 변경 없이 실행하여 로봇, 테이블, 주변 환경 등 배경을 렌더링합니다.
  2. 전경 렌더링: 대상 물체 (Target Object) 만 NVIDIA 의 미분 가능한 렌더러인 Nvdiffrast에서 병렬로 렌더링합니다.
  3. 교차 렌더러 정렬 (Cross-renderer Alignment): MuJoCo 와 Nvdiffrast 간의 기하학적 (MVP 변환 행렬) 및 조명 (Ambient/Diffuse light, 반사율) 파라미터를 동기화하여 두 렌더러 간의 시각적 불일치를 제거합니다.
  4. 장면 합성 (Scene Compositing): MuJoCo 에서 생성된 배경과 Nvdiffrast 에서 생성된 적대적 텍스처가 적용된 전경을 마스크를 통해 합성합니다. 이를 통해 VLA 모델의 출력에서 그라디언스가 직접 텍스처 맵으로 역전파될 수 있게 됩니다.

B. 궤적 인식 적대적 최적화 (Trajectory-Aware Adversarial Optimization, TAAO)

• 목적: 긴 조작 시퀀스 전체에서 공격 효과를 극대화하고 일관성을 유지합니다.
• 잠재 역학 기반 프레임 가중치 (Latent Dynamics-guided Frame Weighting):
  • 관찰 시퀀스의 잠재적 특징 (Latent features) 을 추출하여 속도 (Velocity) 와 가속도 (Acceleration) 를 계산합니다.
  • 로봇의 행동 전환 (예: 잡기 시작, 들어 올림) 이 일어나는 **중요한 프레임 (Critical Frames)**을 식별하고, 이러한 프레임에 더 높은 가중치를 부여하여 최적화 집중도를 높입니다.
• 버텍스 기반 텍스처 파라미터화 (Vertex-based Parameterization):
  • 고차원 픽셀 공간 대신 물체 메시의 버텍스 색상 속성을 직접 최적화합니다.
  • 이는 매끄러운 저랭크 (Low-rank) 매니폴드로 최적화 공간을 제한하여 과적합을 방지하고, 다른 모델 간 전이성 (Transferability) 을 향상시킵니다.
• 공격 전략: 목표가 없는 공격 (Untargeted, 작업 실패 유도) 과 목표가 있는 공격 (Targeted, 특정 오작동 유도) 을 모두 지원합니다.

C. 물리적 배포를 위한 전제 (Physical Attack via EoT)

• Expectation over Transformations (EoT): 디지털 최적화에서 물리적 배포 간의 격차를 해소하기 위해, 최적화 과정에서 조명 변화, 시점 이동, 이미지 노이즈 등 다양한 확률적 변환 (Transformations) 을 샘플링하여 적용합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 End-to-End 3D 텍스처 최적화 프레임워크: VLA 시뮬레이션 환경 내에서 직접 3D 적대적 텍스처를 최적화하는 첫 번째 프레임워크인 Tex3D 를 제안했습니다.
2. 핵심 기술 개발:
   • FBD: 렌더러 정렬을 통해 미분 가능한 최적화 경로를 확립하면서도 원래 시뮬레이션 환경을 유지합니다.
   • TAAO: 행동적으로 중요한 프레임을 식별하고 버텍스 기반 파라미터화를 통해 장기적 궤적에서 일관된 공격을 가능하게 합니다.
3. 광범위한 실험 및 검증: 시뮬레이션 (LIBERO 벤치마크) 과 실제 로봇 (Franka Panda) 환경에서 다양한 VLA 모델 (OpenVLA, $\pi_0$ 등) 에 대해 공격을 수행했습니다.

4. 실험 결과 (Results)

• 공격 성공률: Tex3D 는 다양한 VLA 모델과 작업 (Spatial, Object, Goal, Long-horizon) 에서 **최대 96.7% 의 작업 실패율 (Task Failure Rate)**을 기록했습니다.
  • 예: OpenVLA 모델의 Spatial 작업에서 무공격 시 15.6% 에서 96.7% 로 급증했습니다.
• 기존 방법 대비 우위성:
  • 2D 패치 공격: 시점 변화나 물체 회전 시 공격 효과가 급격히 감소 (60% 대) 했지만, Tex3D 는 80% 이상의 높은 실패율을 유지했습니다.
  • 노이즈/색상 변화: 단순한 색상 변경이나 가우시안 노이즈는 Tex3D 에 비해 훨씬 낮은 실패율을 보였습니다.
• 전이성 (Transferability): 한 모델에서 최적화된 텍스처가 다른 아키텍처의 VLA 모델 (예: OpenVLA $\to$ $\pi_0$) 에도 효과적으로 적용되었습니다.
• 물리적 환경 검증: 3D 프린팅된 물체에 텍스처를 적용한 실제 로봇 실험에서도 높은 공격 성공률을 확인했습니다.
• 방어 기법 견고성: JPEG 압축, 노이즈 추가, 블러 등 일반적인 입력 공간 방어 기법에도 Tex3D 는 큰 영향 없이 공격 효과를 유지했습니다.

5. 의의 및 결론 (Significance)

• VLA 시스템의 취약성 노출: 현재 VLA 모델들이 물리적으로 실현 가능한 3D 텍스처 공격에 매우 취약함을 입증했습니다. 이는 로봇이 실제 환경에서 안전하지 않을 수 있음을 시사합니다.
• 안전성 연구의 필요성 강조: 기존 데이터셋이 이상화된 환경에 치중되어 있어, 미세한 외관 변화에도 모델이 취약할 수 있음을 지적했습니다.
• 향후 방향: 보다 견고한 VLA 훈련을 위해 시각적 다양성 (다양한 조명, 텍스처, 노이즈) 을 포함한 데이터셋 구축과, 행동 수준의 구조적 제약 (Structural Constraints) 을 통한 안전성 강화가 시급하다고 결론지었습니다.

요약하자면, Tex3D는 로봇이 조작하는 물체의 텍스처를 교란하여 VLA 모델의 행동을 실패하게 하는 새로운 차원의 적대적 공격 기법이며, 이를 통해 로봇 공학 분야의 보안 및 안전성 연구에 중요한 통찰을 제공합니다.