When Attention Betrays: Erasing Backdoor Attacks in Robotic Policies by Reconstructing Visual Tokens

기술 요약: 주의력의 배신: 시각적 토큰 재구성을 통한 로봇 정책의 백도어 공격 제거

1. 문제 정의

시각-언어-행동(Vision-Language-Action, VLA) 모델의 급격한 통합은 고급 조작 및 인간-로봇 협업을 가능하게 했습니다. 그러나 사전 학습된 VLA를 외부 데이터로 미세 조정(fine-tuning)하는 과정에 의존하는 것은 심각한 보안 취약점, 구체적으로는 **백도어 공격(backdoor attacks)**을 초래합니다.

이러한 공격에서 공격자는 특정 시각적 트리거(예: 패턴 또는 물체)와 악의적인 타겟 행동(예: 위험한 로봇 움직임) 사이의 숨겨진 매핑을 심기 위해 학습 데이터의 작은 부분집합을 오염시킵니다. 이 공격 모델은 깨끗한 데이터(clean data)에서는 정상적으로 작동하지만, 추론 중에 트리거가 존재하면 로봇이 안전하지 않은 동작을 실행하게 만듭니다.

기존의 방어 메커니즘은 두 가지 주요 한계점에 직면해 있습니다:

1. 기제적 통찰력 부족(Lack of Mechanistic Insight): 많은 방어 기법은 멀티모달 백도어가 어떻게 작동하는지, 특히 어떻게 시각과 언어의 융합을 이용해 은밀함을 유지하는지에 대한 이해가 부족합니다.
2. 과도한 비용(Prohibitive Costs): 효과적인 방어를 위해서는 전체 모델의 재학습이나 정밀한 가중치 수정이 필요한 경우가 많습니다. 수십억 개의 파라미터를 가진 VLA의 경우, 이는 계산 비용이 매우 높으며 모델의 일반화 능력을 저하시킬 위험이 있습니다.

본 논문은 핵심 과제를 다룹니다: VLA를 재학습하거나 아키텍처를 수정하지 않고도 로봇 정책의 백도어 공격을 효과적으로 무력화할 수 있는 테스트 타임(test-time) 방어 설계 방법은 무엇인가?

2. 방법론: Bera 프레임워크

저자들은 테스트 타임 백도어 제거 프레임워크인 Bera를 제안합니다. Bera는 백도어가 모델의 내부 주의력(attention) 메커니즘과 임베딩 공간에서 특정하고 탐지 가능한 이상 징후를 나타낸다는 전제하에 작동합니다. 이 프레임워크는 세 가지 순차적 단계로 구성됩니다.

A. 심층 레이어 주의력 포착 분석 및 통찰 (Deep-Layer Attention Analysis & Insight)

비전 트랜스포머(ViT) 레이어 분석을 통해 저자들은 "심층 레이어 주의력 포착(Deep-layer Attention Grabbing)" 현상을 확인했습니다:

• 얕은 레이어(Shallow Layers): 깨끗한 입력과 오염된 입력에 대한 주의력 맵(attention maps)이 거의 동일하며, 이는 백도어가 깨끗한 성능을 저하시키지 않는 이유를 설명합니다.
• 깊은 레이어(Deep Layers): 주의력이 작업 관련 객체에서 트리거 영역으로 크게 이동합니다.
• 임베딩 클러스터링(Embedding Clustering): 트리거 임베딩은 깨끗한 특징 매니폴드(feature manifold) 인근에 조밀한 클러스터를 형성하여, 단순한 이상치 탐지로는 구별하기 어렵게 만듭니다.

B. 1단계: 잠재 공간 국소화 (특징 유도형 백도어 국소화 - FBL)

Bera는 먼저 테스트 타임 임베딩을 깨끗한 다운스트림 데이터로부터 도출된 참조 분포와 비교하여 의심스러운 이미지 토큰을 국소화합니다.

• 타겟 도메인의 성공적인 에피소드를 사용하여 깨끗한 참조 매니폴드를 구축합니다.
• 각 토큰 임베딩에 대해 이 참조 매니폴드와의 **마할라노비스 거리(Mahalanobis distance)**를 계산합니다.
• 거리가 통계적 임계값을 초과하는 토큰은 이상치($I_{anom}$)로 표시되며, 이는 잠재적인 트리거의 존재를 나타냅니다.

C. 2단계: 주의력 기반 필터링 (AFM)

오탐(false positives)을 줄이기 위해 Bera는 계층적 주의력 필터링 메커니즘을 채택합니다.

• 중간 레이어($L_{mid}$)부터 마지막 레이어($L$)까지의 주의력 맵을 분석합니다.
• 로봇의 자유도(예: 로봇 팔의 6-DOF)에 의해 제약된 **가우시안 혼합 모델(GMM)**을 적용하여 물리적 타당성과 일치하는 토큰 클러스터를 식별합니다.
• 최종적인 의심 백도어 토큰 집합($I_{backdoor}$)은 이상 토큰($I_{anom}$)과 주의력 필터링된 후보($I_{filter}$)의 교집합입니다.

D. 3단계: 트리거가 없는 이미지 재구성 (Trigger-Free Image Reconstruction)

의심스러운 토큰이 식별되면, Bera는 트리거와 행동 사이의 매핑을 끊기 위해 "정화된" 이미지를 재구성합니다.

• 마스킹(Masking): 식별된 의심스러운 토큰들을 이미지 표현 내에서 마스킹 처리합니다.
• 디코더(Decoder): 마스크 처리된 영역을 남은 깨끗한 토큰들로부터 얻은 전역적 구조적 단서(색상, 질감, 문맥)를 사용하여 재구성하는 경량 디코더(MAE에서 영감을 받음)를 사용합니다.
• 실행(Execution): 재구성된, 트리거가 제거된 이미지를 다시 VLA 정책에 입력하여 안전하고 정상적인 행동을 생성하게 합니다.

결정적으로, 이 과정은 VLA 자체를 재학습할 필요가 없으며, 오직 경량 디코더만을 다운스트림 데이터에 대해 미세 조정하면 됩니다.

3. 주요 기여

1. 심층 레이어 주의력 포착 메커니즘: 본 논문은 VLA 정책의 백도어가 얕은 레이어에서는 은밀하게 유지되지만 깊은 레이어에서는 주의력을 트리거로 돌리며, 임베딩 클러스터가 깨끗한 매니폴드 근처에 형성된다는 점을 밝혀냈습니다. 이러한 통찰은 깨끗한 성능에 최소한의 영향만 주면서도 높은 공격 성공률을 보이는 이유를 설명합니다.
2. Bera 프레임워크: 잠재 공간 국소화와 주의력 기반 필터링을 결하여 이상 토큰을 탐지하고, 디코더 기반 재구성을 통해 트리거를 제거하는 새로운 테스트 타임 방어 체계를 제안합니다.
3. 플러그 앤 플레이(Plug-and-Play) 역량: Bera는 VLA를 재학습하거나 훈련 파이프라인을 수정할 필요가 없는 모듈형 방어 도구로서, 대규모 로봇 배포에 실용적입니다.

4. 실험 결과

저자들은 두 가지 대표적인 VLA 백본인 OpenVLA와 DexGraspVLA를 사용하여 다양한 임보디드 플랫폼(데스크톱 로봇, 휴머노이드 로봇, UR5 암)과 작업(잡기, 들어올리기, 조직 추출, 악수하기)에서 Bera를 평가했습니다.

• 공격 성공률(ASR) 감소: Bera는 모든 작업에서 ASR을 크게 감소시켰습니다. 예를 들어, OpenVLA의 경우 잡기 작업에서 ASR이 약 96%에서 ~6%로, 들어올리기 작업에서 ~93%에서 ~3%로 떨어졌습니다.
• 깨끗한 성능(CP) 보존: 이 프레임링은 깨끗한 입력에 대해 높은 정확도를 유지했으며, 성능 저하는 일반적으로 3.33% 미만이었습니다. 이는 방어가 정상 작동을 저해하지 않음을 입증합니다.
• 트레이드오프 성능(TP): Bera는 ZIP, UNICORN, BTI-DBF(P), DeDe와 같은 베이스라인 모델들과 비교했을 때 가장 높은 종합 점수(안전성과 유용성의 균형)를 달ach했습니다.
• 복구 성능(RP): Bera는 이전에 오염되었던 입력으로부터 올바른 행동을 성공적으로 복구하여 평균 74.17%의 RP를 달성했으며, 이는 다른 방법들을 크게 상회하는 수치입니다.
• 일반화 능력: 이 방법은 다양한 트리거 유형(체크무늬, 원형 블록, 빨간 병뚜껑)과 다양한 오염 비율(최대 30%)에 대해 효과적으로 작동했으며, 플랫폼별 튜닝이 필요하지 않았습니다.

5. 의의 및 주장

본 논문은 Bera가 로봇 시스템을 백도어 위협으로부터 보호하기 위한 강력하고 실용적인 솔루션이라고 주장합니다. 그 의의는 다음과 같습니다:

• 재학습 병목 현상 해결: 수십억 개의 파라미터를 가진 모델의 비용이 많이 드는 재학습 필요성을 제거함으로써, 실제 산업 및 서비스 로봇 분야에서 백도어 방어를 실현 가능하게 만듭니다.
• 메커니즘 기반 방어: 블랙박스 형태의 정화 방법과 달리, Bera는 백도어가 깊은 레이어에서 주의력을 조작하는 방식에 대한 구체적인 통찰력을 활용하여, 의미적 내용을 손상시키지 않고 악의적인 특징만을 정밀하게 타격합니다.
• 안전성 복구: 단순히 공격을 방지하는 것을 넘어, 백도어가 포함된 입력으로부터 양호한 행동을 능동적으로 복구함으로써 치명적인 결과가 발생할 수 있는 물리적 배치 환경에서의 안전을 보장합니다.

저자들은 Bera가 현재의 트리거 설계에는 효과적이지만, 향-후 연구에서는 이를 더 복잡한 멀티모달 시스템에 통합하고 진화하는 공격 전략을 가진 동적 환경에 적응시키는 방향으로 확장될 것이라고 결론지었습니다.