기술 요약: 중첩(Superposition) 내 특징 간 간섭으로 인한 적대적 취약성

문제 정의

광범위한 연구에도 불구하고, 적대적 예제(adversarial examples)의 메커니즘적 수준에 대한 이해는 여전히 부족한 상태이다. 기존의 설명들은 고차원 기하학, 입력 데이터의 비강건한 패턴, 또는 결정 경계 구조에 그 원인을 돌리고 있으나, 특정 섭동(perturbation)이 왜 성공하는지 또는 왜 공격이 모델 간에 전이(transfer)되는지를 설명하는 표현 수준의 메커니즘을 제공하지 못한다. 즉, 강건성 개입(robustness interventions)과 표현 구조를 연결하는 예측 가능한 계계(predictive account)가 결여되어 있다. 본 논문은 신경망의 효율적인 정보 인코딩, 구체적으로 중첩(superposition) 현상을 통해 적대적 취약성이 발생하는지를 조사함으로써 이 간극을 해결하고자 한다.

방법론

저자들은 신경망이 더 많은 개념(특징)을 표현하기 위해 차원 수보다 많은 특징($M \gg d$)을 보유하며, 이를 활성화 공간(activation space) 내의 비직교 방향으로 인코딩한다는 메커니즘적 프레임워크를 제안한다. 이러한 패킹(packing)은 **간섭(interference)**을 생성하며, 하나의 특징을 활성화하는 것이 다른 특징들에 영향을 미치게 된다. 본 연구는 다음 세 가지 주요 설정을 통해 이 가설을 검증한다:

1. 합성 Argmax 태스크: 입력-클래스 매핑이 폐쇄형(closed-form)인 최소 병목 네트워크. 여기서 $k$개의 클래스는 $m$개의 잠재 차원($m < k$)으로 압축된다. 저자들은 입력 상관관계(무상관, 쌍별 상관, 전역 상관)를 제어하여 특징 기하학을 조작한다. 이 설정은 이론적 최적 섭동과 경험적 공격(PGD) 사이의 직접적인 비교를 가능하게 한다.
2. 실제 비전 트랜스포머(ViTs): 분류 헤드 앞에 설계된 차원 병목을 삽입하여 CIFAR-10/100, STL-10, TinyImageNet으로 학습된 모델. 이는 이론에서 예측된 기하학적 시그니처가 깊고 비선형적인 네트워크에서도 나타나는지 테스트한다.
3. 명시적 병목 없는 정규화 학습: 명시적인 구조적 제약 없이 저계수(low-rank) 표현(유효 병목)을 유도하기 위해 다양한 가중치 감쇠(weight decay)를 적용하여 학습된 ViT 모델. 이를 통해 차원 축소 자체가 취약성 메커니즘을 유발하는지 테스트한다.

주요 분석 도구:

• 선형 표현 가설(LRH): 클래스 로짓(logits)을 특징 벡터의 선형 투영으로 취급함.
• 간섭 지표: 클래스 특징 벡터의 비직교성($w_i^\top w_j$)을 정량화하고, 타겟 클래스와 소스 클래스 벡터의 차이로 정의된 "간섭 기하학"에 섭동이 얼마나 정렬되는지 측정함.
• 공격 정렬(Attack Alignment): PGD로 발견된 섭동의 방향과 간섭 기하학($\delta \propto W_e^\top (w_k - w_j)$)으로부터 유도된 이론적 최적 섭동을 비교함.

주요 기여

1. 취약성에 대한 메커니즘적 설명: 본 논문은 중첩 기하학과 적대적 취약성 사이의 직접적인 연결 고리를 확립한다. 저자들은 데이터 상관관계가 중첩된 특징들의 배치를 제한하며, 이것이 간섭 패턴을 결정함을 입증한다. 이러한 패턴은 어떤 섭동이 성공하는지, 그리고 왜 공격이 모델 간에 전이되는지를 결정한다.
2. 충분 조건으로서의 중첩: 저자들은 중첩이 적대적 취약성의 충분 조건(단, 필요조건은 아님)이라는 이론적 및 경험적 증거를 제공한다. 비직교 표현은 착취 가능한 간섭을 생성하며, 이는 데이터 특성이나 구조적 요인에 기반한 기존의 설명을 보완한다.
3. 실제 환경에서의 검증: 연구는 이론적으로 예측된 기하학적 시그니처가 실제 설정(표준 데이터셋에 대한 ViT)에서도 나타남을 입증하여, 분류 헤드의 간섭이 복잡하고 깊은 네트워크에서도 입력 공간의 공격 구조를 지배함을 보여준다.

주요 결과

1. 간섭의 착취

합성 설정에서 그래디언트 기반 공격(PGD)은 중첩된 특징들 사이의 간섭을 체계적으로 착취한다.

• 정렬: PGD로 발견된 섭동은 간섭 기하학에서 유도된 이론적 최적 섭동과 강력하게 정렬된다 (구성 설정 전반에서 코사인 유사도 $> 0.92$).
• 메커니즘: 섭동은 임의적인 것이 아니다. 그 부호와 크기는 입력 특징이 잠재적 공격 벡터와 정렬되는 방식에 의해 결정된다. 타겟 클래스에 대해 건설적 간섭(constructive interference)을 일으키는 특징은 증폭되고, 소스 클래스와 간섭하는 특징은 억제된다.

2. 입력 상관관계의 역할

입력 상관관계는 특징 벡터의 기하학적 배치를 제한한다:

• 무상관 데이터: 무작위 시드에 따라 매우 가변적인 기하학을 생성한다.
• 상관 데이터: 특징들을 특정하고 안정적인 배치(예: 전역 상관은 순환적 순서를 고정함)로 강제한다.
• 영향: 강한 상관관계는 기하학적 자유도를 줄여, 서로 다른 초기화 모델들이 유사한 배치로 향하게 만든다.

3. 공격 전이성(Attack Transferability)

공격 전이성은 공유된 간섭 패턴에 의해 지배된다.

• 상관관계: 전이율은 기하학적 유사성과 강하게 상관된다.
  • 무상관 데이터: 약 5%의 전이율.
  • 쌍별 상관: 약 33%의 전이율.
  • 전역 상관: 약 98%의 전이율.
• 설명: 모델들이 유사한 중첩 기하학을 공유할 때, 소스 모델에서 건설적이었던 간섭 패턴은 타겟 모델에서도 건설적으로 유지되어 높은 전이성을 가능하게 한다.

4. 실제 ViT 검증

• 구조 예측: 병목이 있는 ViT에서, 입력 공간의 공격 프로파일(픽셀이 어떻게 섭동되는지)은 잠재 공간의 간섭 프로파일(클래스 벡터가 어떻게 간섭하는지)과 강하게 상관된다. 병목이 타이트할수록($m/k=0.2$) 상관관계($\bar{\rho}$)는 0.89에 달하며, 병목이 완화됨에 따라 감소한다.
• 일관성: 간섭 패턴은 무작위 시드에 관계없이 일관되게 나타나며, 이는 최적화 노이즈가 아닌 데이터의 의미론(예: '고양이'와 '개'처럼 의미적으로 유사한 클래스는 비직교 표현을 발달시킴)을 반영한다.
• 정규화 효과: 명시적인 병목 없이도 가중치 감쇠를 높이면 네트워크의 유효 차원이 감소하여 간섭 크기와 공격 취약성이 증가한다. 이는 표준적인 정규화가 의도치 않게 적대적 취약성을 생성할 수 있음을 시사한다.

의의 및 주장

본 논문은 적대적 취약성이 네트워크 표현 압축의 부산물이 될 수 있다고 주장한다. 차원보다 더 많은 특징을 채워 넣음으로써, 네트워크는 공격자가 착취할 수 있는 간섭 패턴을 도입하게 된다.

• 예측력: 이 프레임워크는 테스트 가능한 예측을 제공한다: 공격은 기하학에서 유도된 최적 섭동과 정렬되어야 하며, 모델들이 유사한 간섭 패턴을 공유할 때 전이가 발생해야 한다.
• 보완적 설명: 이 메커니즘은 기존의 설명(예: 비강건한 특징 또는 결정 경계 곡률)을 대체하는 것이 아니라, 왜 특정 방향이 민감한지에 대한 표현 수준의 설명을 제공함으로써 이를 보완한다.
• 안전성 함의: 연구 결과는 표현 차원과 중첩의 정도가 모델 안전성의 핵심 요소임을 시사한다. 특징 기하학을 변화시키는 개입(예: 정규화 또는 구조적 변경)은 강건성에 상당한 영향을 미칠 수 있다.

저자들은 중첩이 취약성을 위한 충분 조건이지만 필수 조건은 아니라는 점을 언급하며 신중한 태도를 유지하며, 정확한 메커니즘은 공격 유형에 따라 다를 수 있다고 밝히고 있다. 본 연구는 알려진 레이블을 가진 특징에 초점을 맞추고 있으며, 특징 발견 방법을 통해 중간 레이어로 확장하는 후속 연구가 필요하다.