기술 요약: Amnesia – 지속 학습에 대한 은밀한 리플레이 공격

문제 정의

지속 학습(Continual Learning, CL) 시스템은 과거의 예시들을 현재 데이터와 함께 교차 배치하는 경험 리플레이(experience replay)를 통해 파괴적 망각(catastrophic forgetting)을 완화하는 데 의존한다. 기존의 CL 보안 연구는 주로 성능을 저하시키기 위해 입력을 수정하는 포이즈닝(poisoning)이나 특정 타겟 실패를 유도하는 백도어(backdoor)에 집중해 왔으나, 이러한 방식들은 모니터링되는 운영 환경에서 발견되는 명시적이고 감사 가능한 제약 조건을 결여하고 있는 경우가 많다.

배포된 CL 파이프라인에서 리플레이 샘플러는 컴플라이언스를 위해 리플레이 인덱스 집합, 배치당 라벨 수, 리플레이 비율과 같은 텔레메트리 로그를 기록하도록 설계되는 경우가 많다. 이러한 로그는 "감사 가능한 예산(auditable budgets)"을 가능하게 하며, 모니터는 실현된 리플레이 클래스 히스토그램이 명목상의 베이스라인에 근접해 있는지, 그리고 리플레이 비율이 변하지 않았는지 검증한다. 본 논문은 CL 시스템의 핵심적인 견고성 격차를 식별한다. 즉, 모델 파라미터, 픽셀 데이터 또는 라벨에 접근할 수 없이 오직 리플레이 인덱스 선택(즉, "꿈꾸는(dreaming)" 단계)만을 제어할 수 있는 **제한된 권한을 가진 내부자(limited-privilege insider)**에 대한 취약성이다. 이 공격자는 가시성 및 질량 제약을 엄격히 준수하면서도 과거 태스크의 망각을 최대화하는 것을 목표로 하며, 이는 엄격한 제약 조건 하에서 이전에 탐구되지 않았던 위협 표면이다.

방법론: Amnesia 공격

저자들은 버퍼에서 어떤 인덱스를 추출할지를 편향시키는 샘플러 수준의 리플레이 구성 공격인 Amnesia를 소개한다. 이 공격은 두 가지 명시적 제약 조건 하에서 작동한다:

1. 가시성 예산 ($\delta$): 공격받은 리플레이 히스토그램과 명목상의 베이스라인($p_0$) 사이의 발산(전체 변동(Total Variation) 또는 쿨백-라이블러(Kullback-Leibler) 발산)이 임계값을 초 exceed해서는 안 된다.
2. 질량 예산 ($f$): 총 리플레이 비율(유지 비율)은 고정되어야 한다.

공격은 "기울이기 후 투영(tilt-then-project)"이라는 2단계 절차를 따른다:

1. 선호도 (기울이기, Preference/Tilt)

공격자는 샘플러가 읽을 수 있는 경량 유틸리티 신호(예: 크로스 엔트로피 손실의 지수 이동 평균(EMA) 또는 메타데이터로 기록된 신뢰도 점수)를 활용하여 "해로운" 클래스—즉, 과잉 표현이 망각을 최대화하는 클래스—를 식별한다. 이러한 유틸리티($u$)는 명목 클래스 히스토그램 $p_0$를 해로운 클래스를 선호하는 타겟 분포 $\tilde{p}$로 기울이는 데 사용된다.

2. 투영 (은밀함, Projection/Stealth)

기울어진 분포 $\tilde{p}$는 발산 제약 $\delta$에 의해 정의된 감사 가능한 "스텔스 볼(stealth ball)" 안으로 다시 투영된다. 논문은 두 가지 발산 유형에 대한 정확하고 효율적인 최적화 도구를 제공한다:

• KL 발산: 단일 파라미터 지수 기울기($p^*(c) \propto p_0(c) \exp(\alpha u_c)$)를 사용하여, $\alpha$가 예산을 포화시키는 1차원 단조 탐색을 수행한다. 이는 모든 클래스에 대해 양의 질량을 보존하여 더 매끄러운 이산화를 결과한다.
• 전체 변동(TV) 발산: 저유틸리티 클래스에서 고유틸리티 클래스로 확률 질량을 전달하는 그리디(greedy) 양방향 워터 필링(water-filling) 알고리즘을 사용하여 $\ell_1$ 예산이 소진될 때까지 수행한다. 이는 저유틸리티 클래스를 0으로 밀어낼 수 있어 더 희소한 분포를 생성할 수 있다.

3. 실현 및 스케줄링 (Realization and Scheduling)

연속적인 최적 분포 $p^*$는 배치 크기 $m$에 대한 정수 할당량($q$)으로 변환된다. 시스템은 링 버퍼를 사용하는 윈도우 기반 스케줄러를 채택하여 강화된 단계별 예산($\delta_t$)을 강제함으로써, 임의의 롤링 윈도우 $W$ 동안의 평균 발산이 전역 제한 $\delta$ 내에 머물도록 보장한다. 이는 할당량을 정수로 반올림할 때 발생하는 이산화 노이즈를 처리한다.

주요 기여

• Amnesia 공격: 로그 기반 감사(비율 및 히스토그램 체크)를 준수하면서 망각을 최대화하기 위해 인덱스 선택을 조작하는 최초의 샘플러 수준 리플레이 구성 공격이다. 이는 픽셀, 손실 계산 및 모델 파라미터를 건드리지 않는다.
• 원칙적인 정식화: 감사 가능한 제약($Div(p \| p_0) \le \delta$ 및 고정된 질량 $m$) 하에서 해악($\langle u, p \rangle$)을 최대화하는 공식적 최적화 프레임워크를 제공한다. 저자들은 이 투영 단계가 동등한 제약 조건 하에서 다른 모든 가능한 샘플러 수준 공격을 약하게 지배(weakly dominate)하는 최적의 대응 클래스임을 증명한다.
• 감사 실현: 이론적 분포를 "감사 및 수정(audit-and-fix)" 메커니즘과 윈도우 스케줄러를 사용하여 정수 할당량으로 변환하는 실용적인 파이프라인을 구축함으로써, 배치당 및 롤링 윈도우 감사 체크에 대한 준수를 보장한다.
• 종합적인 평가: 여러 데이터셋(Split CIFAR-10/100, CORe50, Tiny-ImageNet)과 강력한 리플레이 베이스라인(ER, ER-ACE, SCR, DER++)에 대해 Amnesia를 체계적으로 분석하였다.

실험 결과

저자들은 네 가지 CL 벤치마크에서 강력한 리플레이 베이스라인을 대상으로 Amnesia를 평가했다:

• 영향력: Amnesia는 최종 정확도(ACC)를 일관되게 저하시키고 역방향 전이(backward transfer, $-BWT$)를 크게 악화시킨다. 예를 들어, ER을 사용한 Split CIFAR-10에서, 이 공격은 ACC를 50.4%에서 29.3%로 낮추는 동시에 망각($-BWT$)을 55.1에서 82.7로 증가시켰다.
• 스텔스성 vs 영향력 트레이드오프:
  • KL 변형은 감사에 의해 거의 탐지되지 않으면서 높은 영향력을 달성하며, 낮은 꼬리 발산($r_{batch@95}$)과 제로 윈도우 위반을 보여준다. 지수 기울기는 질량을 더 매끄럽게 분배하여 감사 플래그를 트리거하는 "덩어리짐(chunkiness)"을 피한다.
  • TV 변형은 종종 더 치명적(더 높은 망각)이지만, 특히 엄격한 클래스별 제약 하에서는 정수 할당량으로 구현하기 어려운 희소하고 극단적인 할당을 생성하는 경향 때문에 더 쉽게 탐지된다.
• 포이즈닝과의 비교: 데이터 픽셀이나 모델 내부 정보에 접근할 수 없고 엄격한 감사 인식 제약 조건 하에서 작동함에도 불구하고, Amnesia는 BrainWash나 PACOL과 같은 데이터 포이즈닝 베이스라인과 대등하거나 더 우수한 망각 수준을 달행하며, 이는 인덱스 전용 제어가 강력한 위협 표면임을 보여준다.
• 견고성: 공격은 다양한 백본 아키텍처(ResNet-18, Vi ViT-Tiny, ConvNeXt-Base)와 리플레이 방법 전반에서 효과적으로 유지되지만, ER-ACE와 같은 방법은 약간 더 높은 견고성을 보인다.
• 오버헤드: 공격은 베이스라인 훈련 시간 대비 최소한의 계산 오버헤드(KL의 경우 약 3.5%, TV의 경우 약 7.1%)를 도입한다.

의의 및 주장

본 논문은 인덱스 전용 리플레이 제어가 지속 학습 시스템에서 실질적이고 위험한 위협 표면임을 밝혀낸다고 주장한다. 발산 제약 하에서 해악을 최대화하는 과정을 공식화함으로써, 저자들은 제한된 권한을 가진 내부자(샘플러 접근만 가능)가 표준 컴플라이언스 체크를 트리거하지 않고도 모델 성능을 심각하게 저하시킬 수 있음을 입증한다.

이 연구는 원칙적인 영향력-가시성-예산 트레이드오프를 확립하며, 엄격한 발산 제약 하에서 해악을 최대화하는 것이 휴리스틱이 아닌 정확한 최적화 문제임을 보여준다. 저자들은 현재의 CL 방어 체계가 이러한 "은밀한" 구성 공격에 대해 불충분하다고 주장하는데, 이는 기존 방어들이 주로 데이터 오염이나 파라미터 조작을 가정하며, 샘플링 분포의 미묘한 조작은 간과하기 때문이다. 결과는 리플레이 통계만을 모니터링하는 것이 정교한, 발산 제약 기반의 공격을 탐지하기에는 충분하지 않을 수 있음을 시사하며, 리플레이 인덱스의 전략적 조작을 고려하는 새로운 방어 메커니즘이 필요함을 나타낸다.