기술 요약: 데이터 포이즈닝 공격에 대한 지속 학습의 이론

문제 정의

지속 학습(Continual Learning, CL)은 모델이 데이터 스트림으로부터 순차적으로 태스크를 학습할 수 있게 하여, 안정성-가소성 트레이드오프(stability-plasticity trade-off) 문제를 해결하고 파괴적 망각(catastrophic forgetting)을 방지한다. 최근의 이론적 발전은 정규화 기반 CL에 대해 엄격한 일반화 경계(generalization bounds)를 확립했지만, 이러한 프레임워크는 보안 위협을 대부분 간과하고 있다. 구체적으로, CL 모델은 **데이터 포이즈닝 공격(data poisoning attacks)**에 취약하다. 즉, 공격자가 악의적인 섭동(perturbation)을 학습 데이터에 주입하여 학습 발산, 파괴적 망각 유도, 또는 일반화 성능 저하를 일으킬 수 있다.

표준 배치 학습(batch learning)과 달리, CL는 독특한 취약성을 지닌다. 공격자는 여러 태스크에 걸쳐 시간에 따라 지속적으로 모델을 조작함으로써, 모델의 궤적을 공격자의 목표를 향해 순차적으로 편향시킬 수 있다. 기존의 경험적 연구들은 이러한 취약성을 입증해 왔으나, CL에서의 방어 한계와 적대적 상호작용의 역학을 규명하는 원칙적인 이론적 토대는 현재 결여되어 있다.

방법론

본 논문은 정규화 기반 CL에서 공격자와 방어자 사이의 상호작용을 **온라인 제로섬 게임(online zero-sum game)**으로 공식화한다. 공격자는 누적 과잉 위험(cumulative excess risk)을 최대화하는 것을 목표로 하며, 방어자는 공격 상황 하에서 이 위험을 최소화하도록 정규화 항을 설계한다.

1. 공격 특성 정의

저자들은 공격자의 능력을 세 가지 차원에서 정의한다:

• 빈도(Frequency): 공격이 빈번하게 발생하는지(태스크 수 $T$에 비례하여 선형적으로 증가) 또는 드물게 발생하는지(유한한 횟수의 공격).
• 규모(Magnitude): 공격당 포이즈닝 예산(poisoning budget)이 제한적인지(태스크 $T$에 대해 아선형적) 또는 무제한인지(태스크 $T$에 대해 선형 또는 초선형적).
• 패턴(Pattern): 공격이 분포 변화를 유도하는지(shifted) 또는 평균을 이동시키지 않고 단순히 노이즈만 추가하는지(non-shifted).

2. 이론적 프레임워크

방어 프레임워크는 정규화 기반 CL, 특히 일반화된 $\ell_2$-정규화 업데이트 규칙을 기초로 한다. 저자들은 테일러 전개(Taylor expansions)와 헤시안 행렬(Hessian matrices)을 사용하여 과잉 위험을 근사함으로써 적대적 목적 함수에 대한 다루기 쉬운 대리 함수(surrogate)를 도출한다. 이를 통해 최악의 섭동에 대한 최적의 방어 전략을 분석할 수 있다.

본 논문은 공격 특성에 따라 두 가지 뚜렷한 방어 체계를 분석한다:

체제 A: 드문 발생, 무제한 규모, 분포 변화(Shifted) 공격

공격이 드물지만 잠재적으로 거대하고 데이터 분포를 변화시키는 시나리오를 위해, 저자들은 **태스크 간 검증 방어(Task-to-Task (T2T) Verification Defense)**를 제안한다.

• 메커니즘: 시스템은 연속적인 파라미터 업데이트($w_t - w_{t-1}$ 및 $w_{t-1} - w_{t-2}$) 사이의 차이를 기반으로 동적 탐지 점수 $d_t$를 계산한다.
• 귀속 딜레마(Attribution Dilemma) 해결: 현재와 이전 태스크 특징의 공통 부분 공간(common subspace)으로 업데이트를 투영하고 과거 상태($w_{t-2}$)의 영향을 제거함으로써, 메커니즘은 마지막 두 태스크에 의해 발생한 편차만을 격리한다.
• 조치: 탐지 점수가 이론적으로 도출된 임계값을 초과하면, 시스템은 현재 및 이전 모델 업데이트를 폐기하여 깨끗한 상태로 롤백한다.

체제 B: 빈번한 발생, 제한된 규모, 비변화(Non-Shifted) 공격

공격이 만연하지만 제한적이고 분포를 변화시키지 않는(전략적 노이즈 주입) 시나리오의 경우, T2T 거부 전략은 모든 태스크를 거부하게 되어 학습을 중단시키므로 실패한다. 대신, 저자들은 **강건한 특징 방어(Robust Feature Defense)**를 제안한다.

• 메커니즘: 방어자는 모델의 포이즈닝된 특징에 대한 민감도를 최소화하기 위해 정규화 행렬 $H_t$를 최적화한다. 이는 제로섬 게임의 내부 최대화 문제를 풀어 각 헤시안의 고유 방향(eigen-direction)에 대한 최적의 정규화 강도를 찾는 과정을 포함한다.
• 전략: 방어는 공격자가 예산을 집중하는 "보호 집합(Protected Set)"의 민감한 고유 방향을 식별하고, 해당 특정 방향에 대한 민감도를 억제하도록 정규화 파라미터를 조정하여 최악의 영향력을 분산시킨다.

주요 기여

1. 근본적인 성능 한계: 본 논문은 공격자가 무제한 노이즈나 분포 변화를 사용하여 선형 비율의 태스크를 포이즈닝할 경우, 정규화 기반 CL에 대해 증명 가능한 수렴 보장이 존재하지 않음을 입증한다. 이는 방어 불가능한 영역의 경계를 정의한다.
2. 태스크 간(T2T) 검증: 드문 발생 및 무제한 규모의 공격을 위한 새로운 방어 메커니즘으로, 과거의 업데이트를 현재 상태로부터 분리하여 포이즈닝된 태스크를 탐지하고 폐기하며, 무제한 변화 상황에서도 증명 가능한 수렴 보장($O(K^2/T)$ 과잉 위험)을 제공한다.
3. 강건한 특징 방어: 빈번하고 제한적인 비변화 공격을 위한 최적의 정규화 전략이다. 미니맥스(minimax) 문제를 해결함으로써, 저자들은 표준 방식보다 수렴 속도를 가속화하고 전략적 노이즈의 영향을 효과적으로 완화하는 폐쇄형(closed-form) 정규화 파라미터를 도출한다.
4. 통합적 이론 프레임워크: 본 연구는 CL에서의 적대적 회복력에 대한 최초의 공식적 분석을 제공하며, 경험적 방어와 엄격한 이론적 보장 사이의 간극을 메운다.

실험 결과

저자들은 선형 모델(Pre-trained ViT와 선형 헤드) 및 비선형 모델(처음부터 학습된 CNN)을 사용하여 실제 데이터셋(CIFAR-10 및 CIFAR-100)에 대해 이론적 발견을 검증한다.

• 드문 변화(Shifted) 공격: T2T 방어는 공격을 성공적으로 탐지하며(탐지 점수 $d_t$의 급증으로 나타남), 포이즈닝된 태스크를 폐기한 후 공격이 없는 베이스라인과 유사한 테스트 정확도를 유지한다. 반면, EWC 및 iCaRL과 같은 표준 베이스라인은 상당한 정확도 저하를 겪는다.
• 빈번한 비변화(Non-Shifted) 공격: 강건한 특징 방어는 과잉 위험의 수렴을 가속화하고 표준 EWC 및 메모리 기반 iCaRL보다 높은 테스트 정확도를 유지한다. 주목할 점은, iCaCL은 리플레이 버퍼 덕분에 드문 공격에는 잘 작동하지만, 타겟팅된 노이즈 주입에 대응하는 특정 정규화 구조가 부족하여 빈번한 전략적 공격 하에서는 성능이 떨어진다는 것이다.
• 합성 데이터 검증: 합성 선형 회귀 태스크에 대한 실험은 이론적 수렴 속도를 확인시켜 주며, 제안된 강건한 방어가 전략적 노이즈가 존재하는 환경에서 표준 EWC 정규화보다 우수함을 보여준다.

의의 및 주장

본 논문은 정규화 기반 지속 학습에서 데이터 포이즈닝을 이해하고 방어하기 위한 최초의 이론적 토대를 구축했다고 주장한다. 상호작용을 온라인 제로섬 게임으로 모델링함으로써 저자들은 다음을 입증한다:

• 방어 가능성에 대한 근본적인 한계가 존재한다. 즉, 빈번한 공격과 무제한 노이즈 또는 분포 변화는 증명 가능한 데에 방어가 불가능하다.
• 실행 가능한 영역 내에서, 특정 메커니즘(T2T 검증 및 강건한 특징 최적화)은 증명 가능한 성능 보장을 제공하고 수렴을 가속화할 수 있다.
• 제안된 방어책은 경험적 접근 방식에 대한 엄격한 대안을 제공하며, 적대적 데이터 포이즈닝에 대한 이론적 한계와 실질적인 회복력 사이를 잇는 통합적인 분석 프레임워크를 제공한다.

저자들은 본 연구가 정규화 기반 패러다임에 집중하고 있음을 언급한다. 메모리 기반 방식은 종종 경험적이며 단일 이론적 프레임워크 아래에서 분석적으로 통합하기 어렵지만, 실험에서는 벤치마크로서 역할을 한다. 향후 연구로는 대규모 신경망 및 리플레이 기반 방법과 같은 다른 CL 프레임워크로 이 이론을 확장하는 것이 제안된다.