🤖 AI

SHIELD: Secure Hypernetworks for Incremental Expansion Learning Defense

본 논문은 강력한 적대적 공격 하에서도 인증 가능한 강건성, 확장성 및 리플레이가 필요 없는 지속 학습을 달성하기 위해, 하이퍼네트워크 기반 아키텍처를 구간 경계 전파(Interval Bound Propagation) 및 새로운 Interval MixUp 전략과 결មាន한 새로운 프레임워크인 SHIELD를 소개한다.

원저자: Patryk Krukowski, Łukasz Gorczyca, Piotr Helm, Kamil KsiąĊek, Przemysław Spurek

게시일 2026-06-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Patryk Krukowski, Łukasz Gorczyca, Piotr Helm, Kamil KsiąĊek, Przemysław Spurek

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇을 평생 학습하는 존재로 훈련시킨다고 상상해 보세요. 당신은 로봇이 새로운 기술을 차례대로 배우길 원합니다. 예를 들어, 먼저 도시에서 운전하는 법을 배우고, 그다음에는 눈길에서 운전하는 법을, 그다음에는 공사 현장을 통과하는 법을 배우는 식입니다.

문제는 두 가지입니다:

"망각" 문제: 로로봇이 눈길에서 운전하는 법을 배울 때, 도시에서 운전하는 법을 잊어버리곤 합니다.
"트릭커(Trickster)" 문제: 영리한 해커가 정지 표지판에 아주 작고 거의 보이지 않는 스티커를 붙여서, 로봇이 그것을 속도 제한 표지판으로 착각하게 만들 수 있습니다. 이것을 "적대적 공격(adversarial attack)"이라고 부릅니다.

현재 대부분의 방법은 한 가지 문제는 해결하지만, 다른 한 가지는 놓칩니다. 어떤 방법은 새로운 것을 배우기 위해 기존의 기술을 잊어버리고, 어떤 방법은 새로운 것을 배울 수 없을 정도로 너무 경직되어 있습니다.

SHIELD는 이 두 가지 문제를 동시에 해결하는 제안된 새로운 시스템입니다. 이 시스템이 어떻게 작동하는지 쉬운 비유를 통해 설명하겠습니다.

1. 마스터 셰프와 레시피 북 (하이퍼네트워크)

매번 새로운 작업마다 완전히 새로운 뇌를 만드는 대신(이는 너무 많은 메모리를 차지하고 망각을 유발합니다), SHIELD는 마스터 셰프(하이퍼네트워크라고 불림)를 사용합니다.

작동 방식: 당신은 마스터 셰프에게 "지금은 눈길 운전 시간이야"라고 적힌 작고 압축된 메모리("태스크 임베딩")를 건넵로줍니다.
마법 같은 효과: 이 메모리를 바탕으로, 셰프는 즉석에서 "눈길 운전용 뇌"를 위한 맞춤형 레시피(특정 가중치 생성)를 작성합니다. "도시 운전"으로 전환하면, 셰프는 새로운 레시피를 작성합니다.
이점: 셰프는 거대한 옛날 뇌들의 도서관을 보관할 필요가 없습니다(리플레이 버퍼가 필요 없음). 그저 레시피 북만 가지고 있으면 됩니다. 이는 로봇이 예전 레시피를 절대 잊지 않는다는 것을 의미합니다. 왜냐하면 그 레시피들은 언제든 즉시 다시 쓰일 준비가 되어 있기 때문입니다.

2. "안전 버블" (구간 경계 전파)

로봇을 "트릭커"(적대적 공격)로부터 보호하기 위해, SHIELD는 단순히 이미지를 보는 것이 아니라 이미지 주변의 안전 버블을 살펴봅니다.

개념: 로봇이 정지 표지판을 본다고 가정해 봅시다. 로봇은 단순히 그 특정 픽셀 배열만을 확인하는 것이 아니라, 그 표지판 주변의 가능성들을 담은 작은 3차원 입체(하이퍼큐브)를 확인합니다. 로봇은 스스로에게 묻습니다. "만약 누군가 이 버블 안에서 이 표지판을 어느 방향으로든 살짝 건드린다면, 나는 여전히 이것을 정지 표지판으로 인식할 것인가?"
보장: 이것을 **구간 경계 전파(Interval Bound Propagation, IBP)**라고 합니다. 이는 해커의 속임수가 이 버블 안에 머무는 한, 로봇이 결코 속지 않을 것임을 수학적으로 증명합니다. 이는 마치 문 앞에 있는 사람뿐만 아니라, 그 사람이 차지할 수 있는 전체 공간까지 체크하는 보안 요원과 같습니다.

3. "신축성 있는 고무줄" (인터벌 믹스업)

여기서 논문은 가장 창의적인 아이디어를 소개합니다. 바로 **인터벌 믹스업(Interval MixUp)**입니다.

문제점: 만약 당신이 오직 "안전 버블" 방식만 사용하여 로봇을 가르치려 한다면, 수학적 계산이 복잡해지고 특히 새로운 것을 배울 때 로봇이 혼란을 겪을 수 있습니다. 이는 마치 고무줄을 너무 세게 늘리려고 하는 것과 같아서, 결국 끊어져 버릴 수 있습니다.
해결책: 저자들은 **가상 예시(Virtual Examples)**를 만드는 방법을 발명했습니다.
- 고양이 사진 한 장과 강아지 사진 한 장이 있다고 상상해 보세요.
- 일반적인 훈련은 단순히 두 사진을 섞어 놓은 흐릿한 이미지를 보여줄 것입니다.
- 인터벌 믹스업은 고양이와 강아지 주변의 "안전 버블"을 가져와서, 서로를 향해 늘린 뒤, 그 중간에 새로운 가상의 버블을 만들어냅니다.
- 결정적인 점은, 이 새로운 가상 버블이 실제 고양이나 강아지로부터 멀어질수록, 그 안전 버블의 크기는 더 작아진다는 것입니다.
효과: 이는 로봇이 카테고리 사이의 부드럽고 완만한 전환을 배우도록 강제합니다. 즉, 로봇이 "고양이"인지 "강아지"인지 결정하는 "결정선"을 실제 데이터로부터 멀리 밀어내어, 넓고 안전한 완충 지대를 만들게 합니다. 이 덕분에 로봇은 속임수에 훨씬 더 강해집니다.

결과: 무엇을 발견했나요?

연구진은 회전된 숫자 인식이나 복잡한 이미지 데이터셋 분할과 같은 몇 가지 표준적인 "학습 과제"를 통해 SHIELD를 테스트했습니다.

해커를 이기다: 강력하고 정교한 해커들(PGD 및 AutoAttack와 같은 방식)의 공격을 받았을 때, SHIELD는 침착함을 유지했습니다. SHIELD는 견고함을 추구했던 이전 방법들보다 훨씬 더 높은 정확도를 보였습니다.
망각 없음: "마스터 셰프" 방식을 사용하기 때문에, 새로운 작업을 배우는 동안에도 이전 작업을 잊어버리지 않았습니다.
"믹스업"의 상승 효과: "인터벌 믹스업" 기술을 추가했을 때 시스템은 더욱 좋아졌으며, 깨끗한 이미지와 공격받은 이미지 모두에서 정확도가 향상되었습니다.

요 요약

SHIELD는 기억력을 낭비하지 않고도 과거의 기술을 즉각적으로 회상할 수 있는 마스터 셰프를 갖추고 있으며, 미세하고 보이지 않는 변화에 수학적으로 속지 않음을 보장하는 안전 버블 시스템을 가진 로봇과 같습니다. 그 핵심 비법은 인터벌 믹스업입니다. 이것은 고무줄처럼 작동하여, 로봇의 이해력을 확장해 서로 다른 개념 사이에 넓고 안전한 간격을 만들어냄으로써 속이기가 매우 어렵게 만듭니다.

이 논문은 인증된 보안(수학적 안전 증명)과 평생 학습(이전 것을 잊지 않고 새로운 것을 배우는 것)을 확장 가능하고 효과적인 방식으로 성공적으로 결합한 첫 번째 방법이라고 주장합니다.

기술 요약: SHIELD – 점진적 확장 학습 방어를 위한 보안 하이퍼네트워크

1. 문제 정의

심층 신경망은 정적인 훈련 환경에서는 탁월한 성능을 보이지만, 이전 지식을 유지하면서 순차적인 태스크에 적응해야 하는 지속 학습(Continual Learning, CL) 능력이 요구되는 실제 환경에서는 어려움을 겪습니다. 동시에, 이러한 모델들은 미세하게 설계된 입력 변화가 확신에 찬 오답을 유도하는 **적대적 섭동(Adversarial Perturbations)**에 매우 취약합니다.

기존 연구들은 이러한 과제들을 개별적으로 다룹니다. 이 둘을 연결하려는 시도들은 다음과 같은 상당한 한계에 직면합니다:

확장성 및 개인정보 보호: Double Gradient Projection (DGP)와 같은 방법은 대량의 태스크별 그래디언트 정보나 전체 모델 스냅샷을 저장해야 하는데, 이는 대규모 데이터셋에 비효과적이며 개인정보 보호 문제를 야기합니다.
강건성 vs 성능: Unsupervised Data Augmentation (AIR)와 같은 방법은 짧은 태스크 시퀀스에 국한됩니다. Gradient Projection Memory (GPM)와 같은 다른 방법들은 CL 성능을 개선하지만, 의도치 않게 적대적 공격에 대한 취약성을 높입니다.
공백: 기존에는 리플레이 버퍼나 방대한 저장 공간에 의존하지 않으면서도 인증된 적대적 강건성(최악의 섭동에 대한 공식적 보증)과 확장 가능한 지속 학습을 동시에 제공하는 프레임워크가 부족했습니다.

2. 방법론: SHIELD 프레임워크

저자들은 **구간 전파(Interval Bound Propagation, IBP)**와 하이퍼네트워크 기반 아키텍처를 결합하여 인증 가능한 강건한 지속 학습을 가능하게 하는 새로운 프레임워크인 SHIELD를 제안합니다.

2.1. 핵심 아키텍처

하이퍼네트워크 ( $H$ ): 각 태스크를 위한 별도의 모델을 훈련하거나 전체 모델 복사본을 저장하는 대신, SHIELD는 $\Phi$ $Φ$ 로 매개변수화된 공유 하이퍼네트워크를 사용합니다. 이 하이퍼네트워크는 압축된 학습 가능한 태스크 임베딩 $e_t$ $e_{t}$ 를 입력으로 받아, 대상 태스크 $t$ $t$ 에 특화된 타겟 네트워크 $f$ $f$ 의 가중치 $\theta_t$ $θ_{t}$ 를 생성합니다.
- 이점: 이는 리플레이 버퍼나 그래디언트 로그의 필요성을 제거하여 확장성과 개인정보 보호를 보장합니다.
IBP를 적용한 타겟 네트워크: 타겟 네트워크는 단일 실수 값 입력을 처리하지 않습니다. 대신, 입력 섭동을 나타내는 ** $\ell_\infty$ $ℓ_{\infty}$ -유계 하이퍼큐브(Intervals)**를 전파합니다.
- **구간 산술(Interval Arithmetic)**을 사용하여 네트워크는 모든 레이어의 활성화에 대한 하한( $\underline{z}_k$ )과 상한( $\bar{z}_k$ )을 계산합니다.
- 이를 통해 모델은 반지름 $\epsilon$ 내의 최악의 입력 섭동을 고려할 수 있으며, 공식적인 강건성 보증을 제공합니다.

2.2. 훈련 전략: Interval MixUp

단일 지점을 보간하는 표준 MixUp의 한계와 구간 산술에서의 "래핑 효과(Wrapping Effect)"(고차원에서 경계가 지나치하게 느슨해지는 현상)를 해결하기 위해, 저자들은 Interval MixUp을 도입합니다.

메커니즘: 단일 데이터 포인트를 보간하는 대신, Interval MixUp은 두 개의 $\ell_\infty$ -유계 하이퍼큐브의 **중점(Midpoints)**을 보간합니다.
적응형 반지름: 가상 샘플의 섭동 반지름을 동적으로 조절하는 것이 핵심적인 혁신입니다. 혼합 계수가 $\lambda$ $λ$ 일 때, 새로운 반지름 $\epsilon'$ $ϵ^{'}$ 은 다음과 같이 정의됩니다:
$\epsilon' = |2\lambda - 1| \cdot \epsilon$
- 이는 가상 샘플이 원래 데이터 매니폴드에 가까울수록( $\lambda \approx 0$ 또는 $1 $) 더 큰 반지름을 유지하고, 중간 지점($ \lambda = 0.5$)에서는 반지름이 0이 되도록 보장합니다.
효과: 이 전략은 전파 과정에서 구간 반지름을 작게 유지함으로써 래핑 효과를 완화하고, 결과적으로 더 타이트하고 정보가 풍부한 경계를 생성하며 더 매끄러운 결정 경계를 만듭니다.

2.3. 손실 함수

전체 손실 함수는 세 가지 구성 요소를 결합합니다:

Interval MixUp 손실 ( $\mathcal{L}_{\text{IMixUp}}$ ): 명목상 입력에 대한 표준 교차 엔트로피와 최악의 경우를 고려한 구간 기반 손실의 가중 결합입니다. 최악의 경우 손실은 구간 내에서 참 클래스의 하한과 다른 모든 클래스의 상한을 고려합니다.
하이퍼네트워크 정규화 ( $\mathcal{L}_{\text{out}}$ ): 이전 태스크에 대한 하이퍼네트워크 출력의 변화를 억제하는 항입니다. 이는 새로운 태스크를 위한 가중치 업데이트가 이전 태스크의 성능이나 강건성을 저하시키지 않도록 하여, 효과적으로 파괴적 망각(Catastrophic Forgetting)을 방지합니다.
스케줄링된 어닐링(Scheduled Annealing): 최적화를 안정화하기 위해 표준 손실과 구간 기반 손실 사이의 균형을 훈련 중에 동적으로 조정합니다.

3. 주요 기여

SHIELD 아키텍처: 공유 하이퍼네트워크를 통해 태스크별 파라미터를 생성하여 리플레이 버퍼 없이도 확장성을 보장하는 통합된 강건한 지속 학습 프레임워크를 제안합니다.
Interval MixUp: 가상 보간과 구간 산술을 결합한 새로운 훈련 전략입니다. 경계를 타이트하게 만들고 래핑 효과를 완화하기 위해 반지름 스케일링 메커니즘을 도입하여 강건성과 정확성을 모두 향상시킵니다.
이론적 보증: 본 논문은 충분한 정규화가 있다면, 메서드가 새로운 태스크를 학습하는 동안 이전 태스크의 인증된 강건성을 보존한다는 것을 증명하며 지속 학습에서의 인증된 강건성에 대한 공식적인 정의를 제공합니다.
최첨단 성능: SHIELD는 여러 벤치마크에서 우수한 결과를 달-성하며, 강력한 화이트박스 공격(PGD, AutoAttack)에 대해 인증된 강건성을 제공하는 동시에 깨끗한 데이터에 대한 높은 정확도를 유지합니다.

4. 실험 결과

저자들은 Permuted MNIST, Rotated MNIST, Split CIFAR-100, Split miniImageNet의 네 가지 벤치마크에서 SHIELD를 평가했습니다.

성능: SHIELD는 기존의 강건한 지속 학습 방법들(GEM, GPM, DGP, AIR 포함)을 일관되게 능가합니다.
- Split miniImageNet에서 SHIELD는 AutoAttack 하에서 **56.22%**의 평균 정확도(AA)를 달성하여, 차순위 베이스라인인 DGP(32.1%)를 크게 앞질렀습니다.
- **Interval MixUp (SHIELDIM)**을 사용하면 성능이 더욱 향려되어, Split miniImageNet에서 57.9% AA를, 깨끗한 샘플에 대해서는 **62.67%**를 달성했습니다.
강건성 vs 정확도 트레이드오프: 이 방법은 강건성( $\epsilon$ )을 높이면 깨끗한 정확도가 저하되는 전형적인 트레이드오프를 성공적으로 완화합니다. Interval MixUp을 통해 SHIELD는 원래 샘플의 성능을 희생하지 않으면서도 더 높은 적대적 정확도를 달성할 수 있었습니다.
망각: 이 방법은 낮은 Backward Transfer(BWT) 값(예: Split miniImageNet에서 -0.16)을 보여, 이전 지식의 효과적인 유지를 입증했습니다.
검증: Interval MixUp으로 훈련된 모델은 "검증된 정확도"( $\epsilon$ -볼 내의 모든 섭동에 대한 강건성)가 고전적 정확도와 밀접하게 일치함을 보여주었으며, 이는 표준 IBP 베이스라인에 비해 상당한 개선입니다.

5. 의의 및 주장

본 논문은 SHIELD를 적대적 환경에서의 실용적이고 이론적으로 근거 있는 지속 학습을 향한 중요한 진전으로 위치시킵니다.

최초의 사례: 저자들은 SHIELD가 하이퍼네트워크와 구간 산술을 결합하여 순차적 태스크 전반에 걸쳐 강건성을 보장하는 최초의 인증 가능한 강건한 지속 학습 방법이라고 주장합니다.
통합: 이 연구는 지속적인 적응과 공식적 보증이 어떻게 통합될 수 있는지를 보여주며, 강건성과 망각 연구가 분리되어 있던 기존의 한계를 넘어섭니다.
확장성: 리플레이 버퍼나 전체 모델 저장 없이도, 이 접근 방식은 모델이 적대적 위협이 존재하는 환경에서 지속적으로 학습해야 하는 개인정보 보호 민감 및 대규모 애플리케이션을 위한 실행 가능한 솔루션으로 제시됩니다.

저자들은 IBP가 효율적이긴 하지만, 고차원 설정에서 여전히 지나치게 보수적인(넓은) 출력 경계를 생성할 수 있어 계산 효율성과 강건성 보증의 타이트함에 영향을 미칠 수 있다는 점을 언급하며 한계를 인정했습니다.