Hypnopaedia-Aware Machine Unlearning via Psychometrics of Artificial Mental Imagery

"인공 심상 (Artificial Mental Imagery) 의 심리측정을 통한 히프노파디아 (Hypnopaedia) 인지 머신 언러닝"논문에 대한 상세 기술 요약입니다.

1. 문제 제기

이 논문은 머신러닝 모델 내의 **신경 백도어 (Neural Backdoors, 트로이 목마)**라는 중대한 사이버 보안 위협을 다룹니다.

• 위협: 공격자가 훈련 단계 동안 모델에 숨겨진 '트리거 (Trigger)'를 주입합니다. 이 트리거가 포함된 특정 입력이 제시되면 모델은 정상적인 논리를 무시하고 사전에 결정된, 종종 악의적인 대상 클래스를 출력합니다.
• 과제:
  • 데이터 부재: 많은 실제 시나리오 (개인정보 보호 규정, 독점적 제한, 또는 보관 정책으로 인해) 에서 원래 훈련 데이터셋에 접근할 수 없습니다. 따라서 깨끗한 데이터로 재훈련하거나 원시 데이터셋을 검사하는 전통적인 방어 방법은 불가능합니다.
  • 동적 환경: 연동 학습 (Federated Learning) 이나 평생 학습 (Lifelong Learning) 에서 데이터 소스는 동적이며 잠재적으로 신뢰할 수 없으므로 지속적인 감시가 필요합니다.
  • 목표: 원래 훈련 데이터셋에 접근하지 않고도 사전 훈련된 (잠재적으로 감염된) 모델에서 백도어 트리거를 잊어버리게 (Unlearn) 하되, **지식 충실도 (Knowledge Fidelity, benign 데이터에 대한 모델의 정확도 유지)**를 유지하는 것입니다. 저자들은 소수의 '규범적 (Normative)' 깨끗한 샘플과 트리거 크기에 대한 후보 범위만 존재한다고 가정합니다.

2. 방법론

저자들은 심리학 (히프노파디아, 메타인지, 동기적 망각) 과 제어 이론에서 은유를 차용한 사이버네틱 프레임워크인 Psycho-Pass를 제안합니다. 이 프레임워크는 세 가지 주요 단계로 구성됩니다:

A. 모델 역전 (Model Inversion, "인공 심상" 복원)

원래 데이터셋을 사용할 수 없으므로, 시스템은 모델의 내부 기억을 "복원"하려고 시도합니다.

• 개념: **모델 역전 (Model Inversion)**을 사용하여 시스템은 특정 대상 클래스의 활성화를 극대화하는 합성 입력 ("인공 심상") 을 생성합니다. 이러한 이미지는 해당 클래스에 대한 모델의 내부 원형 (Prototype) 을 나타냅니다.
• 기법:
  • 다중 스케일 경사 하강법: 최적하지 않은 패턴 (끌개, Attractors) 에 수렴하는 것을 방지하기 위해, 최적화는 낮은 해상도에서 시작하여 점진적으로 고해상도로 정제됩니다.
  • 확률성 및 적대적 학습: 로컬 최소값에 수렴하는 것을 방해하고 생성된 이미지가 잠재적인 숨겨진 트리거를 포함한 다양한 특징을 포착하도록 하기 위해 무작위 노이즈와 적대적 학습 기법이 도입됩니다.
  • 출력: 각 클래스에 대한 합성 이미지 집합 ($Z$). 모델이 감염된 경우, 백도어 클래스의 심상에는 클래스 특징과 숨겨진 트리거가 혼합된 형태가 포함될 가능성이 높습니다.

B. 가설 분석 (심리측정 평가)

시스템은 생성된 심상을 분석하여 가장 유력한 트리거를 식별합니다.

• 가설 생성: 시스템은 합성 이미지 ($Z$) 를 사용하여 깨끗한 샘플에 후보 마스크 ($M$) 를 오버레이하여 "가상의 악성 샘플"을 생성합니다.
• 최대 우도 추정 (MLE): 시스템은 어떤 가상의 트리거가 모델이 깨끗한 샘플을 가장 효과적으로 오분류하게 하는지 (최저 손실) 평가합니다.
• 이상치 배제: 실제 백도어와 트리거처럼 보이지만 benign 한 '자연적 트리거 (내재적 패턴)'를 구별하기 위해 시스템은 3 단계 필터링 과정을 사용합니다:
  1. Top-k 선택: 손실이 가장 낮은 $k$개의 가설을 유지합니다.
  2. 내부 배제 (Intra-exclusion): 동일한 패턴의 기하학적 변환을 제거하기 위해 공간적 근접성을 기반으로 가설을 클러스터링합니다.
  3. 상호 배제 (Inter-exclusion): LPIPS 를 사용하여 지각적 유사성을 기반으로 필터링하여 여러 역전 시도에서 패턴이 일관되도록 합니다.
• 베이지안 추론: 시스템은 감염 확률을 계산합니다. 감지된 트리거의 지각적 거리를 알려진 감염되지 않은 및 감염된 대리 모델 (Surrogate Models) 의 참조 분포와 비교합니다. 확률이 임계값을 초과하면 시스템은 언러닝을 결정합니다.

C. 머신 언러닝 (동기적 망각)

트리거가 식별되고 감염이 확인되면:

• 과정: 모델은 깨끗한 데이터의 소규모 "언러닝 세트"를 사용하여 미세 조정됩니다.
• 메커니즘: 시스템은 깨끗한 이미지에 추정된 트리거를 적용하여 "가상 독성 (Pseudo-toxic)" 샘플을 생성합니다. 그런 다음 모델이 이러한 가상 독성 샘플을 백도어 대상이 아닌 진실 지상 진실 (Ground Truth) 레이블로 올바르게 분류하도록 훈련시킵니다.
• 목표: 이는 모델이 특정 트리거 패턴을 악의적인 대상 응답과 분리하도록 강제하여, 일반적인 지식을 유지하면서 백도어를 효과적으로 "잊게" 만듭니다.

3. 주요 기여

1. 사이버네틱 프레임워크: 메타인지와 동기적 망각과 같은 개념을 활용하여 백도어 감지를 기계의 "심상"에 대한 심리측정 평가로 간주하는 새로운 "Psycho-Pass" 프레임워크를 도입합니다.
2. 데이터 프리 언러닝: 원래 훈련 데이터셋에 접근하지 않고 소수의 규범적 세트와 모델 역전에만 의존하여 백도어를 탐지하고 제거하는 강력한 방법을 개발합니다.
3. 다중 스케일 확률적 최적화: "끌개 (수렴하지만 결함이 있는 패턴)"에서 벗어나 더 정확한 트리거 재구성을 이끌어내는 모델 역전을 위한 다중 스케일 최적화와 확률적 과정을 사용하는 특정 알고리즘을 제안합니다.
4. 이상치 배제 메커니즘: 주입된 인공 트리거와 거짓으로 트리거처럼 보일 수 있는 내재적 자연 패턴을 구별하기 위한 엄격한 통계적 과정입니다.
5. 확률적 의사결정: 감염 가능성을 정량화하기 위해 베이지안 추론을 사용하여 언러닝 결정에 대한 신뢰 점수를 제공합니다.

4. 실험 결과

이 방법은 VGG, ResNet, Inception 의 세 가지 아키텍처와 표준 및 적대적 두 가지 훈련 모드에 걸쳐 MNIST, CIFAR-10, ImageNet (부분집합) 에서 평가되었습니다. Neural Cleanse, Tabor, Pixel Backdoor, Unicorn 과 같은 벤치마크와 비교되었습니다.

• 취약성 (공격 성공률 - ASR):
  • 제안된 방법 (Psycho-Pass) 은 일관되게 최저 ASR을 달성하여 (데이터셋 전반에 걸쳐 종종 3% 미만), 백도어를 효과적으로 무력화했습니다.
  • Neural Cleanse 및 Tabor 와 같은 벤치마크는 복잡한 시나리오에서 ASR 이 종종 20~50% 를 초과하는 등 훨씬 더 높은 잔여 취약성을 보였습니다.
• 충실도 (분류 정확도 - ACC):
  • Psycho-Pass 는 benign 데이터에서 높은 정확도를 유지했으며, 감소폭은 일반적으로 감염된 모델의 원래 정확도 대비 10% 이내였습니다 (언러닝 과정을 고려할 때 허용 가능한 수준).
  • 모델 유틸리티를 보존하는 데 있어 벤치마크보다 우월하거나 동등한 성능을 발휘했습니다.
• 탐지 가능성:
  • 베이지안 추론은 감염된 모델과 감염되지 않은 모델을 높은 확률로 성공적으로 구별했습니다 (감염된 경우 1.0 에 근접, 감염되지 않은 경우 0.0 에 근접).
  • 시각화는 이 방법이 다른 방법들보다 지상 진실에 시각적으로 더 가까운 트리거를 재구성할 수 있음을 확인시켰습니다.

5. 중요성 및 결론

• 패러다임 전환: 이 논문은 단순한 데이터 "정제"를 넘어, 기계가 "심상"을 통해 자신의 인지 상태를 모니터링하여 "무의식적"인 부패를 탐지하고 수정하는 자기 인식적 사이버네틱 접근법으로 나아갑니다.
• 실용적 적용성: 원래 데이터셋 없이 백도어 제거 문제를 해결함으로써, 이 방법은 개인정보 보호가 중요하거나 독점적인 환경에서 안전한 AI 를 배포하는 데 있어 주요 병목 현상을 해결합니다.
• 향후 방향: 저자들은 알려지지 않은 트리거 차원과 "야생 (In-the-wild)" 공격의 다양성에 관한 한계를 인정합니다. 향후 작업은 다양한 트리거 크기를 처리하고 외재적 (악의적) 과 내재적 (자연적) 트리거를 더 잘 구별할 수 있도록 범위를 확대하는 것을 목표로 합니다.

요약하자면, 이 논문은 백도어 제거를 심리측정 분석과 동기적 망각의 과정으로 간주하여 신경망을 보호하는 정교하고 이론적으로 근거가 있으며 실증적으로 검증된 접근법을 제시하며, 기존 최첨단 방법들보다 백도어 위협을 탐지하고 무력화하는 데 있어 우수한 성과를 거두었습니다.