NERO-Net: 적대적 공격에 강인한 CNN 설계를 위한 신경진화적 접근법 기술 요약

본 논문은 NERO-Net(Neuroevolution of adversarially RObust artificial neural Networks) 을 제안하며, 신경진화 (Neuroevolution, NE) 를 활용하여 본질적으로 적대적 공격 (Adversarial Attacks) 에 강인한 합성곱 신경망 (CNN) 을 자동 설계하는 프레임워크를 소개합니다. 기존 신경진화 연구가 예측 성능 위주로 최적화되어 적대적 취약성을 간과해 온 점을 지적하고, 아키텍처 자체의 내재적 강인함 (Intrinsic Robustness) 을 확보하는 새로운 방법을 제시합니다.

1. 문제 정의 (Problem)

• 적대적 취약성: 인공지능 신경망 (ANN) 은 인간이 식별하지 못하는 미세한 교란 (Perturbation) 이 포함된 입력 (적대적 예제) 에 의해 오분류되는 취약점을 가집니다. 이는 안전이 중요한 분야에서 모델 채택의 주요 장벽입니다.
• 기존 방법의 한계:
  • 적대적 훈련 (Adversarial Training): 현재 표준 방어 기법이지만, 이는 훈련 데이터에 적대적 예제를 포함시켜 모델을 훈련시키는 방식으로, 아키텍처 자체의 강인함보다는 훈련 과정의 결과일 수 있습니다.
  • 신경진화 (NE) 의 부족: 기존 NE 기반 아키텍처 탐색 (NAS) 연구들은 주로 예측 정확도 최적화에 집중했으며, 강인성 최적화를 위해 적대적 훈련을 탐색 루프에 포함시키는 경우가 많습니다. 이는 아키텍처가 아닌 훈련 데이터의 영향으로 강인성이 발생한 것으로 오인하게 만들거나, 계산 비용 절감을 위해 탐색 공간을 과도하게 제한합니다.
• 핵심 과제: 적대적 훈련 없이, 표준 훈련 방법으로도 높은 적대적 정확도를 보이는 본질적으로 강인한 아키텍처를 자동으로 탐색하는 것.

2. 방법론 (Methodology)

NERO-Net 은 기존 알고리즘인 Fast-DENSER를 기반으로 하며, 다음과 같은 핵심 기법들을 도입했습니다.

A. 적응형 적합도 함수 (Adaptive Fitness Function)

• 정제된 정확도와 적대적 정확도의 공최적화: 단순히 정확도만 평가하는 것이 아니라, 정제된 데이터 (Clean) 와 적대적 데이터 (Adversarial) 에 대한 성능을 모두 고려한 $F_\beta$ 함수를 사용합니다.
  • $F_\beta = (1 + \beta^2) \cdot \frac{C \times A}{C + \beta^2 \cdot A}$
  • 여기서 $C$는 정제된 정확도, $A$는 적대적 정확도이며, $\beta$는 정제된 데이터 성능 유지에 대한 가중치입니다.
• 워밍업 기간 (Warm-up Period): 초기 진화 단계에서는 적대적 공격을 고려하지 않고 정제된 정확도 ($C$) 만으로 진화를 유도하여 안정적인 아키텍처 기반을 마련한 후, 일정 임계값 ($\tau$) 도달 시 $F_\beta$로 전환합니다.
• 비적합 개체 감지: 수치적 불안정성 (NaN/Infinity) 이나 특정 클래스만 예측하는 '트릭스' (Trivial classification) 행동을 감지하여 패널티를 부여하거나 평가를 생략합니다.

B. 표현 및 변이 연산자 (Representation & Variation)

• 레이어 블록 (Layer Blocks) 인코딩: 개별 레이어 대신 ConvBlock(Conv + Activation + BN) 과 PoolBlock과 같은 연산 블록을 문법 (Grammar) 에 직접 인코딩하여 탐색 효율성을 높이고 현대적인 CNN 구조를 반영합니다.
• 유연한 연결성 (Skip Connections): 기존 Fast-DENSER 의 제한적인 연결 구조를 개선하여, 레이어가 직전 레이어뿐만 아니라 더 이전의 레이어와도 연결될 수 있도록 Skip Connection을 허용합니다. 이는 DenseNet 등의 구조를 유연하게 탐색할 수 있게 합니다.
• 실수 파라미터 최적화: 학습률, 필터 수 등 실수 파라미터를 진화 과정에서 직접 최적화할 수 있도록 문법을 확장했습니다.

C. 평가 전략

• 적대적 훈련 배제: 진화 루프 내에서 후보 모델들은 **표준 훈련 (Standard Training)**만 거칩니다. 이는 발견된 강인성이 아키텍처의 고유한 특성임을 보장합니다.
• 효율적 평가: 진화 단계에서는 계산 비용을 줄이기 위해 FGSM(Fast Gradient Sign Method) 공격을 사용하여 적대적 정확도를 추정합니다. (더 강력한 PGD 나 AutoAttack 은 최종 검증 단계에서 사용합니다.)

3. 주요 기여 (Key Contributions)

1. NERO-Net 프레임워크 제안: 적대적 훈련 없이 아키텍처 자체의 강인성을 최적화하는 신경진화 프레임워크를 최초로 체계적으로 제안했습니다.
2. 유연한 유전적 표현: 레이어 블록 인코딩과 확장된 Skip Connection 을 통해 기존 NAS 보다 더 넓은 아키텍처 탐색 공간을 제공합니다.
3. 본질적 강인성 입증: 특수한 방어 기법 없이도 진화를 통해 발견된 아키텍처가 높은 적대적 정확도를 보임을 실험적으로 증명했습니다.

4. 실험 결과 (Results)

실험은 CIFAR-10 데이터셋을 대상으로 수행되었으며, $L_\infty$ 노름 기반의 적대적 공격에 초점을 맞췄습니다.

• 진화 단계 결과:
  • 진화 종료 시 가장 우수한 개체는 정제된 정확도 87.49%, **FGSM 공격에 대한 정확도 33.25%**를 기록했습니다.
  • 이는 적대적 훈련 없이도 상당 수준의 내재적 강인성을 가진 아키텍처가 발견되었음을 의미합니다.
• 추가 표준 훈련 (Extended Standard Training):
  • 진화된 모델을 더 긴 시간 (350 에포크) 동안 표준 훈련한 결과, 정제된 정확도 93.47%, **FGSM 공격 정확도 47.88%**로 크게 향상되었습니다.
  • 이는 아키텍처가 잠재력을 발휘하기 위해 충분한 훈련이 필요함을 시사합니다.
• 적대적 훈련 (Adversarial Training) 후 결과:
  • 발견된 모델을 **AutoAttack (AA)**으로 적대적 훈련한 결과, **AA 에 대한 최종 정확도는 약 40.40%**에 도달했습니다.
  • 참고: 비교 대상인 NSGA-Net 모델은 AA 훈련 후 약 47.13% 의 정확도를 보였으나, NERO-Net 모델은 파라미터 수가 훨씬 많음 (26.7M vs 3.3M) 에도 불구하고 표준 훈련 단계에서 더 우수한 성능을 보였습니다.
• 다중 위협 모델 강인성:
  • $L_\infty$ 위협 모델로만 진화되었음에도 불구하고, $L_2$ 노름 기반의 적대적 공격 (FGM, PGD 등) 에 대해서도 높은 강인성을 보였습니다. 이는 발견된 아키텍처가 특정 공격 유형에 국한되지 않는 다중 위협 (Multi-threat) 강인성을 가짐을 의미합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 아키텍처 설계의 패러다임 전환: 적대적 방어는 주로 훈련 데이터나 손실 함수를 수정하는 방식에 의존해 왔으나, NERO-Net 은 아키텍처 구조 자체가 강인성을 결정할 수 있음을 증명했습니다.
• 효율성과 강인성의 균형: 계산 비용이 큰 적대적 훈련을 진화 루프에 포함시키지 않고도, 효율적인 FGSM 평가를 통해 우수한 아키텍처를 탐색할 수 있음을 보였습니다.
• 향후 과제:
  • 발견된 아키텍처의 강인성을 극대화하기 위해 모델별 맞춤형 적대적 훈련 설정 (학습률, 에포크 등) 을 최적화할 필요가 있습니다.
  • 진화 과정에서 발생하는 유전자형 (Genotype) 의 미세한 변화가 적대적 정확도에 미치는 비선형적이고 예측 불가능한 영향에 대한 심층 분석이 필요합니다.
  • 계산 비용 문제를 해결하기 위해 **영구적 비용 프록시 (Zero-cost proxies)**를 적대적 강인성 평가에 적용하는 연구를 진행할 예정입니다.

요약하자면, NERO-Net 은 신경진화를 통해 적대적 공격에 본질적으로 강한 CNN 아키텍처를 자동 설계할 수 있음을 입증한 선구적인 연구로, 향후 안전이 중요한 AI 시스템 설계에 중요한 통찰을 제공합니다.