기술 요약: 은밀한 다중 작업 적대적 공격 (SMTA2)

문제 정의

심층 신경망(DNN)은 공유된 표현(representation)을 통해 효율성과 일반화 성능을 높이는 다중 작업 학습(Multi-Task Learning, MTL) 프레임워크에 점점 더 많이 배치되고 있습니다. 그러나 이러한 공유된 표현은 결합된 취약성을 유발합니다. 즉, 한 작업에 대해 정교하게 설계된 적대적 섭동(perturbation)이 다른 작업으로 전파되어 무차별적인 성능 저하를 일으킬 수 있습니다. 기존의 적대적 공격은 단일 작업 모델에 집중하거나 MTL에서 모든 작업을 동시에 저하시키는 데 초점을 맞추고 있지만, 자율 주행과 같은 실제 안전 필수 시나리오에서는 보다 선택적인 전략이 요구되는 경우가 많습니다.

본 연구가 다루는 핵심 문제는 특정 타겟 작업만을 선택적으로 저하시키는 동시에 비타겟 작업의 성능을 엄격하게 보존할 수 있는 프레임워크의 부재입니다. 기존 방식들은 MTL 모델에서 한 작업의 손실(loss)을 증가시키면 자연스럽게 다른 작업에도 해를 끼치는 그래디언트(gradient)가 전파되기 때문에 이를 수행하는 데 어려움을 겪습니다. 비타겟 작업의 성능을 손상시키지 않으면서 선택적 저하를 달리는 것은 매우 제약이 많은 비자명한 최적화 문제이며, 단순한 손실 재가중(loss reweighting) 방식은 강력한 섭동 하에서 비타겟 성능을 유지하는 데 실패하는 경우가 많습니다.

방법론

저자들은 이 선택적 저하 문제를 해결하기 위해 설계된 프레임워크인 **Stealthly Multi-task Adversarial Attack (SMTA2)**를 제안합니다.

1. 문제 정식화

SMTA2는 이 문제를 제약 조건이 있는 다목적 최적화 문제로 정식화합니다. $y = (y_1, ..., y_m)$인 다중 작업 모델과 타겟 작업 $i_t$가 주어졌을 때, 목표는 타겟 작업의 손실 $L_{i_t}$를 최대화하는 동시에, 모든 비타겟 작업 $i$ (여기서 $i \neq i_t$)의 손실 $L_i$가 원래의 깨끗한(clean) 성능을 초과하지 않도록 보장하는 것입니다.

최적화는 다음과 같이 정의됩니다:
$$\max_{\delta} L_{i_t}(x + \delta, y_{i_t})$$
$$\text{subject to } L_i(x + \delta, y_i) \leq L_i(x, y_i) \quad \forall i \neq i_t$$
$$\|\delta\|_p \leq \epsilon$$

2. 최적화 전략

직접적으로 제약 조건을 해결하는 것은 작업 간 그래디언트 간섭으로 인해 실행 불가능합니다. SMTA2는 이를 가중치가 부여된 목적 함수로 완화합니다:
$$\max_{\delta} \sum_{i=1}^m w_i L_i(x + \delta, y_i)$$
여기서 $w_{i_t}$는 양수(타겟을 저하시키기 위함)이며, 비타겟 작업에 대한 $w_i$는 음수(저하를 방지하고 보존을 강제하기 위함)입니다.

최적의 가중치 $\{w_i\}$를 찾기 위해, 논문은 두 가지 전략을 제안합니다:

• 수동 가중치 탐색 (Manual Weight Searching): 비타겟 작업의 성능이 베이스라인 아래로 떨어지면 해당 가중치를 수동으로 증가시키는 반복적인 시행착오 방식입니다. 이는 계산 비용이 많이 들며 작업 수가 늘어남에 따라 확장성이 떨어집니다.
• 자동 가중치 최적화 (Algorithm 1): 각 공격 반복 단계 동안 작업 가중치를 동적으로 업데이트하는 동적 전략입니다.
  • 각 단계에서 알고리즘은 비타겟 작업에 대해 적대적 입력과 원래 입력 사이의 손실 차이를 계산합니다.
  • 만약 비타겟 작업의 손실이 증가하면, 그에 대응하는 음수 가중치를 저하를 상쇄하도록 비례적으로 조정합니다.
  • 작업별 단계 크기(step size) $\lambda_i$가 사용되며, 이는 특정 작업이 보존 제약 조건을 만족하면 계수 $\alpha$에 의해 감쇠됩니다. 이는 수렴을 가속화하고 탐색을 안정화합니다.
  • 이 접근 방식은 반복당 $O(m)$의 연산만을 추가하므로, PGD와 같은 표준 공격과 점근적으로 동일한 복잡도를 가집니다.

주요 기여

1. 새로운 공격 패러다임: MTL에서 은밀하고 작업 선택적인 적대적 공격 문제를 체계적으로 정식화하고 해결하는 최초의 프레임워크인 SMTA2를 도입하여, 다른 작업을 엄격히 보존하면서도 타겟 작업만을 선택적으로 저하시킬 수 있게 했습니다.
2. 제약 최적화 정식화: 무차별적인 공동 공격을 넘어, 명시적인 보존 제약 조건을 가진 제약 다목적 최적화 문제로 공격을 모델링했습니다.
3. 자동 가중치 튜닝: 최적의 작업 가중치를 동적으로 탐색하는 자동 손실 가중치 최적화 전략을 개발하여, 수동 튜닝의 필요성을 제거하고 효율성과 확장성을 개선했습니다.
4. 포괄적인 평가: 다양한 $L_p$ 노름($L_1, L_2, L_\infty$) 및 공격 알고리즘(PGD, IFGSM, APGD)에 대해 NYUv2 및 Cityscapes 벤치마크에서 광범위한 실험을 수행하였으며, 방어되지 않은 모델과 적대적 훈련된 모델 모두에 대해 평가를 진행했습니다.

실험 결과

논문은 두 가지 다중 작업 벤치마크인 NYUv2 (Semantic Segmentation, Depth Estimation, Surface Normal)와 Cityscapes (Semantic Segmentation, Part Segmentation, Disparity Estimation)에서 SMTA2를 평가합니다.

• 선택적 저하 (Selective Degradation): 결과는 SMTA2가 비은밀한 공격만큼 효과적이면서도 타겟 작업을 크게 저하시키는 동시에, 비타겟 작업은 베이스라인 성능 근처 또는 수준으로 유지함을 보여줍니다. 반면, 비은밀한 공격은 전역적인 성능 붕괴를 초래합니다.
• 강건성 (Robustness): 이 프레임워크는 적대적 훈련된(AT) 모델에 대해서도 효과적이며, 강력한 방어 설정 하에서도 비타겟 작업을 성공적으로 보존합니다.
• 자동화 vs 수동 (Automation vs. Manual): 자동 가중치 탐색 전략은 수동 튜닝과 대등한 성능을 달면서도 훨씬 높은 효율성과 확장성을 달성했습니다.
• 시각적 증거 (Visual Evidence): 시각화를 통해 섭동이 인지하기 어렵고 뚜렷한 시각적 아티팩트를 생성하지 않으면서도, 특정 작업 실패(예: 차선 검출은 유지하면서 교통 표지판을 오분류함)를 유발함을 확인했습니다.

의의 및 주장

본 논문은 은밀하고 선택적인 다중 작업 적대적 공격을 위한 최초의 체계적인 프레임워크를 구축했다고 주장합니다. 그 의의는 다음과 같습니다:

• 중요한 격차 해소: 무차별적인 실패는 쉽게 탐지될 수 있는 반면, 선택적 실패는 미묘하고 위험할 수 있는 안전 필수 시스템에서의 선택적 공격 필요성을 다룹니다.
• 실질적 실현 가능성: 원칙적인 최적화와 자동 가중치 튜닝을 통해, 작업 간의 강력한 결합이 존재하는 상황에서도 엄격한 보존 제약 조건을 충족할 수 있음을 입증했습니다.
• 새로운 방향 제시: 제어된 적대적 머신러닝의 새로운 방향을 제시하며, 모델 아키텍처나 작업 관계를 변경하지 않고도 공유된 표현이 미세하고 은밀한 조작을 위해 어떻게 악용될 수 있는지를 강조합니다.

저자들은 SMTA2가 은밀하고 작업 선택적인 공격이 모두 가능하며 실질적으로 해결 가능하다는 것을 증명함으로써, 다중 작업 학습 시스템의 강건성에 새로운 과제를 던진다고 결론짓습니다.