Adversarial robustness and confidence miscalibration in emotion-based HRI systems

기술 요약: 감정 기반 HRI 시스템의 적대적 강건성 및 신뢰도 미교정(Confidence Miscalibration)

문제 정의

본 논문은 얼굴 감정 인식(Facial Emotion Recognition, FER)을 활용하는 인간-로봇 상호작용(HRI) 시스템의 치명적인 보안 격차를 다룬다. FER 모델은 일반적으로 클린 세트(clean-set) 인식 정확도(예: 정밀도, 재현율, F1-스코어)를 기준으로 평가되지만, 이러한 지표들은 예측이 물리적 로봇 동작을 유발할 만큼 신뢰할 수 있는지를 평가하는 데 실패한다. 핵심적인 문제는 분류기가 표준 데이터에서는 정확할지라도 환경적 저하나 적대적 섭동(adversarial perturbations) 하에서는 취약할 수 있다는 점이다. 결정적으로, 저자들은 최대 소프트맥스 확률(maximum softmax probability)이 임계값을 초과할 때만 시스템이 작동하도록 하는 흔한 완화 전략인 **신뢰도 임계값 설정(confidence thresholding)**이 적법한 입력과 적대적 입력을 신뢰성 있게 구별할 수 있는지 조사한다. 본 연구는 만약 적대적 공격이 높은 신뢰도를 가진 오류를 생성한다면, 신뢰도 기반 게이팅(confidence-based gating)은 보안 메커즘이 가장 필요한 시점에 정확히 실패할 것이라는 가설을 세운다.

방법론

저자들은 FER2013 데이터셋의 5개 클래스 부분 집합(Angry, Happy, Neutral, Sad, Surprise)을 사용하여 통제된 경험적 연구를 수행하였다.

• 평가된 파이프라인: 다섯 가지 FER 파이프라인을 비교하였다:
  1. DeepFace: 기성 베이스라인 (zero-shot).
  2. 전략 1: 처음부터 학습된 정규화된 커스텀 CNN.
  3. 전략 2: 컨볼루션 베이스를 고정하고 분류 헤드만 학습시킨 VGG16.
  4. 전략 3: 전체를 다시 학습시킨(fine-tuned end-to-end) VGG16.
  5. 전략 4: 처음부터 학습된 딥 레지듀얼(deep residual) CNN.
• 평가 환경: 실제 로봇 배포 제약 조건을 반영하기 위해 모든 실험은 CPU 전용 하드웨어에서 수행되었다.
• 스트레스 조건:
  • 환경적 부식(Environmental Corruption): 가우시안 노이즈, 블러, 밝기 감소, JPEG 압축을 다섯 단계의 심각도 수준으로 적용.
  • 적대적 공격: 섭동 예산($\epsilon$) 스윕을 포함한 타겟 미지정(untargeted) FGSM(Fast Gradient Sign Method) 및 PGD(Projected Gradient Descent) 공격.
• 교정 분석: 로그릿(logits)에 사후 **온도 스케일링(temperature scaling)**을 적용하여 교정(recalibration)이 클린 입력과 적대적 입력을 분리할 수 있는지 테스트하였다. 운영 게이트는 임계값 $\tau = 0.70$으로 고정되었다.
• 지표: 연구는 표준 정확도를 넘어 작동 건전성(actuation soundness)(예측이 허용되었을 때 잘못된 행동을 할 위험)과 신뢰도 게이트의 탐지 성능(Youden 지수, AUROC)을 측정하였다.

주요 기여

1. 인지-작동 게이트(Perception-to-Action Gate)의 공식화: 본 논문은 "작동 건전성"을 일반적인 인식 정확도와 구별되는, 허용된 하위 모집단의 특성으로 정의한다. 이는 시스템이 평균적으로는 정확할 수 있지만, 행동을 취하기로 선택한 특정 입력 집합에 대해서는 체계적으로 틀릴 수 있음을 확립한다.
2. 교차 아키텍처 적대적 평가: 본 연구는 공통된 섭동 예산 하에서 다양한 아키텍처(커스텀 CNN, 전이 학습, 레지듀얼 네트워크)에 걸쳐 적대적 취약성이 공유된 속성임을 입증한다.
3. 글로벌 교정의 불가능성 결과: 저자들은 글로벌 온도 스케일링이 적대적 공격 하에서의 신뢰도 게이트 실패를 복구할 수 없음을 분석적으로 증명한다. 최대 소프트맥스 확률은 로그릿 차이 벡터(logit-gap vector)에 따라 엄격하게 증가하며, 온도 스케일링은 모든 입력에 동일한 변환을 적용하기 때문에, 적대적 차이가 지배적일 때 적법한 예측(작은 차이)은 허용하면서 적대적 예측(큰 차이)은 거부하는 단일 온도는 존재할 수 없다.
4. 탐지기 경계(Detector Bounds): 논문은 신뢰도 게이트의 Youden 지수가 적대적 허용률에 의해 제한된다는 경계를 도출하여, 해당 게이트가 관찰된 조건 하에서 클린 입력과 적대적 입력을 분리할 구조적 능력이 없음을 증명한다.

결과

• 클린 성능: 딥 레지듀얼 CNN(전략 4)은 실시간 CPU 처리량에서 가장 높은 클린 세트 정확도(0.760)와 매크로-F1(0.753)을 달로했다.
• 환경적 강건성: 환경적 부식은 심각도에 비례하여 성능 저하를 일으켰다. 그러나 적대적 공격은 균일한 붕괴를 초래했다.
  • FGSM: $\epsilon = 0.01$에서 모든 모델의 정확도를 0.16 미만으로 떨어뜨렸다.
  • PGD: $\epsilon \ge 0.02$에서 모든 모델의 정확도를 거의 0에 가깝게(사실상 <0.005) 감소시켰다.
• 신뢰도 미교정: 정확도가 붕괴되었음에도 불구하고, 공격받은 모델들은 높은 신뢰도를 유지했다. PGD 하에서 적대적 예측의 평균 신뢰도는 0.964에 달했다.
• 임계값 설정의 실패:
  • 온도 스케일링을 적용한 후에도 **96.0%**의 적대적 예측이 운영 임계값($\tau = 0.70$)을 초과했다.
  • 신뢰도 게이트의 AUROC는 0.144였으며, 이는 탐지기가 역전되어(inverted) 적법한 입력보다 적대적 입력을 더 자주 허용함을 나타낸다.
  • Youden 지수는 -0.261로 측정되어, 게이트가 거부의 필요성과 반대로 상관되어 있음을 확인했다.
• 교정 불변성: ($T=0.982$로 피팅된) 온도 스케일링은 클린 입력과 적대적 입력의 분리에 미미한 영향만을 주었다. 이론적 분석은 순차적 러너업(runner-up) 구조를 가정할 때 최대-소프트맥스 점수의 ROC 곡선이 온도 스케일링에 대해 불변함을 확인했다.

의의 및 주장

본 논문은 FER의 적대적 취약성이 아키텍처 특유의 문제가 아니며, 높은 신뢰도의 오류는 교정으로 해결할 수 있는 교정의 산물이 아니라 공격의 구조적 특징이라고 주장한다.

• 관심사의 분리: 저자들은 인식 정확도와 작동 건전성이 서로 다른 속성이라고 주장한다. 높은 클린 세트 정확도가 안전한 작동을 보장하지는 않는다.
• 현재 완화책의 한계: 연구는 보안이 중요한 HRI에서 신뢰도 임계값 설정에만 의존하는 것은 불충분하다고 결론짓는다. "신뢰도 게이트"는 적대적 공격이 게이트가 통과시키도록 설계된 고신뢰도 영역에 오류를 집중시키기 때문에 실패한다.
• 아키텍처적 함의: 논문은 FER 모듈과 로봇의 행동 정책 사이에 **시스템 수준의 검증 계층(system-level verification layer)**의 필요성을 강조한다. 이 계층은 단순한 순간적 소프트맥스 점수에 의존하기보다 신뢰도를 다른 증거 스트림(예: 시간적 지속성, 행동률 제약)과 통합해야 한다.
• 범위: 저자들은 새로운 강건한 학습 방법을 제안하거나 더 나은 탐지기를 제시하는 것이 목적이 아님을 명시한다. 대신, 가장 흔히 배포되는 결정 규칙(신뢰도 임계값 설정)이 적대적 조건에서 실패하며, 이 실패는 사후 교정으로 해결될 수 없음을 입증한다. 이 결과는 안전한 감정 유도 로봇십을 위해서는 분류기의 내부 신뢰도 점수를 넘어서는 명시적인 검증 단계가 필요함을 시사한다.