기술 요약: Scooter – 제한 없는 적대적 예시에 대한 인간 평가 프레임워크

문제 제기

제한 없는 적대적 공격은 객체의 색상이나 질감을 변경하는 등 $\ell_p$-노름 경계에 구속되지 않는 방식으로 이미지를 변형하여 컴퓨터 비전 (CV) 모델을 속이는 것을 목표로 합니다. 제한된 공격과 달리, 이러한 변형은 의미론적으로 일관성이 있고 인간이 쉽게 간과할 수 있어, 적대적 학습이나 인증된 강건성 (certified robustness) 과 같은 전통적인 노름 기반 방어 기법을 우회할 수 있습니다. 그러나 노름 기반 제약이 부재하다는 것은 지각 불가능성에 대한 수학적 보장이 없다는 것을 의미합니다. 따라서 이러한 적대적 예시 (AEs) 가 인간에게 실제처럼 보이는지 확인하려면 인간 평가가 필요합니다.

기존 문헌은 종종 자동화된 지표나 통계적 엄밀성이 부족한 소규모 인간 연구에 의존합니다. 많은 이전 연구들은 이미지 품질 평가를 완전히 무시하거나 인간 지각과 일치하지 않는 자동화된 지표에 의존합니다. furthermore, 기존 인간 평가 프로토콜은 통계적으로 유의미한 통찰력, 인구통계학적 정보의 투명한 보고, 통계적 검정력 분석, 그리고 부주의한 참여자에 대한 강력한 필터링이 종종 결여되어 있습니다. 이로 인해 제한 없는 공격의 지각 불가능성을 신뢰성 있게 비교하고 검증하는 능력에 격차가 존재합니다.

방법론: Scooter 프레임워크

이러한 격차를 해결하기 위해 저자들은 Scooter(Systemizing Confusion Over Observations To Evaluate Realness, 관찰에 대한 혼란을 체계화하여 실재성 평가) 를 소개합니다. 이는 제한 없는 적대적 예시를 평가하기 위한 오픈소스이며 통계적으로 검증된 프레임워크입니다. 이 프레임워크는 데이터 품질과 통계적 타당성을 보장하도록 설계된 3 단계 파이프라인을 중심으로 구성됩니다:

1. 예비 검사:

   • 색맹 검사: 참여자는 색상에 기반한 변형을 지각할 수 있는지 확인하기 위해 5 개의 이시하라 (Ishihara) 스타일 이미지를 올바르게 분류해야 합니다. 이는 제한 없는 공격의 주요 벡터입니다.
   • 이해도 검사: 참여자는 수정된 이미지와 수정되지 않은 이미지의 예시를 검토하고, 6 쌍 중 적어도 5 쌍에서 수정된 이미지를 올바르게 식별해야 합니다. 이는 작업에 대한 이해를 보장하고 영어가 유창하지 않은 참여자를 필터링합니다.

2. 주요 주석 단계:

   • 참여자들은 106 개의 이미지 (실제 이미지 50 개, 적대적 이미지 50 개) 를 "분명히 수정됨"(-2) 에서 "분명히 실제"(+2) 로 이어지는 5 점 리커트 척도 (Likert scale) 로 평가합니다.
   • 이 설계는 참여자가 실제 이미지와 수정된 이미지 모두를 평가하는 반복 측정 (within-subject repeated-measures) 접근법을 사용합니다.
   • 주의력 검사: 연구에는 부주의한 참여자를 탐지하기 위해 "가짜 항목 (bogus items, 명백히 수정된 이미지)"과 "지시 조작 검사 (IMCs)"가 포함됩니다. 6 개의 주의력 검사 중 2 개 이상을 실패한 참여자는 플래그가 표시됩니다.
   • 필터링: 이미지당 평균 소요 시간, Long-String 통계, 개인 내 응답 변동성 (Intra-individual Response Variability, IRV) 과 같은 추가 지표를 사용하여 저품질 데이터를 필터링합니다.

3. 통계 분석 및 보고:

   • 동등성 검정 (Equivalence Testing): 감지 가능성을 의미하는 유의한 차이를 검정하는 대신, Scooter 는 동등성을 검정하기 위해 양측 일측 검정 (Two-One-Sided Tests, TOST) 절차를 사용합니다. 목표는 적대적 이미지의 평균 평가 ($\mu_{modified}$) 가 사전에 정의된 허용 오차 ($\Delta$) 내에서 실제 이미지의 평균 평가 ($\mu_{real}$) 와 실질적으로 동등함을 증명하는 것입니다.
   • 경계: 경험적 시뮬레이션에 기반하여, 저자들은 실질적 동등성 경계를 $\Delta_L = -0.2$ 및 $\Delta_U = +0.2$로 설정했습니다. $\mu_{real}$과 $\mu_{modified}$ 사이의 차이가 이 범위 내에 있으면 공격은 지각 불가능한 것으로 간주됩니다.
   • 보고: 프레임워크는 재현성을 보장하기 위해 참여자 인구통계, 보상, 시간 투자, 그리고 상세한 통계적 산출물의 보고를 의무화합니다.

실험 설정

저자들은 6 가지 제한 없는 공격을 평가하기 위해 Scooter 프레임워크를 적용했습니다:

• 색상 기반 공격: SemanticAdv (SemAdv), cAdv, Natural Color Fool (NCF).
• 확산 기반 공격: DiffAttack (DA), AdvPP, ACA.

피격 모델: 공격들은 표준 노름 경계 공격에 저항하는 것으로 알려진 강건한 기준 모델인 적대적으로 학습된 ResNet-50(ResNet-50-AT) 에 대해 평가되었습니다.
데이터셋: 피격 모델에 의해 올바르게 분류되고 기존 아티팩트가 없는 2,966 개의 이미지를 포함하는 ImageNet-1k 검증 이미지의 선별된 하위 집합인 ImageNet S-R50-N이 사용되었습니다.
참여자: Prolific 을 통해 총 346 명의 참여자가 모집되어 34,000 건 이상의 인간 평가가 이루어졌습니다.

주요 결과

이 연구는 현재 제한 없는 공격이 지각 불가능하다는 주장을 반증하는 통계적으로 유의미한 증거를 제시했습니다:

1. 지각 불가능성의 실패: 6 가지 공격 모두에서 TOST 절차는 이미지들이 동등하지 않다는 귀무가설을 기각하지 못했습니다. 구체적으로, 상한 검정 ($\Delta > \Delta_U$) 의 p-값은 모든 공격에서 1.000 이었습니다. 이는 실제 이미지가 적대적 예시보다 유의하게 더 높게 (더 "실제"로) 평가되었으며, 그 격차가 $\pm 0.2$ 허용 오차를 훨씬 초과했음을 나타냅니다.
2. 공격 성능:
   • 확산 기반 공격은 일반적으로 색상 기반 공격보다 지각 불가능성 측면에서 더 우수한 성능을 보였습니다 (예: AdvPP 는 $\mu_{modified}$가 -0.5188 로 다른 것들보다 실제 이미지에 더 가까웠음). 그러나 여전히 통계적 동등성을 달성하지는 못했습니다.
   • SemAdv는 가장 간단한 공격임에도 불구하고 놀라운 성과를 거두어, 원시 수정 점수에서 다른 4 가지 공격보다 우수했으나 여전히 동등성 검정에는 실패했습니다.
   • NCF는 가장 명백한 변형을 생성하여 실제 이미지와 수정된 이미지 평가 간의 격차가 가장 컸습니다.
3. 모델 성공과의 불일치: 피격 모델에 대한 공격 성공률과 인간에 대한 지각 가능성 사이에는 상관관계가 없습니다. 예를 들어, NCF 는 높은 공격 성공률 (0.922) 을 보였으나 매우 지각 가능했고, AdvPP 는 낮은 성공률 (0.081) 을 보였으나 가장 지각 불가능했습니다.
4. 자동화 프록시:
   • GPT-4o: 비전 - 언어 모델은 지각 불가능한 공격을 플래그하는 데 일부 능력을 보였으나, 특히 AdvPP 와 ACA 의 경우 인간 평가와 완벽하게 일치하지는 않았습니다.
   • 객관적 지표: 표준 이미지 품질 지표 (예: FID, FD, KD) 는 인간 지각과 상관관계를 보이지 못했습니다. 특히, 지표들은 종종 가장 지각 가능한 공격인 NCF 를 가장 높은 이미지 품질을 가진 것으로 순위 매겨 인간 판단과 정면으로 모순되었습니다. 이미지별 지표인 TOPIQ 는 가장 좋은 일치를 보였으나 여전히 모든 공격에 걸쳐 인간 판단을 신뢰성 있게 대변하지는 못했습니다.

중요성 및 주장

이 논문은 인간 지각을 제한 없는 적대적 예시의 품질과 엄격하게 연결하는 최초의 공개적으로 이용 가능하고 통계적으로 검증된 벤치마크를 제공한다고 주장합니다. 주요 기여점은 다음과 같습니다:

• 방법론적 표준: 이전 연구에서 통계적으로 유의미한 통찰력이 부족했던 문제를 해결하기 위해, 지각 불가능성을 평가하기 위한 크라우드 연구의 검정력, 보상, 그리고 통계적 분석 (특히 TOST) 에 대한 모범 사례 가이드라인을 확립합니다.
• 경험적 증거: 확산 모델 기반 공격을 포함한 현재 최첨단 제한 없는 공격들이 인간에게는 지각 불가능하지 않음을 보여줍니다. 저자들은 인간이 이러한 공격으로 수정된 이미지와 실제 이미지를 쉽게 구별할 수 있다고 결론지었습니다.
• 목표의 분리: 컴퓨터 비전 모델을 속이는 것과 인간 관찰자를 속이는 것은 대개 직교하는 목표임을 시사합니다. 높은 공격 성공률은 높은 지각 불가능성을 의미하지 않습니다.
• 자동화 지표의 한계: 이 연구는 기존 객관적 이미지 품질 지표가 적대적 예시 맥락에서 인간 지각을 위한 불충분한 프록시임을 재확인합니다.

저자들은 Scooter 를 재현 가능하고 인간 중심적인 연구를 가능하게 하는 도구로 제시하며, 커뮤니티가 자동화된 지표와 검증되지 않은 지각 불가능성 주장을 넘어설 것을 촉구합니다. 저자들은 이 분야의 향후 연구를 촉진하기 위해 소스 코드, ImageNet S-R50-N 데이터셋, 그리고 34,000 건 이상의 인간 평가를 공개합니다.