기술 요약: 보이지 않는 손: 표적 정체성 재연관 공격을 통한 모델 공정성 및 SHAP 조작

1. 문제 정의

머신러닝 모델이 사회적으로 중요한 영역에서 점점 더 불투명해지고 영향력이 커짐에 따라, 책임성을 확보하기 위해 알고리즘 공정성 감사 및 사후 설명 가능성 도구(SHAP 등)에 대한 의존도가 높아지고 있다. 그러나 본 논문은 이러한 감사 메커니즘 자체가 적대적 조작에 취약하다는 점을 지적한다.

기존 연구들은 공정성 지표를 조작하는 "속임수" 전략을 보여주었으나, 이러한 기존 방식들은 대개 명시적인 섭동(perturbation)에 의존하거나 모델의 내부 데이터 분포에 대한 접근을 필요로 한다. 결과적으로, 이러한 방식들은 감사를 유발할 수 있는 뚜렷한 흔적(예: 공정성 점수의 급격한 하락 또는 비정상적인 SHAP 기여도 값)을 남긴다. 본 논문은 포렌식 흔적을 남기지 않으면서 모델의 인지된 공정성을 변경하고 설명 도구를 무력화할 수 있는, 미묘하고 데이터 불가지론적(data-agnostic)인 사후 조작 기법의 부재를 지적한다.

2. 방법론

저자들은 **표적 정체성 재연관(Targeted Identity Re-Association, TIRA)**이라 명명된 새로운 계열의 공격을 제안한다. 이 공격은 공격자가 모델의 아키텍처, 훈련 데이터 또는 결정 로직에 대한 접근 권한 없이 오직 블랙박스 모델의 출력 점수와 입력 인스턴스의 보호 속성(protected attributes)에만 접근할 수 있는 블랙박스 위협 모델 하에서 작동한다.

핵심 프레임워크는 다음과 같다:

1. 점수 정렬(Score Sorting): 블랙박스 모델로부터 예측 점수를 얻고 이를 내림차순으로 정렬한다.
2. 정체성 재연관(Identity Re-Association): 점수 자체를 변경하지 않고, 정렬된 점수와 정체성(특히 보호 속성) 사이의 연관 관계를 반복적이고 확률적으로 수정한다.
3. 출력 재조립(Output Re-Assembly): 셔플링된 정체성을 사용하여 데이터셋을 재구성함으로써 공정성 지표와 SHAP 값을 다시 계산한다.

본 논문은 TIRA 계열 내의 두 가지 구체적인 알고리즘을 공식화한다:

• 확률적 미세 셔플링(Probabilistic Micro-Shuffling, PMiS): 이 알고리즘은 국소적인 인접 교환을 적용한다. 각 반복 단계에서 정렬된 리스트의 인접한 쌍을 검사한다. 만약 소외 계층(보호 속성 = 0)이 혜택 계층(보호 속성 = 1)과 인접해 있다면, $p_{swap}$의 확률로 그들의 정체성을 교환한다. 이는 점수 대비 보호 속성의 분포를 누적적이고 점진적으로 변화시킨다.
• 확ality적 순위 이동 미세 섭동(Probabilistic Rank-Shift Micro-Perturbation, PRSMP): 이 알고리즘은 정의된 순위 윈도우($k_{max}$) 내에서 순위 이동을 허용함으로써 더 넓은 국소성을 도입한다. 이는 소외 계층을 대상으로 하며, $p_{shift}$의 확률로 해당 소외 계층의 정체성을 다른 소외 계층의 정체성으로 순위 윈도우 내에서 이동시킨다. PMiS와 마찬가지로, 이 방식은 상당한 재배열을 축적하면서도 은밀함을 유지하기 위해 여러 번의 반복 수행에 의존한다.

3. 주요 기여

본 논문의 주요 기여는 네 가지이다:

1. TIRA 공격의 공식화: 미묘하게 모델 출력을 조작할 수 있는 새로운 사후, 데이터 불가지론적, 확률적 방법으로서 표적 정체성 재연관을 도입하였다.
2. 공정성 조작의 실증적 검증: TIRA 공격이 다양한 모델-데이터셋 구성에서 AIF360 공정성 지표(예: 기회 균등, 인구 통계적 패리티, 이질적 영향)를 원하는 이상적인 임계값으로 유도할 수 있음을 입증하였다.
3. SHAP 기여도에 미치는 영향: TIRA 공격이 SHAP 기반 설명을 어떻게 혼란시키는지 보여준다. 이 공격은 보호된 특성에 대한 SHAP 기여도를 효과적으로 0으로 줄여, 모델이 해당 특성에 의존하지 않는다는 잘못된 인상을 심어주는 데 성공하였다.
4. 비교 벤치마킹: TIRA 공격이 기존의 명시적 공격(DomSwap, MixSwap 등)에 비해 더 세밀한 그래뉴리티(granularity)와 제어력을 제공하며, 유사하거나 더 우수한 공정성 지표 변화를 달성하면서도 훨씬 높은 은밀성을 확보함을 입별하였다.

4. 결과 및 분석

저자들은 **방글라데시 당뇨병 데이터셋(Bangladeshi Diabetes Dataset)**과 **독일 신용 데이터셋(German Credit Dataset)**을 사용하여 로지스틱 회귀 및 신경망 모델에 대해 TIRA 공격을 평가하였다.

• 공정성 지표: 결과에 따르면 TIRA 공격은 공정성 지표를 일관되게 이상적인 값(예: 인구 통계적 패리티 차이 및 이질적 영향 비율을 1에 가깝게 감소)으로 밀어 넣었다. 많은 경우, PMiS와 PRSMP은 기존의 셔플링 공격보다 더 정밀한 튜닝을 달성했다. 예를 들어, 당뇨병 데이터셋에서 PMiS는 기회 균등 차이를 기준치 0.09에서 -0.07로 감소시켰으며, 이는 다른 공격들이 보여준 것보다 더 일관되고 극단적인 변화였다.
• SHAP 기여도: 공격 후 분석 결과, 보호된 특성에 대한 SHAP 값이 사실상 0이 되었다. 이는 TIRA 공격이 모델의 보호 속성 의존성을 설명 도구로부터 성공적으로 은폐했음을 나타내며, 탐지 가능한 기여도가 남아있던 기존 연구들에 비해 유의미한 개선을 보여준다.
• 은밀성 및 제어력: 연구는 조절 가능한 파라미터($p_{swap}$, $p_{shift}$, $k_{max}$, 반복 횟수 $T$)가 제공하는 "세밀한 제어"를 강조했다. 공격자는 이를 조정함으로써 조작의 규모를 거의 감지할 수 없는 수준에서부터 뚜렷한 변화에 이르기까지 확장할 수 있으며, 이를 통해 공정성 변화의 크기와 공격의 은밀성 사이의 트레이드오프를 조절할 수 있다.

5. 의의 및 주장

본 논문은 공정성 평가 자체가 취약하다고 주장한다. 출력 순위의 미묘하고 비침습적인 변화를 통해 모델의 인지된 공정성과 설명 프로필을 변경할 수 있다는 사실은, 사후 설명 방법론만으로는 신뢰할 수 있는 AI를 달성할 수 있다는 가설에 도전한다.

저자들은 TIRA 공격이 이전에 달성되지 않았던 "이중적인 위협"을 나타낸다고 주장한다:

1. 지표를 이상적인 값에 가깝게 밀어 넣음으로써 AIF360 감사를 속일 수 있다.
2. SHAP 기여도를 효과적으로 0으로 줄임으로써 XAI 감사를 속일 수 있다.

본 연구의 의의는 현재의 감사 프레임워크가 가진 불충분함을 폭로하는 데 있다. TIRA 공격의 향상된 은밀성은 강력한 기여 신호의 부재가 반드시 공정성이나 적대적 섭동의 부재를 의미하지 않음을 시사한다. 따라서 본 논문은 현재의 도구가 제공하는 지표와 기여도 값에만 의존하기보다는, 모델의 출력과 그 설명 사이의 불일치를 탐지할 수 있는 무결성 기반 평가 방법론(integrity-based evaluation methodologies) 개발이 시급하다고 결론짓는다.