기술 요약: 강건성과 개별 공정성에 미치는 섭동 효과

문제 정의

심층 신경망(DNN)은 예측의 강건성(robustness)과 개별 공정성(individual fairness)을 모두 저하시킬 수 있는 적대적 섭동(adversarial perturbations)에 취로약하다. 그러나 기존의 평가 프로토콜은 일반적으로 이러한 차원들을 분리하여 평가한다. 이러한 분리는 모델이 강건해 보이지만 불공정하거나, 공정해 보이지만 강건하지 않은 임계 실패 모드(critical failure modes)를 은폐한다. 구체적으로, 단일 축 지표는 다음과 같은 결합된 실패 체제(coupled failure regimes)를 놓칠 수 있다:

• 강건한 편향 (Robust Biased, RB): 모델이 정답을 유지하지만(강건함), 의미론적으로 동일한 개인들에 대해 일관되지 않은 예측을 생성함(불공정함).
• 불강건한 공정 (Unrobust Fair, UF): 모델이 유사한 개인들에 대해 일관된 예측을 생성하지만(공정함), 두 예측 모두 오답임(불강건함).
• 불강건한 편향 (Unrobust Biased, UB): 두 가지 측면 모두에서 실패함.

기존 방법들은 종종 기하학적 근접성(예: 코사인 유사도)이나 화이트박스 그래디언트 접근 방식에 의존하는데, 이는 의미론적 진리 조건(truth conditions)을 보존하지 못하거나 블랙박스 API 배포 환경에서는 적용할 수 없다는 한계가 있다. 또한, 많은 공정성 테스트는 의미론적 표류(semantic drift)를 허용하여, 모델의 실패와 실제 정답(ground truth)의 변화를 구분하는 것을 불가능하게 만든다.

방법론

1. 공식 정의: 강건한 개별 공정성 (Robust Individual Fairness, RIF)

저자들은 진리 조건 의미론에 기초한 통합 기준으로서 **강건한 개별 공정성 (RIF)**을 제안한다.

• 의미론적 동등성 (Semantic Equivalence): 두 입력 $v$와 $v'$은 동일한 진리 조건을 공유할 때 의미론적으로 동등하다고 간주된다. 본 논문은 이를 자연어 추론(NLI) 모델을 사용한 **양방향 함의(bidirectional entailment)**를 통해 구체화한다. 편집(edit)은 $v \models v'$ 이고 $v' \models v$ 일 때만 허용 가능한 것으로 간주된다.
• 기준: 분류기 $f$는 모든 의미론적으로 동등한 대응물 $v'$와 모든 허용 가능한 섭동 $\delta$에 대하여, 예측 오차가 $\epsilon$ 이내로 유지될 때 $\epsilon$-RIF를 만족한다. 이는 모델이 (정답에 고정되어) 정확하면서도 (유사한 개인들 사이에서) 불변(invariant)해야 함을 요구한다.

2. 프레임워크: RIFair

RIF 위반을 노출하기 위해, 저자들은 블랙박스 적대적 프레임워크인 RIFair를 도입한다.

• 분리된 치환 전략 (Decoupled Substitution Strategy): 유사한 쌍에 동일한 치환을 적용하는 결합된 공격과 달리, RIFair는 각 쌍의 구성원에게 서로 다르지만 의미론적으로 동등한 치환을 적용한다 (예: 한 입력에는 "talk" $\to$ "discuss"를, 다른 입력에는 "talk" $\to$ "chat"을 매핑). 이는 이질적인 표층 형태 민감도(heterogeneous surface-form sensitivity)로 인한 실패를 격리한다.
• 2단계 파이프라인:
  1. 유사성 구축: 민감한 속성(예: 성별, 인종)을 마스킹하고 대안으로 교체하여, 비민감한 내용은 동일하게 유지하면서 의미론적으로 매칭된 쌍 $(v, v')$을 생성한다.
  2. 생성-필터링 섭동: 대규모 언어 모델(LLM)이 토큰에 대한 후보 유의어를 생성하고, 이후 NLI 모델을 통해 양방향 함의(의미 보존)를 확인하여 필터링한다.
• 최적화 목적 함수: RIFair는 강건성 손실(정답과의 크로스 엔트로피)과 공정성 불일치(예측 간 거리)를 결의한 결합 목적 함수를 최소화한다. 가중치($\alpha, \beta$)를 조ert함으로써, 이 프레임워크는 RB, UF, 또는 UB와 같은 특정 사분면을 타겟팅한다.
• 쿼리 효율성: 이 방법은 폐쇄형 살리언시(occlusion saliency)를 사용하여 토큰의 순위를 매기고 극단적인 후보(최소/최대 신뢰도)만을 탐색함으로써 모델 쿼리를 최소화하며, 이는 블랙박스 설정에 적합하다.

주요 기여

1. 통합 기준 (RIF): 기존의 단일 축 지표의 불일치를 해결하기 위해, 의미 보존적 섭동 하에서의 강건성과 개별 공정성에 대한 결합된 요구 사항을 공식화하였다.
2. 의미론적 엄밀성: 양방향 함의를 통해 섭동을 공식 의미론에 근거하게 함으로써, 기하학적 근접성(코사인 유사도)에만 의존하는 방식과 달리 생성된 적대적 인스턴스가 원래의 진리 조건을 보존하도록 보장하였다.
3. 블랙박스 프레임워크 (RIFair): 결합된 공격이 놓치는 숨겨진 취약점(RB 및 UF)을 효과적으로 드러내는 분리된 치환 전략을 제안하였다.
4. 실증적 증거: 강건성 전용 및 공정성 전용 지표가 다차원적 적대적 실패를 감지하는 데 자주 실패함을 입증하여, 공동 평가의 필요성을 제시하였다.

실험 결과

다양한 트랜스포머 아키텍처(BERT, RoBERTa, DistilBERT, DeBERTa-v3)를 대상으로 다양한 텍스트 데이터셋(Bias in Bios, Jigsaw, SST-2) 및 언어화된 표 형식 데이터셋(Census Income)에서 실험을 수행하였다.

• 지표의 불일치: 표 3은 평가 축에 따라 모델 순위가 크게 달라짐을 보여준다. 예를 들어, DistilBERT는 강건성($R$)에서 가장 높게 평가되었고, BERT는 공정성($F$)에서 가장 높았으나, DeBERTa-v3가 가장 강력한 공동 저항성($RIF$)을 달성했다.
• 숨겨진 실패 탐지: RIFair는 단일 축 지표가 놓친 실패 모드를 성공적으로 식별하였다.
  • **강건성 ($R$)**은 RB 시나리오(예측은 안정적이지만 편향된 경우)에 둔감했다.
  • **공정성 ($F$)**은 UF 시나리오(예측이 함께 드리프트하여 일관성은 유지하지만 정확도를 잃는 경우)에 둔감했다.
  • RIF는 모든 실패 모드(RB, UF, UB)에 대해 일관되게 민감한 신호를 제공하였다.
• 의미 보존: 어블레이션 연구를 통해 함의 기반 제약 조건이 기하학적(코사인) 제약 조건보다 훨씬 높은 의미론적 동등성 점수($S_{eq} \approx 0.97$)와 인간 정렬 판정 점수를 생성함을 확인하였다. 기하학적 제약은 종와 의미론적 표류($S_{eq} \approx 0.33$)를 초래하는 경우가 많았다.
• 분리 효과: 분리된 치환 전략이 결합된 공격에 비해 RB 위반을 드러내는 데 $2.3\times$, UB 위반을 드러내는 데 $3.0\times$ 더 효과적인 것으로 나타났다.
• 방어: RIFair로 생성된 인스턴스를 사용한 적대적 재학습은 모든 범주에서 실패율을 실질적으로 감소시켰다 (예: UB 실패율을 약 $16\%$ 감소).

의의 및 주장

본 논문은 강건성과 공정성이 독립적인 속성이 아니며, 이들을 분리하여 평가하는 것은 불완전하고 잠재적으로 오해의 소지가 있는 평가를 초래한다고 주장한다.

• 공동 평가의 필요성: 저자들은 신뢰성(reliability)과 형평성(equity)이 모두 필수적인 고위험 애플리케이션(예: 유해 콘텐츠 식별, 감성 분석, 소득 예측)에서 RIF가 신뢰할 수 있는 모델 평가를 위한 필수 기준이라고 주장한다.
• 한계점: 저자들은 NLI 모델을 통한 의미론적 동등성 구현이 편향을 내포하거나 희귀 엔티티 및 긴 문맥 처리에 어려움을 겪을 수 있는 대리 지표(proxy)임을 인정하며, 향-인-더-루프(human-in-the-loop) 감독과 개선된 마스킹 함수를 포함하는 후속 연구를 제안한다.
• 핵 핵심 통찰: 본 논문의 주요 기여는 모델이 단일 축 지표로는 감지할 수 없는 "복합 실패(compound failures)"를 보일 수 있음을 입증한 것이며, 이를 위해 RIF와 RIFair 같은 통합 프레임워크가 필요함을 보여준 데 있다.