기술 요약: 테스트 시간 집단 행동 (TTCA)

문제 제기

기계 학습 시스템은 종종 사용자 하위 집단 간에 성능 격차를 보여, 특정 집단이 다른 집단보다 체계적으로 낮은 정확도를 경험하는 "서비스 품질 (QoS)" 피해를 초래합니다. 공급자 중심의 공정성 개입 (전처리, 중처리, 후처리) 이 존재하지만, 이러한 개입들은 플랫폼이 모델을 재학습할 의지와 능력을 갖는 것에 의존합니다. 수정이 불가능하거나 지연되거나 플랫폼이 행동을 거부하는 상황에서는 피해 사용자가 이러한 격차를 시정할 외부적 수단을 갖추지 못합니다.

기존의 "알고리즘적 집단 행동 (ACA)" 프레임워크는 사용자가 데이터를 기여함으로써 알고리즘을 유도할 수 있게 하지만, 이러한 메커니즘은 일반적으로 플랫폼이 집단의 수정된 데이터로 재학습해야 한다는 조건을 요구하며, 이는 사용자가 거의 통제할 수 없는 사항입니다. furthermore, 데이터 중독 스타일의 개입은 공급자가 견고한 모델 업데이트를 기다리거나 공격 전 데이터로 학습할 경우 우회될 수 있습니다. 따라서 플랫폼의 협력이나 학습 루프 접근 없이 고정된 블랙박스 모델에서 테스트 시간에 작동하는 사용자 측 개입이 필요합니다.

방법론: 테스트 시간 집단 행동 (TTCA)

저자들은 블랙박스 API 에 대한 쿼리 접근을 풀링하여 알고리즘적 피해를 교정할 수 있는 조정된 사용자 그룹을 위한 프레임워크인 TTCA 를 제안합니다. 이 메커니즘은 두 단계로 작동합니다:

1 단계: 집단 프록시 추출 및 교란 최적화

1. 쿼리 풀링: 각자 쿼리 예산 $B$를 가진 $n$명의 사용자 집단이 공개된 레이블 없는 이미지 풀 $D_{pub}$에서 플랫폼 모델 $f_{plat}$에 쿼리를 보내기 위해 자원을 풀링합니다. 이를 통해 입력 - 출력 쌍 $(x, f_{plat}(x))$으로 구성된 데이터셋 $D_{proxy}$가 생성됩니다.
2. 프록시 학습: 집단은 KnockoffNets 방법을 사용하여 $D_{proxy}$에서 대리 모델 (프록시) $f_{proxy}$를 학습합니다. 전이성을 향상시키기 위해 독립적인 무작위 시드로 $K=5$개의 프록시 앙상블을 학습합니다.
3. 교란 최적화: 서비스 부족 하위 집단 $G$의 각 클래스 $y$에 대해, 집단은 클래스별 보편적 교란 $\delta_y$를 최적화합니다. 목표는 $\ell_\infty$ 예산 ($\|\delta_y\|_\infty \le \epsilon$) 을 조건으로 하여 클래스 $y$에 속하는 입력에 대한 프록시 앙상블의 교차 엔트로피 손실을 최소화하는 것입니다. 최적화는 실제 클래스를 대상으로 하여 잘못 분류된 입력을 올바른 결정 경계로 "밀어내는" 효과를 냅니다. 총변동 정규화자와 가우시안 블러를 적용하여 교란을 저주파 성분을 향해 편향시켜 블랙박스 전이성을 향상시킵니다.

2 단계: 테스트 시간 적용

추론 시, 서비스 부족 하위 집단의 구성원들은 제출하기 전에 입력 $x$에 사전 계산된 교란 $\delta_y$를 적용합니다. 사용자의 입력이 클래스 $y \in G$에 속하는 경우, $x' = \text{clip}(x + \delta_y, 0, 1)$을 제출하고, 그렇지 않은 경우 변경되지 않은 $x$를 제출합니다. 이 과정은 프록시 구축에 사용된 초기 쿼리 예산을 제외하고 플랫폼과의 추가 상호작용이 필요하지 않습니다.

주요 기여

1. 테스트 시간 교정 메커니즘: TTCA 는 플랫폼을 재학습하지 않고도 고정된 블랙박스 모델에서 사용자가 격차를 교정할 수 있는 프레임워크를 도입합니다. 이는 회피 공격 논리 (보편적 적대적 교란) 를 악의적인 목적이 아닌 교정 목적으로 재창조한 것입니다.
2. 프록시 기반 효율성: 집단 프록시를 추출하고 재사용 가능한 보편적 교란을 최적화함으로써, 이 방법은 전체 하위 집단에 걸쳐 개입 비용을 분산합니다.
3. 아키텍처 간 전이: 이 메커니즘은 작은 프록시 모델 (예: ResNet-18) 이 더 크고 알려지지 않은 플랫폼 아키텍처 (예: ResNet-50, RegNet-Y) 로 전이되는 교란을 효과적으로 생성할 수 있음을 보여줍니다.
4. 비용 효율성 분석: 이 논문은 풀링된 쿼리가 소규모 집단이라도 개별 이미지별 공격보다 훨씬 저렴함을 보여주는 엄격한 분석을 제공합니다.

실험 결과

저자들은 균형 잡힌 의도적으로 불균형한 플랫폼 학습 체계 하에서 CIFAR-10, CIFAR-100, FairFace (인구통계학적 공정성용) 에서 TTCA 를 평가했습니다.

• 하위 집단 정확도: TTCA 는 매우 낮은 쿼리 예산에서 서비스 부족 하위 집단 (하위 10% 집단으로 정의됨) 의 정확도를 크게 향상시킵니다. 예를 들어, CIFAR-100 에서 단 5~6 명의 사용자가 쿼리를 풀링한 집단은 개별 공격자와 동등하거나 더 높은 하위 집단 정확도를 달성하면서도 전체 쿼리 수는 수배 적게 사용합니다.
• 쿼리 예산 효율성:
  • 개별 기준: SimBA(이미지별 블랙박스 공격) 를 사용하여 단독으로 공격하는 개별 사용자는 동등한 하위 집단 정확도에 도달하기 위해 최대 308 배 더 많은 전체 플랫폼 쿼리가 필요합니다.
  • 손익분기점: 5~10 명에 불과한 집단만으로도 풀링이 개별 개입보다 비용 효율적이기에 충분합니다.
  • 한계점 트레이드오프: 개별 공격은 이미지별 최적화를 통해 더 높은 최대 정확도 (예: CIFAR-100 에서 97.9%) 를 달성할 수 있지만, 이는 막대한 총합 비용 (1,000 명 사용자에게 약 230 만 건의 쿼리) 을 수반합니다. 집단 접근법은 더 낮은 정확도 한계 (83%) 에서 포화되지만, 고정된 재사용 가능한 비용 (23,000 건의 쿼리) 으로 이를 달성하므로 대규모 그룹에게는 훨씬 효율적입니다.
• 공정성 지표: 이 개입은 다른 집단의 성능을 저하시키지 않으면서 Worst-Group Accuracy(WGA), Equal-Opportunity Gap(EOD), Disparate Impact(DI) 를 포함한 표준 그룹 공정성 지표를 향상시킵니다.
• 프록시 충실도: 고충실도 프록시는 엄격하게 필요하지 않습니다. 프록시가 "충분히 충실한" 수준 (예: 60~90% 충실도) 에 도달하면 추가 쿼리는 하위 집단 정확도에서 체감하는 수익을 가져옵니다.

중요성과 주장

이 논문은 플랫폼 측 수정이 불가능할 때 QoS 피해를 겪는 사용자를 위한 교정적 개입으로서 TTCA 를 위치시킵니다. 그 중요성은 다음과 같습니다:

• 주체성: 모델 내부나 학습 데이터에 접근할 필요 없이 알고리즘 시스템에 대한 주체성을 되찾을 수 있는 외부적 수단을 사용자에게 제공합니다.
• 확장성: 자원 풀링을 통해 조정된 소규모 사용자 행동이 체계적 격차를 효과적으로 완화할 수 있음을 보여줍니다.
• 상호보완성: 기존 ACA 프레임워크에 대한 보완적 접근으로 작용하며, 특히 모델이 이미 배포되어 불변인 "테스트 시간" 간극을 해결합니다.

저자들은 이 접근법이 근본적인 작업이 광범위하게 유용하지만 불균형하게 수행될 때 가장 효과적이라고 지적합니다. 또한 한계를 인정합니다: 작업 자체가 해롭다면 (예: 대표성 피해를 초래하는 자동화된 성별 인식), TTCA 의 교정적 프레임은 불충분할 수 있으며 사용자는 최적화 대신 거부나 항의에 의존해야 할 수 있습니다. 또한 이 방법은 정적 블랙박스 모델을 가정합니다. 플랫폼 측 방어 (예: 무작위 평활화) 는 이러한 교란의 효과를 완화할 수 있지만, 이러한 방어는 전체 플랫폼 정확도도 저하시킬 수 있습니다.