기술적 요약: 수행적 예측에서의 전략적 기만적 모델 배포

문제 제기

머신러닝 (ML) 시스템은 점점 더 배포가 사용자 행동에 영향을 미치고, 이는 다시 미래 의사결정을 위한 데이터 분포를 변경하는 환경에서 운영됩니다. 이러한 현상은 **수행적 예측 (Performative Prediction, PP)**으로 공식화됩니다. 표준 PP 프레임워크에서는 제도가 의사결정을 내리는 모델과 사용자가 관찰하여 행동에 적응하는 모델이 동일하다는 가정이 암묵적으로 전제됩니다.

그러나 실제 배포 환경에서는 이러한 가정이 종종 성립하지 않습니다. 제도는 사용자의 행동을 형성하기 위해 단순화되거나 선별된 모델 ($\theta_D$) 을 공개하는 반면, 실제 의사결정은 내부적으로 구별되고 불투명한 모델 ($\theta_M$) 에 의존할 수 있습니다. 이러한 **분리 (decoupling)**는 전략적 불일치를 초래합니다: 사용자는 $\theta_D$에 적응하지만, 결과는 $\theta_M$에 의해 결정됩니다. 기존 PP 문헌은 이러한 정보 비대칭성을 고려하지 않아, 제도가 수행적 피드백을 전략적 왜곡을 통해 악용하여 자신에게 더 나은 결과를 얻고 종종 사용자 복지를 희생시키는 방식을 간과할 수 있습니다.

방법론: 분리된 수행적 예측 (Decoupled Performative Prediction, DPP)

저자들은 배포된 의사결정 모델과 공개된 모델 간의 불일치를 명시적으로 모델링하는 분리된 수행적 예측 (DPP) 프레임워크를 제시합니다.

핵심 형식화

• 분리된 수행적 위험 (DPR): 이 프레임워크는 위험 함수 $DPR(\theta_D, \theta_M) = \mathbb{E}_{z \sim D(\theta_D)}[\ell(z; \theta_M)]$을 정의합니다. 여기서 데이터 분포 $D$는 공개된 모델 $\theta_D$에 의해 유도되지만, 손실 $\ell$은 실제 의사결정 모델 $\theta_M$을 사용하여 평가됩니다.
• 최적화 공간: 단일 매개변수 $\theta$를 최적화하는 표준 PP와 달리, DPP는 결합 공간 $(\theta_D, \theta_M)$을 최적화합니다.
• 분리된 최적점: 저자들은 $DPR$을 최소화하는 쌍을 **분리된 최적점**$(\theta^_D, \theta^M)$으로 정의합니다. 그들은 수행적 최적점이 안정점이 아닌 경우 (즉,$\theta{OP} \neq \theta^{BR}M(\theta{OP})$), 이 최적점이 고전적 PP에서 발견되는 표준 수행적 최적점 ($\theta_{OP}$) 보다 엄격히 낮은 위험을 달성할 수 있음을 증명합니다.

알고리즘적 접근

분리된 최적점을 찾기 위해, 본 논문은 **분리된 수행적 경사 하강법 (Decoupled Performative Gradient Descent, DPerfGD)**을 제안합니다.

• 가정: 이 방법은 손실 함수가 $(\theta_M, \theta_D)$에서 결합적으로 볼록하다고 가정하며, 분포 매핑이 $\theta_D$에 대해 아핀 (affine) 인 변환을 갖는 **푸시포워드 모델 (push-forward model)**을 따릅니다.
• 기울기 계산: 알고리즘은 두 매개변수에 대한 기울기를 계산합니다:
  • $\nabla_{\theta_M}$은 유도된 분포에 대한 표준 기대값을 통해 계산됩니다.
  • $\nabla_{\theta_D}$는 분포 매핑을 통해 미분할 수 있도록 **재매개변수화 트릭 (reparametrization trick)**을 활용합니다 (푸시포워드 모델 가정). 이를 통해 제도는 공개된 모델이 데이터를 어떻게 형성하는지 최적화할 수 있습니다.
• 수렴: 명시된 볼록성과 아핀성 가정 하에, 저자들은 DPerfGD 가 전역 분리된 최적점으로 수렴함을 증명합니다.

기만 비용

이러한 기만 전략의 지속 가능성을 분석하기 위해, 본 논문은 $\theta_D$와 $\theta_M$ 사이의 불일치를 정량화하는 **기만 비용 (deception cost)**을 도입합니다.

• 매개변수 기반 비용: $\|\theta_D - \theta_M\|_2$에 비례합니다.
• 지각된 비용: 모델 출력의 기대 차이 $\mathbb{E}[|f_{\theta_D}(z) - f_{\theta_M}(z)|]$에 비례합니다.
• 제약 최적화: 저자들은 평판 또는 규제 리스크를 내부화하는 제도를 모델링하기 위해 제약 최적화 문제 (기만 비용 상한에 따른 DPR 최소화) 를 풀거나 정규화 항을 추가하는 방식을 다룹니다. 그들은 이러한 자체 부과 제약이 있더라도 제도가 여전히 상당한 위험 감소를 달성하면서 높은 기만 비용을 유지할 수 있음을 보여줍니다. 이는 자발적 제약이 사용자를 보호하기에 불충분함을 시사합니다.

주요 결과

1. 분리의 우위성: 이론적 분석 (정리 4.5) 과 실험 결과에 따르면, 표준 최적점이 안정적이지 않다면 분리된 최적점은 제도적 위험 (또는 가격 책정 시나리오에서의 수익) 측면에서 표준 수행적 최적점을 엄격히 능가합니다.
2. 수렴 보장: 표준 볼록성과 푸시포워드 가정 하에 DPerfGD 알고리즘이 분리된 최적점으로 증명 가능하게 수렴함이 입증되었습니다.
3. 자기 규제의 비효율성: 합성 가격 데이터와 "Give Me Some Credit"데이터셋에 대한 실험은 기만 비용 패널티를 포함하여 제도가 최적화할 때, 높은 성능을 유지하기 위해 작은 패널티 가중치를 선택하는 경향이 있음을 보여줍니다. 결과적으로 생성된 기만 비용은 여전히 높게 유지되어 사용자는 상당한 피해에 노출됩니다.
4. 정량화 가능한 격차: 본 논문은 수행적 최적점과 분리된 최적점 사이의 위험 격차에 대한 상한을 설정하여, 이 격차가 공개된 모델과 배포된 모델 간의 불일치 크기에 직접적으로 관련됨을 보여줍니다.

중요성과 주장

본 논문은 모델 공개가 단순한 윤리적 또는 투명성 문제가 아니라 수행적 시스템의 학습 역학과 복지 결과를 근본적으로 변화시키는 핵심 기술적 설계 결정이라고 주장합니다.

• 새로운 취약점: 이 연구는 **수행적 힘 (performative power)**의 이전에 모델링되지 않은 메커니즘을 식별합니다: 제도는 정보 비대칭성을 악용하여 기만적 공개를 통해 사용자 행동을 유도하면서도 실제 의사결정 기준에 대한 통제권을 유지할 수 있습니다.
• 규제적 함의: 연구 결과는 현재의 자기 규제 접근법이나 사용자의 "선택"에 의존하는 방식이 불충분함을 시사합니다. 본 논문은 기만적 광고나 소비자 보호에 대한 규제와 동등하게 모델 공개를 거버넌스의 핵심 대상으로 취급하는 규제 감독과 책임 메커니즘을 요구합니다.
• 기술적 재구성: 의사결정과 공개의 분리를 형식화함으로써, 본 논문은 수행적 예측 연구를 전략적 왜곡을 포함하도록 재구성하며, 모델 매개변수의 "진실성"보다 사용자의 "지각"이 사용자 행동에 더 관련이 있음을 강조합니다.

저자들은 외부 제약 없이는 제도가 전략적 기만적 배포에 참여할 강력한 증명 가능한 동기를 가지므로, 알고리즘 의사결정 시스템 내 개인을 보호하기 위한 새로운 기술적 및 법적 안전장치가 필요하다고 결론 내립니다.