기술 요약: SOMtime – 자기조직화지도(Self-Organizing Maps)를 통한 공정성 위반

문제 정의

본 논문은 비지도 학습에서 "무지함을 통한 공정성(fairness through unawareness)"이라는 광범위한 가정에 이의를 제기한다. 이 가정은 훈련 과정에서 민감한 속성(예: 연령, 소득, 인종)을 입력 특성에서 제외하면, 결과물인 비지도 표현(임베딩)이 중립적이며 차별적 편향으로부터 자유로울 것이라고 상정한다. 저자들은 이것이 거짓임을 입증한다. 그들은 비지도 표현이 단순히 복구 가능한 노이즈로서가 아니라, 구조화된 민감 속성 누출(structured sensitive-attribute leakage), 즉 임베딩 공간 내에서 하나의 해석 가능한 기하학적 축(단조적 순서)을 따라 조직된 정보로서 민감한 정보를 인코딩할 수 있음을 보여준다.

이러한 누출은 어떠한 지도 학습 작업(supervised task)이 정의되기 전부터 발생하기 때문에 특히 치명적이다. 결과적으로, 이러한 임베딩에 의존하는 모든 다운스트림 애플리케이션(클러스터링, 추천 시스템, 시각화 등)은 기본적으로 공정성 위험을 물려받게 된다. 본 논문은 표준적인 감사 방법들이—특히 프로빙 분류기(probing classifiers)나 상호 정보량(mutual information) 추정에 의존하는 경우—이러한 특정 유형의 전역적 기하학적 조직을 탐지하는 데 실패할 수 있다고 주장한다. 이는 민감한 신호가 몇 개의 강력한 대리 변수(proxies)에 집중되지 않고 다수의 약한 특성들에 분산되어 있을 때 더욱 두드러진다.

방법론: SOMtime

저자들은 고용량 자기조직화지도(SOM)에 기반한 위상 보존 감사 도구인 SOMtime을 제안한다. 시각화를 위한 일반적인 SOM 사용과 달리, SOMtime은 구조화된 누출을 드러내기 위해 특별히 설계되었다.

핵심 메커니즘

1. 위상 보존 이산화(Topology-Preserving Discretization): 입력 데이터를 SOM을 사용하여 프로토타입 벡터들의 2D 이산 격자(discrete lattice)로 매핑한다. 높은 해상도를 보장하기 위해 맵 크기는 휴리스틱하게($K = 5 \cdot N^{0.54}$) 조정된다.
2. 3D 임베딩 구축: 연속적인 분석을 가능하게 하기 위해, 이산적인 SOM 그리드를 3D 임베딩으로 변환한다. 각 관측치는 다음을 할당받는다:
   • $(x, y)$ 좌표: 격자 상에서의 최적 일치 단위(Best Matching Unit, BMU) 위치.
   • $z$ 좌표: 양자화 오차($\|x_i - w_{j^*}\|$), 이를 "활성화 에너지(activation energy)"라 부른다.
3. 축 복구(Axis Recovery): SOM 유닛 중심점들의 기하학적 구조를 분석하여 민감한 속성이 단조롭게 변화하는 궤적을 식별한다. 이는 격자를 따라 경로를 구축하는 탐욕적 최근접 이웃(greedy nearest-neighbor) 절차를 통해 수행된다.
4. 감사 지표: 누출의 강도는 은닉된 민감 속성과 복구된 단조 경로(특히 활성화 $z$축) 사이의 스피어만 상관계수($\rho$)로 정량화된다.

이론적 토대

본 논문은 구조적 누출과 공정성 위반 사이의 이론적 가교를 구축한다.

• 정의: 구조적 누출은 민감한 속성 $s$가 상관관계 $r$을 가진 임베딩 공간 내의 단일 선형 방향 $\hat{v}$를 따라 인코딩될 때 발생한다.
• 격차 경계(Disparity Bound): 저자들은 만약 상관관계 $r$ 수준의 구조적 누출이 존재한다면, 임베딩에 작용하는 모든 립시츠 연속 함수(Lipschitz function)에 대해 최악의 경우 집단 간 격차(group-disparate output)에 대한 정량적 하한선이 유도됨을 증명한다. 구체적으로, 집단 평균의 분리는 정확히 $|r|\sigma_\zeta / \sqrt{p(1-p)}$이며, 여기서 $p$는 집단 유병률(prevalence)이다.
• 메커니즘 대조: 본 논문은 SOM을 PCA와 대조한다. PCA는 저분산 방향의 신호를 억제하는데, 만약 민감한 속성이 개별 상관관계가 낮은 다수의 특성에 분산되어 있다면 PCA는 이 신호를 절단해 버린다. 반면, SOM은 분산과 관계없이 립시츠 연속적인 신호를 보존하여, 분산된 약한 신호들을 하나의 일관된 기하학적 구조로 통합할 수 있다.

실험 설정

저자들은 실제 데이터셋 두 가지에 대해 SOMtime을 다섯 가지 베이스라인(PCA, UMAP, t-SNE, Autoencoder, Isomap)과 비교 평가하였다. 이때 학습 과정 중에는 민감한 속성을 엄격히 배제하였다.

1. 세계 가치 조사(WVS): 윤리/도덕 질문을 포함한 5개국(캐나다, 루마니아, 독일, 중국, 미국)의 데이터이며, 연령을 은닉된 속성으로 설정하였다.
2. Census-Income (KDD): 인구 통계 및 경제 데이터이며, **연령, 소득, 자본 이득(capital gains)**을 은닉하였다.

전처리: 강력한 대리 변수를 제거하여 현실적인 위협 모델을 시뮬레이션하기 위해, 저자들은 민감한 속성과 상관관계가 높은 특성들을 필터링하였다. 이로 인해 단일 특성이 강력한 지표가 되지 않는 환경이 조성되었으며, 방법론들이 분산된 약한 신호들을 통합하는 데 의존하도록 강제하였다.

주요 결과

1. 민감 구조의 우수한 복구 능력

SOMtime은 민감한 속성의 단조적 순서를 복구하는 데 있어 모든 베이스라인을 크게 앞질렀다.

• WVS (연령): SOMtime은 국가 전반에 걸쳐 0.52에서 0.85 사이의 스피어만 상관계수를 달성했다. 가장 강력했던 베이스라인(PCA)은 최대 0.44에 그쳤다.
• Census (연령/소득/이득): SOMtime은 연령(0.83), 소득(0.69), 자본 이득(0.43)에 대해 각각의 상관계수를 달성했다. 베이스라인들은 0.22~0.40 수준에 머물렀다.
• 회전 불변성(Rotation Invariance): 회전 불변 메트릭(임베딩 내 최적의 선형 방향을 찾는 방식) 하에서 베이스라인들을 평가했을 때도 SOMtime의 우위는 지속되었다. 개선 폭은 1.7배에서 5.4배에 달했다.

2. 메커니즘 검증

• 용량(Capacity) vs. 위상(Topology): 대규모 오토인코더(1.4M 파라미터)는 거의 완벽한 재구성(MSE $\approx$ 0.001)을 달성했음에도 불구하고, 민감한 구조를 복구하는 데는 실패했다(최대 스피어만 $\approx$ 0.34). 이는 누출이 모델 용량 때문이 아니라, 경쟁 학습 역학(competitive learning dynamics)과 고정된 격자 위상 때문임을 확인시켜 준다.
• 위상 보존의 특이성: 또 다른 위상 보존 방법인 Isomap은 PCA 및 UMAP과 유사한 성능(최대 스피어만 $\approx$ 0.43)을 보였으며, 여러 사례에서 구조 복구에 실패했다. 이는 SOM의 이점이 일반적인 위상 보존 능력이 아니라 SOM 특유의 성질임을 나타낸다.
• 신호 강도: 성능 격차는 개별 특성의 신호가 가장 약할 때(예: 자본 이득) 가장 컸으며, 이는 SOM이 분산된 약한 신호를 독특하게 통합한다는 가설을 뒷받침한다.

3. 궤적 복구

궤적 복구 절차는 3D 임베딩으로부터 민감 집단(예: 연령대)의 순서를 매우 높은 정확도로 재구성하였다(예: WVS 캐나다 100%, Census 연령 0.82). 이는 무작위 확률을 훨씬 상회하는 결과이다.

의의 및 주장

본 논문은 다음과 같은 기여를 주장한다:

1. 중립성 반박: 비지도 표현은 중립적이지 않다. 민감한 속성이 훈련에서 명시적으로 제외되더라도, 그 속성은 지배적인 기하학적 축으로서 인코딩될 수 있다.
2. 구조적 누출: 저자들은 단순한 "프로빙 복구 가능(probe-recoverable)" 누출과는 구별되는, 해석 가능한 축을 따라 조직된 형태인 구조적 민감 속성 누출을 정의하고 입증하였다.
3. 감사의 필요성: 공정성을 위한 감사는 지도 학습 예측자와 프로빙 분류기를 넘어 비지도 표현까지 확장되어야 한다. 구조적 누출은 "이름 붙여진 축(named axis)"을 생성하므로, 다운스트림 작업(클러스터링, 시각화 등)이 실행되기 전에 감사가 가능하다.
4. 이론적 연결: 본 연구는 임베딩 내의 단조적 순서와 다운스트림 공정성 위반 사이의 연결 고리를 공식화하며, 이러한 순서의 존재가 모든 립시츠 연속 다운스트림 작업에 대해 집단 간 격차의 하한선을 보장함을 증명한다.

저자들은 SOMtime을 공정성 완화 도구가 아니라, 민감한 데이터의 "보이지 않는" 기하학적 조직을 명시적으로 드러내는 진단적 렌즈로 정의한다. 이를 통해 비지도 기초에 의존하는 현대 ML 파이프라인의 거버넌스와 감사를 가능하게 한다.