Assessing Predictive Models for Fairness Based on Movement Patterns

기술적 요약: 이동 패턴 기반 예측 모델의 공정성 평가

문제 정의
기계 학습에 관한 공간적 공정성 (spatial fairness) 에 대한 기존 문헌은 근본적인 가정 하에 작동합니다. 즉, 각 개인은 단일 고정된 지리적 위치 (예: 거주지) 와 연관되어 있다는 것입니다. 본 논문은 이 가정이 개인이 복잡한 이동 패턴을 보이는 현실 세계 시나리오에는 불충분하다고 주장합니다. 예측 모델은 개인이 어디에 사는지에 기반하여가 아니라, 그들이 방문하는 지역들의 빈도, 지속 시간, 그리고 조합이라는 이동 궤적에 기반하여 개인을 불공정하게 대할 수 있습니다.

저자들은 기존 공간적 공정성 평가가 포착하지 못하는 이동 패턴의 세 가지 차원을 정의합니다:

1. 다중 위치: 개인은 서로 다른 시간에 서로 다른 지역에 머뭅니다.
2. 방문 빈도: 개인이 특정 지역을 방문하는 횟수가 중요합니다.
3. 방문 지속 시간: 한 지역에 머무는 시간의 길이는 관련 있는 요인입니다.

해결된 핵심 문제는 이러한 이동 패턴과 관련하여 예측 모델의 공정성을 평가하는 것입니다. 전통적인 공간적 공정성에서 불공정성의 '핫스팟 (hotspot)'이 단일 연속 지역인 것과 달리, 이동 패턴 기반의 불공정성은 개인이 특정 조합으로 방문하는 비연속적인 지역들의 집합으로 나타날 수 있습니다.

방법론
제안된 접근법은 이동 데이터를 처리하기 위해 공간적 공정성 평가를 5 단계 파이프라인을 통해 일반화합니다:

1. 궤적 분할: 정지 - 이동 (stop-and-move) 기준을 사용하여 궤적을 '정지 (stop)' 및 '이동 (move)' 세그먼트로 분할합니다. 이 접근법은 일시적인 이동이 아닌 의미 있는 체류 (예: 집, 직장, 쇼핑) 를 나타내는 정지 세그먼트에 초점을 맞춥니다.
2. 지리적 구역 중첩: 수정 가능한 면적 단위 문제 (MAUP) 를 완화하기 위해, 이 방법은 관심 지역에 다양한 해상도와 정렬을 가진 여러 지리적 구역 (공간 분할) 을 중첩합니다.
3. 객체 - 셀 매핑: 각 구역에 대해 이동 객체를 셀의 부분 집합에 매핑합니다. 셀 내의 정지 중심점 (stop centroids) 을 식별하고, 해당 셀이 방문된 서로 다른 일 수를 기반으로 순위를 매깁니다. 상위 $i$개의 셀 (예: $i=8$) 을 선택하여 개인의 관련 이동 패턴을 나타내는 '셀셋 (cellset)'을 구성합니다.
4. 평가용 부분 집합 결정: 이 방법은 모든 개인의 셀셋에 최소 한 번 이상 나타나는 셀의 모든 부분 집합을 식별합니다. 이는 셀셋을 거래 (transactions) 로, 셀을 항목 (items) 으로 간주하는 빈번한 항목 집합 마이닝 (Frequent Itemset Mining, FIM) 문제로 공식화됩니다. 이를 통해 불공정성을 테스트할 후보 셀 조합 집합 ($CANDIDATES_{GZ}$) 이 생성됩니다.
5. 가설 검정: 공간 스캔 통계량 (실험에서는 이진 분류기를 위한 베르누이 기반 통계량) 을 후보 부분 집합에 적용합니다. 귀무가설 ($H_0$) 은 모델이 공정하다고 가정합니다 (예측의 전역 분포가 균일함). 대립가설 ($H_1$) 은 특정 셀 조합과 연관된 객체의 부분 집합이 통계적으로 유의미하게 다른 예측 분포를 가진다고 주장합니다. 이 검정은 통계적 유의성을 결정하기 위해 최대우도비 (Maximum Likelihood Ratio, MLR) 와 몬테카를로 시뮬레이션을 사용합니다.

주요 기여

• 문제 공식화: 본 논문은 공간적 공정성의 단일 위치 가정을 넘어, 이동 패턴 기반 예측 모델의 공정성 평가라는 새로운 문제를 도입합니다.
• 방법론적 프레임워크: 궤적 분할, 다중 해상도 공간 구역화, 후보 생성을 위한 빈번한 항목 집합 마이닝, 가설 검정을 위한 공간 스캔 통계를 통합한 포괄적인 접근법을 제안합니다.
• 데이터 생성 프로토콜: 저자들은 검증 가능한 합성 불공정 데이터셋을 생성하기 위한 프로토콜을 도입합니다. 이는 특정 이동 패턴 (여러 지역으로 구성된 핫스팟) 과 연관된 객체의 라벨을 조작하여 불공정성을 주입하는 것으로, 핫스팟 모양, 객체 수, 불공정성 크기 등의 매개변수를 변화시킵니다.
• 탐색적 전략: 실험 결과에 기반하여, 본 논문은 실제 세계 평가에 대한 실용적 전략을 제시합니다: 모든 해상도에서 후보를 통합하여 탐지력을 극대화한 후, 객체 검색 (민감도) 을 위해 거친 해상도를, 정밀한 공간 국소화 (양성 예측도) 를 위해 정밀한 해상도를 사용하여 검색을 정제합니다.

실험 결과
이 접근법은 불공정성이 주입된 수천 개의 합성 데이터셋에서 평가되었습니다. 평가는 세 가지 지표에 초점을 맞추었습니다:

• 통계적 힘 (탐지): 불공정성의 존재를 탐지하는 능력.
• 민감도: 불공정하게 대우받은 객체 집합을 검색하는 능력.
• 양성 예측도 (PPV): 불공정성의 공간적 국소화의 정밀도.

주요 발견 사항은 다음과 같습니다:

• 효과성: 이 접근법은 이동 패턴 기반 불공정성을 효과적으로 탐지하고 영향을 받은 객체를 검색합니다.
• 다중 해상도 트레이드오프: 지표와 그리드 해상도 사이에는 일관된 트레이드오프가 존재합니다. 일반적으로 더 거친 해상도는 더 높은 힘과 민감도 (객체 탐지 및 검색에 더 우수함) 를 제공하지만 더 낮은 PPV (공간적 국소화 열위) 를 보입니다. 더 정밀한 해상도는 더 높은 PPV (더 나은 국소화) 를 제공하지만 더 넓은 패턴을 놓칠 수 있습니다.
• 통합 전략: 모든 그리드 해상도에서 탐지된 극단적 후보들을 통합하는 것은 통계적 힘과 민감도를 극대화하여 탐지를 위한 견고한 초기 단계 역할을 합니다.
• 매개변수 민감도: 탐지 성능은 불공정성 크기가 커지고 핫스팟당 객체 수가 증가함에 따라 향상됩니다. 그러나 핫스팟의 복잡성이 증가하면 (더 많은 지역 또는 더 많은 정지) 정밀한 국소화는 복잡해질 수 있지만, 이 접근법은 탐지 측면에서는 여전히 효과적입니다.

의의 및 주장
저자들은 그들의 작업이 개인의 이동 패턴과 관련하여 예측 모델의 공정성을 평가하는 첫 번째 시도라고 주장합니다. 그들은 기존 공간적 공정성 방법들이 '올바른' 단일 위치가 선택되지 않으면 불공정성을 탐지하지 못할 수 있는 반면, 그들의 접근법은 집계된 이동 행동을 고려한다고 주장합니다.

본 논문은 제안된 접근법이 이러한 새로운 유형의 불공정성을 탐지하고 불공정하게 대우받은 객체 집합을 검색하는 데 효과적이라고 겸손하게 주장합니다. 국소화 성능은 공간 해상도에 따라 트레이드오프를 보이지만, 제안된 탐색적 전략이 실제 세계 평가에서 이러한 트레이드오프를 탐색하는 실용적인 방법을 제공한다고 강조합니다. 저자들은 또한 그들의 접근법이 범용적이며, 개인이 단일 고정 위치에 묶여 있는 경우 표준 공간적 공정성 평가 (Sacharidis et al., 2023) 로 축소될 수 있다고 지적합니다.

한계 및 향후 작업
저자들은 현재 구현이 균일한 정사각형 그리드와 정지 세그먼트 기반 연관성에 의존한다고 인정합니다. 향후 연구 방향으로는 데이터 기반 테셀레이션 (예: DBSCAN) 조사, 더 나은 국소화를 위한 후보 부분 집합 보고 개선, 그리고 객체를 셀에 연관시키기 위한 대안적 기준 탐색 (예: 이동 세그먼트 고려) 등이 포함됩니다. 또한, 이 프로토콜은 다른 예측 모델 (회귀, 다중 클래스) 과 더 다양한 이동 데이터 특성으로 확장될 수 있습니다.