💻 computer science

Triangle-Motif Proxy Entanglement in Markov Boundary-Based Fair Feature Selection: A Structural and Empirical Study

이 논문은 삼각형 모티프 구조에서 마르코프 경계 기반 특성 선택의 최소성 및 충분성 보장이 보호 속성과 얽힌 고효용 대리 변수를 유지함으로써 공정성 목표와 충돌할 수 있음을 입증하며, 정확도-공정성 간의 상충 관계를 피하기 위해 특성 제외 전 대리 변수 인지적 감사가 필요함을 보여준다.

원저자: Roopa Maliakal, S. Asharaf

게시일 2026-09-30

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Roopa Maliakal, S. Asharaf

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

은행 대출 승인 여부부터 채용 결정에 이르기까지, 현대의 고도의 의사결정 세계에서 컴퓨터 시스템이 결정을 내리는 역할은 점점 더 커지고 있습니다. 이러한 알고อัล고리즘은 정확하도록 설계되었지만, 인종이나 성별과 같은 보호된 특성을 근거로 차별하지 않도록 공정해야 한다는 요구도 커지고 있습니다. 이를 달성하기 위해 데이터 과학자들은 종-종 컴퓨터가 데이터를 접하기 전에 민감한 정보를 제거하려고 시도합니다. 가장 유용한 정보를 찾는 데 널리 쓰이는 방법 중 하나는 '마르코프 경계(Markov boundary)'라는 개념을 활용하는 것입니다. 이것을 과학자들이 결과값을 예측하는 데 필요한 가장 작고 필수적인 단서 그룹을 식별하는 방법이라고 생각해보십시오. 만약 당신이 적절한 단서들을 가지고 있다면, 추가적인 중복 데이터 없이도 결과를 완벽하게 예측할 수 있습니다. 이 논리는 만약 당신이 완벽하고 최소한의 단서 집합을 찾아낸 뒤, 그 안에서 민감한 정보만을 제거한다면, 정확하면서도 공정한 모델이 남을 것이라고 제안합니다.

하지만 케랄라 디지털 과학 기술 대학교의 루파 말리아칼(Roopa Maliakal)과 S. 아샤라프(S. Asharaf) 연구진의 새로운 연구는 이러한 단순한 접근 방식에 의문을 제기합니다. 연구진은 예측에 필요한 단서들이 시스템이 무시해야 할 바로 그 정보와 깊게 얽혀 있는 구체적이고 흔한 상황을 조사했습니다. 연구진은 많은 실세계 시나리오에서, 예측에 가장 유용한 변수들이 단순히 보호된 특성과 느슨하게 연관되어 있는 것이 아니라, 결과를 예측하는 패턴 자체에 구조적으로 고착되어 있다는 사실을 발견했습니다. 연구진이 공정성을 확보하기 위해 이러한 '대리(proxy)' 단서들을 시스템에서 잘라내려 할 때, 이는 종종 모델의 예측 능력을 손상시키는 결과를 초래합니다. 이 연구는 단순히 어떤 변수가 보호된 집단과 연결되어 있다고 해서 그것을 제거하는 것이 중립적인 행위가 아니며, 이는 시스템의 정밀도를 희생시키는 트레이드오프(trade-off)가 될 수 있고, 그 비용은 무작위의 관련 없는 변수를 제거했을 때보다 훨씬 높을 수 있음을 시사합니다.

연구진은 변수들 사이의 관계를 일컫는 '삼각형 모티프(triangle motif)'라는 특정 형태의 관계에 주목했습니다. 세 개의 지점을 상상해 보십시오: 성별과 같은 보호된 속성, 소득과 같은 타겟 결과, 그리고 직업이나 노동 시간과 같은 세 번째 변수인 대리 변수입니다. 이 삼각형에서 직업은 소득을 예측하는 데 필수적인 단서가 됩니다. 동시에, 직업은 역사적 채용 패턴 등으로 인해 성별과도 직접적으로 연결되어 있습니다. 직업이 소득을 예측하는 데 매우 유용하며 성별 정보의 단순한 복제본이 아니기 때문에, 컴퓨터는 최적의 단서 집합을 찾는 과정에서 자연스럽게 이 직업 변수를 유지하게 됩니다. 연구진은 만약 성별 편향을 막기 위해 이 직업 변수를 강제로 제거한다면, 이는 단순히 민감한 연결 고리를 제거하는 것이 아니라, 시스템이 본연의 임무를 수행하는 데 진정으로 필요한 퍼즐 조각을 제거하는 것이 된다는 점을 입증했습니다.

이 아이디어를 테스트하기 위해 연구팀은 추상적인 이론에만 의존하지 않았습니다. 그들은 데이터가 어떻게 생성되는지 정확히 알 수 있도록 통제된 시뮬레이션을 구축하여, 의도적으로 이러한 삼각형 관계를 만들어냈습니다. 이 시뮬레이션에서 연구진은 대리 변수를 제거했을 때 컴퓨터가 사용할 수 있는 유용한 정보량이 크게 감소한다는 것을 발견했습니다. 즉, 시스템은 이전만큼 결과를 예측하는 능력을 상실했습니다. 이는 정확도의 저하가 단순한 무작위 오류가 아니라, 예측적이면서 동시에 보호된 속성과 얽혀 있는 변수를 잘라낸 데 따른 직접적인 결과임을 확인시켜 주었습니다. 이후 연구는 실제 데이터로 옮겨가, 소득에 관한 두 가지 유명한 대규모 데이터셋인 UCI Adult 데이터셋과 American Community Survey를 사용했습니다. 연구진은 데이터 과학자가 통상적으로 작업하는 방식을 모방하여, 최적의 단서 집합을 찾는 두 가지 서로 다른 표준 방법을 사용했습니다.

실제 세계에서의 결과는 시뮬레이션과 일치했습니다. 알고리즘은 인적 관계 상태, 직업, 노동 시간과 같은 변수들을 가장 신뢰할 수 있는 소득 예측 변수로 판단하여 지속적으로 유지했습니다. 그러나 이 변수들은 성별이나 인종과 같은 보호된 속성과도 높은 상관관계를 보였습니다. 연구진이 모델을 공정하게 만들기 위해 이 변수들을 수동으로 제거하자, 예측 정확도가 떨어졌습니다. 이 정확도의 하락은 작거나 우연한 것이 아니었습니다. 이는 단순한 선형 모델부터 더 복잡한 트리 기반 시스템에 이르기까지 다양한 유형의 컴퓨터 모델에서 측정 가능하고 일관되게 나타났습니다. 한 데이터셋에서는 대리 변수를 제거했을 때의 정확도 하락이 무작위로 선정된 관련 없는 변수들을 제거했을 때보다 훨씬 컸습니다. 이는 정확도의 손실이 단순히 단서의 수가 줄어들어서 발생하는 것이 아니라, 대리 정보의 상실에서 기인한 특정한 결과임을 증명했습니다.

연구는 또한 이러한 변수들을 제거하는 것이 실제로 시스템을 더 공정하게 만드는지에 대해서도 살펴보았습니다. 답은 복잡했습니다. 어떤 경우에는 집단 간의 격차가 줄어들기도 했지만, 어떤 경우에는 거의 변화가 없었습니다. 공정성의 개선 여부는 어떤 공정성 척도를 사용하는지, 그리고 어떤 컴퓨터 모델이 실행되는지에 따라 크게 달라졌습니다. 이러한 불일치는 데이터가 이토록 복잡하게 얽혀 있을 때, 모델을 완벽하게 정확하면서도 완벽하게 공정하게 만드는 단일한 스위치는 존재하지 않는다는 어려운 현실을 강조합니다. 연구진은 '대리 얽힘 페널티(Proxy Entanglement Penalty)'라는 새로운 도구를 도입하여 경고 신호 역할을 하게 했습니다. 이는 데이터 과학자들이 어떤 변수가 결과 및 보호된 속성과 너무 깊게 연결되어 있어, 이를 제거할 경우 모델의 성능에 타격을 줄 가능성이 높은지를 식별하는 데 도움을 줍니다.

저자들은 이러한 발견이 공정한 머신러닝이 불가능하다는 것을 의미하는 것은 아니라고 신중하게 밝히고 있습니다. 대신, 그들은 최적의 단서를 먼저 찾은 다음 나쁜 것을 잘라내려는 일반적인 관행이 이러한 특정 상황에서는 결함이 있다고 주장합니다. 만약 정확성을 위한 단서가 곧 편향을 담고 있는 단서라면, 단순한 절단은 효과가 없을 것입니다. 연구는 데이터 과학자들이 더 주의를 기울여야 한다고 제안합니다. 변수를 삭제하기 전에, 그것이 단지 불행하게도 민감한 특성과 연결되어 있을 뿐인 필수적인 퍼즐 조각인지 먼저 확인해야 합니다. 만약 그렇다면, 단순히 변수를 삭제하는 것은 공정성을 보장하지 못한 채 모델의 정확도만 해칠 가능성이 높습니다. 연구진은 변수를 제거하는 결정을 단순한 기술적 단계로 간주하는 것이 아니라, 정확도의 손실과 공정성의 잠재적 이득을 저울질하는 문서화된 거버넌스(governance)의 선택으로 다루는 더 사려 깊은 접근 방식을 권고합니다.

궁극적으로 이 연구는 우리가 공정한 알고리즘을 구축하는 방식에 내재된 구조적 긴장 관계를 드러냅니다. 이는 많은 실세계 경제 환경에서 예측을 좋게 만드는 정보가 곧 예측을 불공정하게 만드는 정보와 동일한 경우가 많다는 것을 보여줍니다. 연구는 이를 단순히 데이터를 가지치기함으로써 해결하려는 시도가 종종 실패하는 투박한 도구라는 증거를 제시합니다. 이는 우리가 문제를 바라보는 방식의 변화를 촉구합니다. 즉, 편향을 단순히 삭제하고 정확성을 유지할 수 있다는 생각에서 벗어나, 모델이 데이터를 학습하거나 표현하는 방식 자체를 바꾸어야 할 수도 있는 방법론으로 나아가야 한다는 것입니다. 이 연구는 인간의 데이터가 얽힌 복잡한 그물망 속에서, 유용한 것과 불공정한 것 사이의 경계선이 종종 같은 곳에 그려져 있으며, 한쪽을 이해하지 못한 채 다른 쪽을 잘라내는 것은 전체 시스템을 망가뜨릴 수 있다는 점을 상기시켜 줍니다.

기술 요약: 마르코프 경계 기반 공정 피처 선택에서의 삼각형 모티프 프록시 얽힘

문제 정의
마르코프 경계(Markov Boundary, MB) 발견은 인과적 피처 선택에서 표준적인 기법으로, 타겟 변수를 다른 모든 변수로부터 조건부 독립으로 만드는 최소한의 예측 집합을 식는 데 가치가 있습니다. 공정성을 고려한 머신러닝(fairness-aware machine learning)에서 흔-히 사용되는 파이프라인 전략은, 먼저 예측적 충분성(predictive sufficiency)과 최소성(minimality)을 보장하기 위해 MB를 발견한 다음, 보호 속성( $S$ )과 그 프록시( $P$ )를 제거하여 공정성 제약 조건을 충족시키기 위해 사후적 가지치기(post-hoc pruning)를 적용하는 방식입니다.

본 논문은 이러한 "MB 우선, 가지치기 후순위" 접근 방식에 내재된 구조적 갈등을 조사합니다. 구체적으로, 본 연구는 보호 속성 $S$ 와 프록시 변수 $P$ 가 모두 타겟 $Y$ 의 직접적인 부모이며 서로 통계적으로 의존적인 관계인 삼각형 모티프(triangle motif), 즉 인과적 토폴로지를 분석합니다. 핵심 문제는 표준적인 인과 가정(Causal Markov, Faithfulness, Causal Sufficiency) 하에서 MB 발견 과정이 비중복적(non-redundant)인 예측 정보를 제공한다는 이유로 $P$ 를 유지하게 된다는 점입니다. 그러나 공정성을 확보하기 위해 $P$ 를 사후적으로 제거하는 것은 MB의 최소성 및 충분성 보장을 위반하며, 잠재적으로 상당한 예측 유틸리티 손실을 초েক합니다.

방법론
본 연구는 이론적 정형화와 합성 및 실제 데이터셋에 대한 경험적 감사를 결합합니다.

이론적 프레임워크:
- 저자들은 **MB-유지 프록시(MB-retained causal proxy)**를 $Y$ 의 마르코프 경계에 포함되어 있고, $S$ 와 통계적으로 의존적이며, 경계 내에서 고유한 예측 정보(비중복적)를 기여하는 변수 $P$ 로 정의합니다.
- **명제 1(Proposition 1)**은 삼각형 모티프(구성: $S \to Y, S \to P, P \to Y$ 또는 $S \to Y, P \to S, P \to Y$ )를 규정하며, 이러한 구조에서 $P$ 가 MB에 구조적으로 유지되고 $S$ 에 의존적으로 남게 됨을 증명합니다.
- **명제 2(Proposition 2)**는 **최소성-충분성 절충(Minimality–Sufficiency Compromise)**을 정형화합니다. 즉, MB-유지되는 비중복 프록시를 제거하면 전체 MB 집합 $M$ 에 대한 상호 정보량 $I(Y; M)$ 이 감소함을 보여줍니다.
프록시 얽힘 페널티 (Proxy Entanglement Penalty, PEP):
- 이 문제를 경험적으로 진단하기 위해, 본 논문은 조건부 상호 정보량 $I(Y; P | S)$ 로 정의되는 **프록시 얽힘 페널티(PEP)**를 도입합니다.
- PEP는 보호 속성에 의해 설명되지 않는 타겟 관련 정보를 운반하는 프록시를 식별하기 위한 진단 지표 역할을 합니다. 높은 PEP 값은 그러한 프록시를 제거하는 것이 예측 측면에서 비용이 클 가능성이 높음을 나타냅니다.
경험적 평가:
- 데이터셋: 사회경제적 예측 작업을 위해 UCI Adult 및 ACSIncome (Folktables) 데이터셋을 활용합니다.
- 발견 알고리즘: 두 가지 인과 발견 패러다임을 테스트했습니다: 제약 기반 방법(PC-Stable)과 점수 기반 방법(BDeu 스코어를 사용한 Hill Climbing, HC-BDeu).
- 안정성 분석: 프록시 관련 변수가 추정된 MB에 얼마나 빈번하게 유지되는지 측정하기 위해, 유의 수준( $\alpha$ )을 변화시키는 PC-Stable과 최대 인입 차수( $d$ )를 변화시키는 HC-BDeu를 사용하여 50회의 부트스트랩 샘플에 대한 안정성 스윕(stability sweep)을 수행했습니다.
- 공정성-유틸리티 감사: 로지스틱 회귀, 랜덤 포레스트, 그래디언트 부스팅을 사용하여 다운스트림 영향력을 평가했습니다. 성능은 정확도(accuracy)로 측정되었고, 공정성은 인구통계적 패리티 차이(DPD), 인구통계적 패리티 비율(DPR), 등가 오차 차이(EOD), 등가 오차 비율(EOR)을 통해 평가되었습니다.
- 절제 실험(Ablation): 프록시 제거의 비용을 일반적인 피처 수 감소의 비용과 구분하기 위해 무작위 비-프록시 제거 베이스라인을 사용했습니다.

주요 기여

삼각형 모티프 프록시 유지: 본 논문은 삼각형 모티프에서 프록시의 타겟에 대한 구조적 인접성이 보호 속성과 통계적으로 얽혀 있음에도 불구하고 MB에 유지되도록 보장한다는 점을 공식적으로 확인했습니다.
최소성-충분성 절충: 본 연구는 이러한 토폴로지에서 MB의 최소성(예측 충분성)과 공정성 기반의 프록시 억제 목표가 구조적으로 충돌함을 입증합니다. 얽힌 프록시를 제거하는 것은 MB 참조 집합에 비해 필연적으로 예측 정보를 감소시킵니다.
프록시 얽힘 페널티 (PEP): 안정적인 MB에 존재하면서 제거 비용이 높은 프록시를 우선순위화하기 위한 정보 이론적 진단 도구로서 PEP를 도입했습니다.
경험적 검증: 고유틸리티 프록시 변수(예: 관계, 직업, 교육)가 MB 발견 알고리즘에 의해 반복적이고 안정적으로 유지됨을 입증했습니다. 이러한 변수들을 사후적으로 가지치기하는 것은 일관되된 정확도 감소를 초래하며, 공정성 개선은 불일치하고 메트릭에 따라 달라집니다.

결과

안정성: UCI Adult 데이터셋에서 relationship 변수는 높은 선택 안정성(PC-Stable에서 0.913, HC-BDeu에서 1.000)을 보였습니다. ACSIncome에서는 OCCP, SCHL, WKHP, RELP와 같은 변수들이 보호 속성인 SEX가 MB에 선택되지 않았음에도 불구하고 완벽에 가까운 안정성을 보였습니다.
예측 비용: 이러한 안정적인 프록시를 제거하면 상당한 정확도 저하가 발생했습니다. ACSIncome의 경우, 프록시 제거는 MB 참조 대비 약 12.99%에서 13.41% 사이의 정확도 감소를 일으켰습니다. 특히, 프록시 제거에 의한 정확도 감소와 무작위 비-프록시 제거에 의한 감소 사이의 격차는 약 11.05 ~ 13.26 퍼센트 포인트였으며, 이는 예측 비용이 단순히 피처 수를 줄이는 것이 아니라 타겟 관련 프록시 정보를 제거하는 것과 구체적으로 연관되어 있음을 나타냅니다.
공정성 트레이드오프: 프록시 필터링이 종종 DPD 및 EOD와 같은 불평등 지표를 줄였으나(불평등 감소 측면), 이러한 개선은 모든 분류기나 메트릭에 대해 균일하지 않았습니다. 연구 결과, 공정성 이득은 예측 유틸리티의 희생을 대가로 얻어졌으며, 그 크기는 모델 계열과 메트릭에 따라 달랐습니다.
합성 데이터 검증: 제어된 실험을 통해 삼각형 모티프에서 프록시 $P$ 를 제외하는 것이 총 상호 정보량의 감소로 이어진다는 것을 확인하여, 최소성-충분성 절충의 이론적 비용을 검증했습니다.

의의 및 주장
본 논문은 자신의 발견이 삼각형 토폴로지에 특화된 것이며 표준적인 인과 가정을 바탕으로 한다는 점을 명시합니다. 이는 공정한 피처 선택이 불가능하다거나 모든 MB 기반 파이프라인이 실패한다고 주장하는 것이 아닙니다. 대신, 그 의의는 "MB 우선, 가지치기 후순위" 파이프라인 템플릿의 이론적 한계를 드러내는 데 있습니다.

저자들은 구조적으로 얽힌 환경에서 MB 발견을 공정성 중립적인 시작점으로 취급해서는 안 된다고 주장합니다. MB는 예측적 충분성에 필수적인 프록시를 유지하기 때문에, 이를 사후적으로 가지치기하는 것은 정확도와 공정성 사이의 트레이드오프를 필연적으로 발생시킵니다. 따라서 본 논문은 단순한 피처 제외를 넘어선 **프록시 인지 감사(proxy-aware auditing)**를 권고합니다. 실무자들은 PEP 및 안정성 분석과 같은 진단 도구를 사용하여 비용이 높은 프록시를 식별해야 합니다. 이러한 프록시가 식별될 경우, 공정성 개입은 단순한 피처 제외를 넘어, MB 유도 피처 세트의 사후적 가지치기에 의존하기보다 제약된 모델링이나 표현 학습(representation learning)과 같이 의존 구조를 직접 수정하는 방법으로 나아가야 한다고 제안합니다.

유사한 논문