Fairness in Link Prediction Beyond Demographic Parity: A Reproducibility Study

당신이 거대한 디지털 함선의 선장이 되어 인터넷이라는 광활한 대양을 항해하며 추천의 함대를 이끌고 있다고 상상해 보십시오. 당신이 새로운 친구, 구직자, 혹은 서비스를 제안할 때마다, 당신은 본질적으로 두 사람 사이에 링크를 배치하는 것입니다. 머신러닝의 세계에서 이것을 **링크 예측(link prediction)**이라고 부릅니다. 하지만 여기에는 함정이 있습니다. 단순히 링크를 예측할 수 있다고 해서 모든 사람을 똑같이 대우해야 한다는 뜻은 아닙니다. 만약 당신의 배의 나침반이 약간 어긋나 있다면, 당신은 계속해서 특정 집단의 사람들만을 서로 연결해 주는 반면, 다른 이들은 어둠 속에 고립된 채 남겨둘 수도 있습니다. 이것이 바로 **공정성(fairness)**의 문제입니다.

오랫동안 과학자들은 자신의 배가 공정한지 확인하기 위해 **인구통계학적 패리티(Demographic Parity)**라는 단순한 규칙을 사용해 왔습니다. 이것은 마치 갑판 위에 그룹 A와 그룹 B의 승객이 각각 몇 명 있는지 세는 것과 같습니다. 숫자가 대략 비슷하다면, 선장은 모든 사람이 공정하게 대우받고 있다고 가정합니다. 하지만 이 논문은 그 규칙이 마치 사람들이 어디에 앉아 있는지는 보지 않은 채 승객 수만 세는 것과 같다고 주장합니다. 만약 그룹 A는 모두 배 앞쪽의 VIP 라운지에 모여 있고(모든 관심을 받는 중), 그룹 B는 배 뒤쪽의 화물칸에 처박혀 있다면(무시당하는 중), 전체 숫자는 여전히 균형 잡힌 것처럼 보일지 몰라도 그 경험은 매우 불공정할 것입니다. 이것이 바로 단순히 '존재하는 것'과 노출(exposure)—즉, 보여지고 선택될 기회—의 차이입니다.

이 연구의 연구진인 암스테르담 대학교 학생들은 이 "노출 편향(exposure bias)"에 대한 새로운 이론을 테스트하기로 했습니다. 그들은 기존의 규칙(Demographic Parity)이 실제 문제를 가리고 있지는 않은지, 그리고 더 민감한 새로운 자로 이를 바로잡을 수 있는지 확인하고 싶었습니다. 그들은 기존의 아이디어를 당연하게 받아들이지 않았습니다. 대신 실험을 밑바닥부터 다시 구축했고, 그 과정에서 발견한 고장 난 도구들을 고쳤으며, 심지어 새로운 나침반이 잘 작동하는지 확인하기 위해 자신들만의 폭풍우 치는 바다를 만들어냈습니다. 그들이 발견한 바에 따르면, 진정으로 공정해지기 위해서는 단순히 누가 링크를 받느냐가 아니라, 그 링크가 추천 목록의 어디에 나타나는지를 보아야 합니다.

논문의 이야기

**"Demographic Parity를 넘어선 링크 예측에서의 공정성: 재현성 연구(Fairness in Link Prediction Beyond Demographic Parity: A Reproducibility Study)"**라는 제목의 이 논문은 기본적으로 알고리즘의 공정성에 관한 탐정 이야기입니다. 저자인 Valentijn Oldenburg, Floris de Kam, Stef de Wildt, Jarno Balk은 다른 연구팀(Mattos et al., 2025)이 제기한 주장을 검증하고자 했습니다. 원래의 팀은 표준적인 공정성 측정 방식이 링크의 **순위(ranking)**를 무시하기 때문에 결함이 있다고 주장했습니다.

이 문제를 이해하기 위해 음악 재생 목록을 상상해 보십시오. 만약 재생 목록이 공정하려면, 단순히 아티스트 A와 아티스트 B의 노래를 똑같은 수만큼 재생해서는 안 됩니다. 그 노래들이 언제 나오느냐가 중요합니다. 만약 아티스트 A의 노래는 항상 상단(사람들이 실제로 듣는 곳)에 있고, 아티스트 B의 노래는 하단(사람들이 스크롤도 하지 않는 곳)에 묻혀 있다면, 전체 노래 수가 같더라도 그 재생 목록은 편향된 것입니다. 링크 예측의 세계에서 이 "목록의 상단"이 바로 노출이 일어나는 곳입니다. 기존의 규칙인 인구통계학적 패리티는 전체 곡 수를 세며 "헤이, A 곡이 50곡, B 곡이 50곡이니까 우리는 공정해!"라고 말하는 것과 같았습니다. 새로운 규칙인 NDKL은 재생 목록의 순서를 살펴보고 "잠깐, 왜 A의 곡들이 처음 10곡 안에 다 들어 있지?"라고 묻습니다.

이 논문의 저자들은 세 가지 주요 작업을 수행했습니다:

1. 실험을 재구축했습니다: 그들은 2025년 연구의 코드와 방법론을 가져와 결과를 재현하려고 시도했습니다. 그 결과 원본 코드에 버그와 불일치가 있음을 발견했습니다. 이를 수정한 후, 그들은 원래 팀의 주요 발견을 확인했습니다. 즉, 기존의 규칙(Demographic Parity)은 불공정함을 숨기며, 새로운 규칙(NDKL)은 이를 잡아낸다는 사실입니다.
2. "해결책"을 테스트했습니다: 원래의 연구는 문제를 해결하기 위해 MORAL이라는 방법을 제안했습니다. MORAL은 노래를 고른 뒤에 재생 목록을 재배치하는 똑똑한 DJ와 같습니다. 이는 초기 제안들을 가져와서, 추천의 질을 망치지 않으면서도 다양한 그룹이 상단 자리를 공정하게 차지할 수 있도록 섞어줍니다. 저자들은 MORAL이 유용한 추천 기능을 유지하면서도 불공정한 노출 편향을 성공적으로 줄였다는 것을 발견했습니다.
3. 시스템을 스트레스 테스트했습니다: 이것이 단지 우연이 아님을 확인하기 위해, 그들은 자신만의 "스트레스 테스트"를 만들었습니다. 그들은 동종 선호성(homophily)(자신과 닮은 사람과 연결되려는 경향)의 수준이 다른 가상의 사회적 네트워크를 구축했습니다. 그들은 네트워크가 까다롭거나 그룹의 규모가 작을 때도 MORAL이 여전히 공정함을 유지한다는 것을 발견했습니다. 또한, 단순히 두 그룹을 넘어 더 많은 그룹(세 번째나 네 번째 카테고리 추가)이 있을 때 어떤 일이 벌어지는지도 테스트했는데, 시스템은 잘 버텨냈지만 그룹이 작아질수록 균형을 잡기가 조금 더 어려워졌습니다.

그들이 발견한 것

이 연구는 **인구통계학적 패리티가 순위가 매겨진 목록에 있어서는 형편없는 대리 지표(proxy)**임을 확인해 줍니다. 이 규칙에 의존하는 것은 경주에서 누가 금메달을 땄는지는 무시한 채, 얼마나 많은 사람이 결승선을 통과했는지만으로 경주를 판단하는 것과 같습니다. 새로운 지표인 NDKL은 한 그룹이 체계적으로 목록 하단으로 밀려날 때 이를 포착하는 데 훨씬 뛰어납니다.

사후 처리 "재순위화(re-ranker)" 역할을 하는 MORAL 방법은 매우 효과적인 것으로 나타났습니다. 여섯 가지의 서로 다른 실제 데이터셋(사회적 네트워크 및 신용 데이터 포함)을 통한 실험에서, MORAL은 노출 편향을 일관되게 감소시켰습니다. 예를 들어, "Facebook" 데이터셋에서 이 새로운 방법은 예측 정확도를 높게 유지하면서도 공정성 점수를 거의 0에 가깝게(즉, 편향이 거의 없도록) 낮추었습니다.

저자들은 또한 이 시스템이 견고하다는 것을 발견했습니다. 한 그룹이 매우 작거나 사람들이 오직 자기와 비슷한 사람들하고만 연결되려는 경향(높은 동종 선호성)이 있는 네트워크를 시뮬레이션했을 때도, MORAL은 여전히 노출을 공정하게 분배했습니다. 그러나 그들은 트레이드오프(trade-off)를 언급했습니다: 다양한 그룹의 수가 증가할수록 모두를 완벽하게 균형 잡는 것이 약간 더 어려워졌고, 더 많은 컴퓨팅 자원이 필요했습니다. 하지만 그럼에도 불구하고 상위 추천 결과는 여전히 정확했습니다.

핵심 요약

이 논문은 AI 공정성의 모든 문제를 해결했다고 주장하는 것이 아니라, 우리가 공정성을 측정하는 방식을 바꿔야 한다고 강력하게 제안합니다. 만약 우리가 누가 주목받고 누가 무시되는지에 관심이 있다면, 단순히 머릿수를 세는 것이 아니라 좌석 배치도를 보아야 합니다. 이 연구는 목록의 순서를 존중하는 지표(NDKL과 같은)를 사용하고, 목록을 공정하게 재배치하는 방법(MORAL과 같은)을 사용함으로써, 우리가 정확할 뿐만 아니라 아무리 작거나 숨겨진 그룹이라 할지라도 모두에게 진정으로 공정한 시스템을 구축할 수 있음을 보여줍니다. 저자들은 다른 이들이 자신들의 작업을 검증하고 발전시킬 수 있도록 수정된 코드를 공개하여, 공정한 AI로 가는 길이 모두에게 열려 있도록 했습니다.