Do Counterfactually Fair Image Classifiers Satisfy Group Fairness? -- A Theoretical and Empirical Study

당신이 회사의 매니저를 채용하고 있다고 상상해 보세요. 당신은 당신의 채용 알고리즘이 공정하기를 원합니다. 하지만 "공정하다"는 것은 실제로 무엇을 의미할까요?

이 논문은 두 가지 서로 다른 공정성의 정의를 탐구하고, 특히 사람의 사진을 다룰 때 이 두 정의가 항상 잘 어울리지는 않는다는 사실을 발견했습니다. 여기 그 연구 결과의 이야기를 쉽게 설명해 드립니다.

두 가지 공정성의 정의

공정성을 게임의 두 가지 서로 다른 규칙이라고 생각해 보세요.

1. 집단 공정성 (The "Team Score" Rule - "팀 점수" 규칙): 이 규칙은 서로 다른 두 집단(예: 남성과 여성)을 살펴볼 때, 알고리즘이 평균적으로 그들을 동등하게 대우해야 한다고 말합니다. 만약 남성의 90%가 채용된다면, 여성의 90%도 채용되어야 합니다. 이것은 거시적인 통계에 관한 것입니다.

2. 반사실적 공정성 (The "What If" Rule - "만약에" 규칙): 이것은 더 철학적인 규칙입니다. "만약 이 특정 사람의 성별만 바꾸고(다른 모든 것은 똑같이 유지한 채) 그대로라면, 알고리즘이 여전히 같은 결정을 내릴 것인가?"라고 묻습니다. 만약 대답이 "예"라면, 그 알고리즘은 반사실적으로 공정한 것입니다. 이것은 개인에 대한 일관성에 관한 것입니다.

문제점: "마법의 거울"은 존재하지 않는다

"만약에" 규칙(반사실적 공정성)을 테스트하려면 특별한 종류의 사진이 필요합니다. 한 사람의 사진이 필요하며, 그다음에는 그 사람의 정체성은 완벽하게 유지하면서 성별만 바뀐(예: 수염이 있는 남성이 수염이 없는 남성으로 변함, 코와 눈, 배경은 동일함) 똑같은 사람의 두 번째 사진이 필요합니다.

현실 세계에서는 사진을 찍고 사람의 성별을 마법처럼 바꾸면서 정체성을 완벽하게 유지하는 것이 불가능합니다. 이전 연구들은 컴퓨터로 생성된 이미지를 사용하려고 시도했지만, 그것들은 종종 가짜처럼 보이거나 배경과 같은 다른 요소들을 의도치 않게 변화시키곤 했습니다.

논문의 첫 번째 행보: 저자들은 고성능 AI 이미지 편집기(InstructPix2Pix라고 불리는)를 사용하여 "마법의 거울"을 구축했습니다. 그들은 유명인의 실제 사진을 가져와서 성별을 바꾸는 편집(예: 여성을 남성으로 변경)을 수행하면서, 그 외의 모든 것은 동일하게 유지하려고 노력했습니다. 그런 다음 인간 전문가들이 이 사진들을 검토하여 변화가 정확한지, 그리고 다른 것이 망가지지는 않았는지 확인했습니다. 그들은 이 목적을 위해 두 개의 새로운 고품퀄 데이터셋을 만들었습니다.

큰 발견: "머리카장 길이"의 함정

저자들은 이 새로운 사진 데이터셋을 사용하여 공정성 규칙을 테스트했습니다. 그들은 스프레드시트(표 형식 데이터)에서 수행된 기존 연구와 상충되는 놀라운 사실을 발견했습니다.

사진의 경우, "반사실적으로 공정하다"고 해서 반드시 "집단적으로 공정하다"는 것을 보장하지는 않습니다.

왜 그럴까요? 저자들은 머리카락 길이를 이용한 영리한 비유로 이를 설명합니다.

알고리즘이 어떤 사람이 "헤어 스타일리스트" 직업(타겟)에 지원하고 있는지 추측하려고 한다고 가정해 봅시다.

• 민감한 속성 (Sensitive Attribute): 성별 (남성/여성).
• 함정 (Attribute G): 머리카락 길이.

현실 세계에서 머리카락 길이는 성별과 높은 상관관계가 있지만(많은 남성은 짧은 머리를 가지고, 많은 여성은 긴 머리를 가짐), 머리카락 길이가 성별을 결정하는 원인은 아닙니다. 그것은 단지 부수적인 효과일 뿐입니다.

여기 함정이 있습니다:

1. 알고리즘은 "반사실적으로 공정"하도록 학습됩니다. 즉, "성별" 라벨을 성공적으로 무시합니다.
2. 그러나 알고리즘이 "성별"을 무시하는 데 너무 능숙해진 나머지, 결정을 내리기 위해 머리카락 길이에 크게 의존하기 시작합니다.
3. 이제, 긴 머리를 가진 남성이 있다면, 알고리즘은 그의 머리카락 때문에 그를 여성처럼 취급합니다. 짧은 머리를 가진 여성이 있다면, 알고리즘은 그를 남성처럼 취급합니다.
4. 알고리즘이 "만약에"의 관점에서는 "공정"할지라도(성별 라벨을 무시하므로), 여전히 성별과 연결되어 있는 머리카락을 바탕으로 사람들을 다르게 대우하기 때문에 "집단"의 관점에서는 커다란 불공정함을 만들어냅니다.

저자들은 이 숨겨진 변수를 G(제3의 속성)라고 부릅니다. 이것은 알고리즘이 취하는 "지름길"과 같습니다.

해결책: 알고리즘에게 지름길을 무시하도록 가르치기

저자들은 **반사실적 지식 증류 (Counterfactual Knowledge Distillation, CKD)**라고 불리는 간단한 해결책을 제안합니다.

이것은 마치 교사와 학생의 관계와 같습니다:

• 학생: 공정성을 배우려고 노력하는 새로운 AI 모델.
• 선생님: 공정성 규칙 없이 학습된 ("바닐라") 모델.

놀랍게도, "선생님" 모델은 공정성을 구현하려는 "학생" 모델보다 "머리카락 길이"의 함정을 더 잘 무시합니다. "학생" 모델은 성별 라벨을 무시하는 데 너무 집중한 나머지 과잉 교정되어 머리카락 길이에 집착하게 됩니다.

CKD 방식은 다음과 같이 작동합니다:

1. 선생님은 사진과 그 "만약에" 버전의 사진을 보고 예측을 내립니다.
2. 학생은 선생님의 사고 과정을 복제하려고 노력합니다.
3. 선생님을 복제함으로써, 학생은 머리카락 길이의 함정을 무시하면서도 동시에 "만약에" 규칙을 준수하는 법을 배웁니다.

결과

저자들이 이 "선생님-학생" 방법을 사용했을 때:

• 모델들은 반사실적으로 공정해졌으며 (그들은 "만 if" 시나리오를 올바르게 처리했습니다),
• 동시에 집단적으로도 공정해졌습니다 (그들은 남성과 여성을 전반적으로 동등하게 대우했습니다).

요약

이 논문은 이미지 인식에서 개인에게 공정하려고 노력하는 것(반사실적 공정성)이, 만약 AI가 머리카락 길이와 같은 숨겨진 단서에 의존하게 된다면 의도치 않게 전체 집단을 불공정하게 만들 수 있음을 보여줍니다. "선생님" 모델을 사용하여 AI를 이러한 숨겨진 단서로부터 멀어지도록 유도함으로써, 그들은 두 가지 측면 모두에서 공정성을 달 achieve 할 수 있었습니다.

중요 참고 사항: 이 논문은 엄격하게 이미지 분류(사진 속의 얼굴이나 속성을 인식하는 것 등)에 초점을 맞추고 있으며, 이 결과가 의료 진단, 현실 세계의 채용 결정 또는 설명된 이론적 및 실험적 범위를 벗어난 특정 응용 분야에 적용된다고 주장하지 않습니다.