Demographic Fairness in Multimodal LLMs: A Benchmark of Gender and Ethnicity Bias in Face Verification

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 최근 멀티모달 대규모 언어 모델 (MLLM) 은 텍스트와 이미지를 동시에 처리하는 능력을 바탕으로 얼굴 인식 (Face Verification) 작업에도 적용되고 있습니다. 기존 전용 얼굴 인식 시스템이 얼굴 임베딩 (embedding) 을 계산하여 거리를 측정하는 방식과 달리, MLLM 은 시각적 프롬프트 (visual prompting) 와 추론 능력을 활용하여 두 얼굴이 동일한 사람인지 판단합니다.
• 문제: MLLM 의 얼굴 인식 성능에 대한 연구는 진행되고 있으나, 인종 (Ethnicity) 과 성별 (Gender) 에 따른 편향 (Bias) 및 공정성 (Fairness) 에 대한 체계적인 평가는 거의 이루어지지 않았습니다. 기존 임베딩 기반 시스템에서는 특정 인종 (예: 어두운 피부색) 이 더 높은 오류율을 보이는 경향이 있었으나, MLLM 의 경우 이러한 편향 패턴이 어떻게 나타나는지, 그리고 정확도와 공정성 간의 균형은 어떠한지 명확하지 않습니다.

2. 연구 방법론 (Methodology)

이 논문은 MLLM 기반 얼굴 인식의 공정성을 평가하기 위한 벤치마크 연구를 수행했습니다.

• 평가 모델: 6 가지 모델 계열에서 선별된 9 개의 오픈소스 MLLM (2B~8B 파라미터 규모) 을 평가했습니다.
  • 일반 목적 모델: Idefics3, LLaVA-NeXT, Ovis, Qwen-VL 시리즈, Valley2 등.
  • 얼굴 특화 모델: FaceLLM-8B (얼굴 분석을 위해 파인튜닝된 유일한 모델).
  • 모든 평가는 Zero-shot 설정 (추가 파인튜닝이나 인-컨텍스트 예제 없이) 으로 수행되었습니다.
• 데이터셋 및 프로토콜:
  • IJB-C: 3,531 명의 주제를 대상으로 한 대규모 벤치마크. 4 개 인종 (아프리카, 동아시아, 남아시아, 백인) 과 2 개 성별 그룹으로 세분화.
  • RFW (Racial Faces in-the-Wild): 인종 편향을 연구하기 위해 설계된 균형 잡힌 데이터셋 (4 개 인종 그룹, 각 3,000 쌍의 진실/가짜 쌍).
• 평가 방식:
  • 프롬프트: 두 얼굴 이미지를 입력받아 "이 두 얼굴이 같은 사람일 확률 (0~100 점)"을 숫자로 출력하도록 요청.
  • 점수 집계: 템플릿 내 여러 이미지 쌍에 대한 MLLM 의 유사도 점수를 평균화하여 최종 템플릿 점수 산출.
  • 정확도 지표: 등오류율 (EER), 고정 FMR(거짓 일치율) 기준의 TMR(진실 일치율).
  • 공정성 지표: 그룹별 FMR 분포를 기반으로 한 4 가지 메트릭:
    1. 최대 FMR 차이 ($\Delta_F$): 그룹 간 절대적 오차 범위.
    2. 최대 FMR 비율 ($R_F$): 최악의 그룹과 최선의 그룹 간 비율.
    3. 기하평균 대비 최대 비율 ($M_F$): 전체 그룹 평균 대비 편차.
    4. 지니 계수 ($G_F$): 전체 그룹 간 불평등도.

3. 주요 기여 (Key Contributions)

1. 최초의 MLLM 얼굴 인식 공정성 벤치마크: MLLM 을 얼굴 인식에 적용할 때 발생하는 인구통계학적 편향을 체계적으로 분석한 최초의 연구입니다.
2. 다양한 모델 및 메트릭 비교: 9 개의 다양한 MLLM 을 두 개의 주요 벤치마크 (IJB-C, RFW) 에서 4 개 인종과 2 개 성별에 대해 평가하고, 정확도와 공정성을 동시에 측정하는 포괄적인 메트릭 세트를 제시했습니다.
3. 전통적 시스템과의 편향 패턴 차이 규명: 기존 임베딩 기반 시스템과 MLLM 의 편향 패턴이 근본적으로 다를 수 있음을 발견하고 이를 데이터로 증명했습니다.

4. 주요 결과 (Results)

• 정확도 (Accuracy):

  • FaceLLM-8B가 모든 모델 중 가장 높은 정확도를 보였습니다 (IJB-C 기준 EER 5.13%, RFW 기준 29.46%). 이는 얼굴 특화 지식을 가진 유일한 모델이기 때문입니다.
  • 일반 목적 MLLM 들은 FaceLLM-8B 보다 정확도가 현저히 낮았으며, 일부 모델 (Ovis1.5, Qwen2-VL-2B) 은 무작위 추측 수준 (EER 약 50%) 에 머무르기도 했습니다.
  • 템플릿 크기 영향: IJB-C 는 템플릿당 평균 20.3 개의 이미지를 포함하는 반면, RFW 는 3.6 개에 불과했습니다. MLLM 은 여러 이미지 쌍을 평균화하는 방식이므로, 이미지가 많은 IJB-C 에서 더 좋은 성능을 보였습니다.

• 편향 및 공정성 (Bias & Fairness):

  • 인종 편향의 역전: 기존 얼굴 인식 시스템에서는 어두운 피부색 그룹이 불리했으나, IJB-C 에서 8 개 모델 중 5 개는 백인 (Caucasian) 그룹이 가장 높은 오류율 (불이익) 을 보였습니다. 이는 MLLM 의 편향 패턴이 전통적 시스템과 다를 수 있음을 시사합니다.
  • RFW 의 편향: RFW 데이터셋에서는 아프리카계 그룹이 모든 모델에서 가장 큰 불이익을 받았습니다.
  • 성별 편향: 인종 편향에 비해 성별 편향은 모든 모델과 운영 포인트에서 훨씬 작았습니다. 특히 FaceLLM-8B 는 성별 불평등 지수 ($G_F$) 가 0.004 로 매우 낮았습니다.
  • 정확도 - 공정성 트레이드오프:
    • 가장 정확한 모델이 반드시 가장 공정한 것은 아닙니다. FaceLLM-8B 는 정확도가 가장 높았지만, IJB-C 인종 공정성 순위에서는 3 위였습니다.
    • 가장 공정한 모델이 가장 정확하지는 않습니다. 성능이 낮은 모델 (예: Ovis1.5) 은 모든 그룹에서 유사하게 높은 오류율을 내어 (무작위 추측 수준) 공정성 지표상으로는 '공정'해 보일 수 있습니다. 즉, 낮은 성능이 오히려 편향이 없는 것처럼 착각을 일으킬 수 있습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용적 한계: 현재 일반 목적 MLLM 은 실제 얼굴 인식 시스템에 적용하기에는 정확도와 속도가 부족합니다. 얼굴 특화 모델 (FaceLLM) 이 필수적입니다.
• 편향 패턴의 복잡성: MLLM 의 편향은 단순히 "어두운 피부색이 불리하다"는 기존 통념과 다르게, 모델 아키텍처와 데이터셋에 따라 특정 그룹 (백인 등) 이 불리하게 작용할 수 있음을 보여주었습니다.
• 공정성 평가의 중요성: 단순히 정확도만 높인다고 해서 공정한 시스템이 되는 것은 아니며, 오히려 성능이 낮은 모델이 공정성 지표상으로는 우월해 보일 수 있으므로, 정확도와 공정성을 동시에 고려한 평가가 필수적입니다.
• 향후 과제: 더 큰 규모의 모델 (>13B), 교차적 속성 (인종×성별) 분석, 프롬프트 민감도 연구 등이 필요하다고 제안했습니다.

이 논문은 MLLM 기반 얼굴 인식 기술이 실제 사회에 도입되기 전에 반드시 해결해야 할 윤리적, 기술적 과제를 명확히 제시했다는 점에서 중요한 의의를 가집니다.