BAFIS: Dataset + Framework to assess occupational Bias and Human Preference in modern Text-to-image Models
이 논문은 5개의 주요 텍스트-이미지 모델에서 나타나는 체계적인 직업적 편향을 평가하고 드러내기 위해 21,140개의 다국어 이미지와 인간 선호 피드백으로 구성된 데이터셋 및 프레임워크인 BAFIS를 소개하며, 이는 더 공정한 AI 시스템을 개발하기 위해 기존의 지표와 더불어 인간의 판단을 통합해야 할 결정적인 필요성을 입증한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
당신에게 마법의 그림 그리는 기계가 있다고 상상해 보세요. "의사"와 같은 설명을 입력하면 즉시 그림을 그려냅니다. 오랫동안 사람들은 이 기계들이 카메라처럼 중립적인 도구라고 생각했습니다. 하지만 이 논문은 이 기계들이 단순히 현실을 보여주는 것이 아니라, 인터넷에서 배운 내용을 바탕으로 왜곡된 버전을 보여주는 편향된 거울에 더 가깝다고 주장합니다.
이 논문의 저자인 Thomas, Adrian, Biying은 가장 인기 있는 다섯 가지 "그림 그리는 기계"(Midjourney, Stable Diffusion, DALL-E 3, Playground, FLUX)가 직업과 사람을 어떻게 다루는지 테스트하고자 했습니다. 그들은 BAFIS(Battle-Arena for Fair Image Synthesis, 공정한 이미지 합성을 위한 전투 아레나)라는 특별한 테스트 공간을 만들었습니다.
다음은 쉬운 비유를 사용한 연구 결과의 요약입니다:
1. 아레나: BAFIS
BAFIS를 블라인드 테스트 경연 대회라고 생각하세요.
- 설정: 컴퓨터가 그림을 채점하게 하는 대신, 두 대의 서로 다른 기계를 "전투"에 참여시켰습니다.
- 대회 방식: 사용자는 프롬프트(예: "간호사")와 두 대의 서로 다른 기계가 생성한 익명의 이미지 두 장을 보게 됩니다.
- 투표: 사용자는 세 가지 항목에 대해 투표합니다:
- 편향성(Bias): 그림이 다양한 사람들을 현실적으로 섞어 보여주는가, 아니면 한 가지 유형만을 보여주는가?
- 품질(Quality): 그림이 아름답고 선명한가?
- 정렬(Alignment): 그림이 당신이 입력한 단어와 실제로 일치하는가?
- 점수: 어떤 기계가 가장 많은 표를 얻었는지 보기 위해 체스 레이팅과 같은 순위 시스템을 사용했습니다.
2. 데이터셋: 직업의 거대한 도서관
테스트가 공정하도록 그들은 단순히 "의사"라고만 요청하지 않았습니다. 그들은 1,057개의 서로 다른 직업 설명을 바탕으로 한 21,140장의 사진이라는 거대한 도서관을 만들었습니다.
- 그들은 영어와 독일어 두 가지 언어를 사용했습니다.
- 그들은 다양한 방식으로 질문을 던졌습니다:
- 직접적 표현: "남성 회계사의 사진."
- 간접적 표현: "재무를 관리하는 사람의 사진."
- 그룹: "회계사 그룹의 사진."
- 그들은 기계가 실제 직업을 가진 사람들에 대해 거짓말을 하고 있는지 확인하기 위해, 실제 레시피를 실제 재료 목록과 대조하듯 독일 정부의 실제 통계와 비교했습니다.
3. 발견된 사실: 기계가 틀린 것들
성별 문제 ( "건설 vs 간호"의 분리)
기계들은 성별에 대한 강한 고정관념을 가지고 있습니다.
- 건설 및 엔지니어링: 이러한 직업을 그려달라고 요청했을 때, 기계들은 거의 항상 남성을 그렸습니다. 마치 남성만이 무언가를 건설할 수 있다고 생각하는 것 같았습니다.
- 의료 및 사무직: 간호사나 사무직을 그려달라고 했을 때, 기계들은 여성 쪽으로 크게 기울었습니다.
- 놀라운 점: 한 기계인 DALL-E 3가 가장 균형 잡힌 모습을 보였습니다. 남성과 여성을 거의 비슷하게 그렸는데, 이는 마치 공정한 동전 던지기와 같았습니다. 또 다른 기계인 FLUX는 일부 직업에서 남성보다 오히려 더 많은 여성을 그렸는데, 이는 새로운 종류의 편향입니다.
인종 문제 ("백인의 벽")
이것이 가장 큰 문제였습니다. 어떤 직업을 요청하든, 기계들은 압도적으로 백인 얼굴을 그렸습니다.
- 그것은 마치 기계들이 "인종을 지정하지 않으면 백인으로 만들어라"라는 기본 설정값을 가진 것처럼 보였습니다.
- 이 편향은 영어보다 독일어에서 더 강하게 나타났습니다. 독일어로 프롬프트를 입력했을 때, 기계들은 유색인종의 얼굴을 훨씬 더 적게 그렸습니다.
- DALL-E 3만이 두 언어 모두에서 백인의 비율을 50% 미만으로 유지할 수 있었던 유일한 기계였으며, 가장 다양성을 잘 보여주었습니다.
"인간 vs 로봇" 성적표
여기서 까다로운 부분이 발생합니다. 논문은 컴퓨터 지표(이미지 품질를 측정하는 수학 공식)가 인간의 느낌과 자주 충돌한다는 것을 발견했습니다.
- 이미지 품질: FLUX라는 기계는 인간으로부터 가장 아름답고 사실적이라는 평가를 받았습니다. 그러나 컴퓨터 수학(FID 점수)은 DALL-E 3가 최고라고 말했습니다.
- 시사점: 수학 공식은 그림을 심사하는 로봇과 같습니다. 픽셀은 측정하지만, 인간이 이미지를 볼 때 느끼는 "영혼"이나 "감정"은 놓칩니다. 인간은 수학이 다르게 말하더라도 FLUX를 선호했습니다.
언어의 반전
- DALL-E 3에는 비밀 무기가 있습니다: 바로 당신의 프롬프트를 재작성하는 것입니다. 만약 당신이 독일어 프롬프트를 입력하면, 이 기계는 몰래 이를 영어로 번역하고 수정하여 그림을 그립니다. 이것이 독일어 전투에서 더 높은 "정렬(단어와의 일치)" 점수를 얻고 요청을 더 잘 이해하는 데 도움이 되었습니다.
- Stable Diffusion 3는 영어 프롬프트에서는 챔피언이었지만, 독일어에서는 어려움을 겪었습니다.
4. 결론
논문은 이러한 AI 그림 기계들이 중립적이지 않다고 결론짓습니다. 그들은 훈련된 데이터의 편향을 그대로 가지고 있습니다.
- 그들은 "힘든" 직업에는 남성을, "돌봄" 직업에는 여성을 과잉 대표합니다.
- 그들은 거의 항상 기본적으로 백인의 얼굴을 그립니다.
- 컴퓨터 테스트만으로는 충분하지 않습니다. 수학이 우리가 느끼는 "공정함"이나 "실제함"을 포착하지 못하기 때문에, 우리는 실제 인간에게 무엇을 생각하는지 물어야 합니다.
저자들은 이를 해결하기 위해 개발자들이 컴퓨터 공식뿐만 아니라 실제 세계의 통계와 대조하여 기계를 더 면밀히 검토하고, 인간의 피드백에 더 귀를 기울여야 한다고 제안합니다. 그들은 미래에 이 기계들이 더 공정해질 수 있도록 "전투 아레나"에서 계속 책임을 물을 수 있도록 BAFIS를 구축했습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.