EmergencyBias: Bias in Text-to-Image Models under Emergency Scenarios

당신이 방금 마법의 카메라를 하나 주웠다고 상상해 보세요. 이 카메라는 세상을 있는 그대로 찍는 것이 아니라, 당신의 말에 따라 그림을 그려냅니다. 만약 당신이 "요리사"라고 말하면 남자를 그릴 수도 있고, "간호사"라고 말하면 여자를 그릴 수도 있습니다. 이것이 현대의 텍스트-투-이미지(T2I) 모델이 작동하는 방식입니다. 이들은 문장을 멋진 시각 자료로 바꾸는 매우 똑똑한 화가들입니다. 하지만 여기 함정이 있습니다. 이 화가들은 인터넷에 있는 거대한 옛날 사진 더미를 통해 학습되었는데, 그 더미에는 고정관념이 가득합니다. 오랫동안 과학자들은 이 디지털 화가들이 '누구'를 잘못 그리는지 확인해 왔습니다. 예를 들어 의사는 남성으로만, 간호사는 여성으로만 그리는 식이죠. 그들은 그림 속 등장인물의 정적인 구성을 살펴왔습니다. 하지만 만약 진짜 문제가 단순히 '방 안에 누가 있는가'가 아니라, '그들이 무엇을 하고 있는가'라면 어떨까요? 만약 카메라가 어떤 일이 잘못되었을 때, 특정 사람들만이 기꺼이 도움을 줄 수 있고, 다른 이들은 그저 옆에서 지켜보기만 할 뿐이라고 결정한다면 어떨까요? 이것이 바로 새로운 차원의 편향성입니다. 단순히 누가 나타나느냐가 아니라, 누가 행동하고, 누가 반응하며, 누가 영웅이 될 수 있는가에 대한 문제입니다.

여기에 이 AI 화가들을 궁극의 시험대에 올리기로 결정한 푸단 대학교 연구팀이 있습니다. 그들은 자동차 사고나 화재처럼 위기 상황을 그리라고 요청받았을 때 발생하는 교묘한 종류의 편견을 설명하기 위해 EmergencyBias라는 새로운 용어를 만들었습니다. 그들은 AI가 남성을 사건을 해결하러 달려드는 사람으로, 반대로 여성, 노인, 혹은 피부색이 어두운 사람들을 구조받아야 하거나 그저 옆에 서 있는 사람들로 자동 결정하는지 알고 싶었습니다.

이를 알아내기 위해, 그들은 단순히 무작위 장면을 요청하는 대신 체계적이고 방대한 실험을 설계했습니다. 그들은 강물에 빠지는 사람부터 지하철 승강장 사고에 이르기까지 여섯 가지의 고위험 시나리오를 만들었습니다. 그리고 세계에서 가장 발전된 7개의 AI 모델에게 이 장면들을 그리도록 했습니다. 먼저, 그들은 모델들에게 "지하철 승강장에서 사람이 넘어짐"과 같은 '빈(blank)' 프롬프트를 주어 AI가 누구를 기본값으로 설정하는지 확인했습니다. 그다음에는 "여성 목격자를 그려라" 또는 "위기에 처한 노인을 그려라"와 같이 명시적으로 지시하는 '제어된(controlled)' 프롬프트를 주어, AI가 여전히 그들의 행동을 다르게 취급하는지 확인했습니다.

결과는 마치 마술사가 실수로 비밀을 드러낸 마술을 보는 것과 같았습니다. AI 모델들은 실제로 편향되어 있었으며, 상황이 긴박해질수록 그 편향은 더 심해졌습니다. 프롬프트가 비어 있을 때, AI는 압도적으로 남성을 위험에 처한 사람과 돕는 사람 모두로 선택했으며, 노인들은 거의 보이지 않았습니다. 이들은 '위기 상황' 역할에서 8% 미만으로 나타났습니다. 하지만 진짜 충격적인 것은 인구 통계적 특성을 제어했을 때였습니다. 설령 AI에게 명시적으로 "여성 목격자를 그려라"라고 명령하더라도, 모델은 여전히 그녀를 남성 목격자에 비해 덜 돕는 것으로 만들었습니다. AI는 남성은 능동적인 구조대원이고 여성은 수동적인 관찰자라는 숨겨진 대본을 가지고 있는 듯했습니다. 이것은 단순한 작은 오류가 아니었습니다. 성별에 따른 '도움 행동'의 차이는 그들이 발견한 가장 두드러진 편향이었습니다.

연구진은 또한 ActionAlign이라 불리는 가볍고 새로운 해결책을 테스트했습니다. 이것은 AI 화가가 그림을 그리기 직전에 지시를 내리는 아주 작고 투명한 코치와 같습니다. AI의 나쁜 습관을 고쳐주되 예술적 재능은 지우지 않도록 유도하는 것이죠. 그들은 이를 단순히 프롬프트에 "공정하게 해줘"와 같은 '윤리적' 단어를 추가하는 더 일반적인 방법과 비교했습니다. 결과는 ActionAlign이 행동을 수정하는 데 훨씬 더 효과적임을 보여주었습니다. 한 모델에서, 이 방법은 이미지의 품질에는 거의 영향을 주지 않으면서도 도움 행동의 편향을 무려 **78.14%**나 줄였습니다. 이는 AI에게 몇 마디 말로 "착하게 행동해"라고 말하는 것만으로는 부족하며, 때로는 위기 상황에서 서로 다른 사람들이 어떻게 행동해야 하는지에 대한 내부적인 감각을 다시 훈련시켜야 한다는 것을 시사합니다.

요약하자면, 이 논문은 우리의 AI 화가들이 단순히 방 안에 누가 있는지를 복제하는 것이 아니라, 그들이 생각하기에 '누가 영웅이 되어야 하는지'까지도 복제하고 있음을 시사합니다. 우리가 특정 인물을 그리도록 강제하더라도, 그들은 여전히 그 사람이 행동하는 모습을 상상하는 데 어려움을 겪습니다. 좋은 소식은, 스마트한 튜닝을 통해 우리가 이 모델들에게 더 공정한 대본을 쓰도록 가르칠 수 있다는 것입니다. 이를 통해 미래의 디지털 위기 상황에서 영웅의 모습이 우리 모두를 닮을 수 있도록 보장할 수 있습니다.