Beyond Categories of Caste: Examining Caste Bias and Morality in Text-to-Image AI Models

당신에게 마법 같고 매우 똑똑한 로봇 화가가 있다고 상상해 보세요. 당신이 "점심을 먹는 사람을 그려줘"라거나 "함께 공부하는 두 사람을 그려줘"라고 말하면, 이 로봇은 즉시 이미지를 만들어냅니다. 이것이 바로 텍스트-투-이미지(Text-to-Image) AI가 하는 일입니다.

하지만 이 논문은 이 로봇 화가가 단순히 빈 캔버스가 아니라고 주장합니다. 이 로봇은 인터넷에 있는 수백만 개의 이미지를 통해 학습되었으며, 불행하게도 사람들의 배경에 따라 사람들을 어떻게 대해야 하는지에 대한 매우 오래되고 해로운 규칙들을 학습했습니다. 구체적으로, 연구진들은 이 AI가 남아시아의 카스트(caste)(인도의 사회적 계층 시스템)를 어떻게 다루는지 조사했습니다.

연구 결과의 핵심 내용을 쉬운 용어로 정리하면 다음과 같습니다:

1. 문제에 접근하는 기존 방식

이전의 연구자들은 카스트를 하나의 체크박스처럼 취급했습니다. 그들은 AI가 '샤르마(Sharma)'(상위 카스트인 경우가 많음)와 같은 이름을 보고 부유한 사람을 그리거나, '쿠마르(Kumar)'(하위 카스트인 경우가 많음)와 같은 이름을 보고 가난한 사람을 그리는 것을 보고, AI가 편향되었다고 생각했습니다. 그들은 문제가 단지 **라벨(이름표)**에 있다고 생각했습니다.

이 논문의 새로운 아이디어:
저자들은 이것이 너무 단순하다고 말합니다. 카스트는 단순히 이름표에 붙은 라벨이 아니라, 하나의 관계입니다. 그것은 사람들이 타인과의 관계 속에서 누구인지를 결정하는 일종의 대본(script)과 같습니다. AI는 단순히 사람들에게 잘못된 라벨을 붙이는 것이 아니라, 누가 존엄성을 누릴 자격이 있고 누가 봉사해야 하는지를 결정하는 깊고 보이지 않는 대본을 연기하고 있는 것입니다.

2. "마법의 거울" 실험

이를 테스트하기 위해 연구진은 단순히 AI에게 "브라만(Brahmin)"이나 "달리트(Dalit)"를 그려달라고 하지 않았습니다. 대신, 그들은 다음과 같이 분류된 이름들을 사용하여 일상적인 장면을 그려달라고 요청했습니다:

• 명확한 상위 카스트 이름
• 명확한 하위 카스트 이름
• 모호한 이름 (누구인지 알 수 없는 이름)
• 성(surname)이 없는 이름 (이름만 있는 경우)

그들은 AI에게 이 사람들이 일상적인 행동(식사, 공부, 기도, 또는 동네에서 활동하는 모습)을 하는 모습을 그려달라고 했습니다.

3. 로봇 화가가 실제로 그린 것

AI는 단순히 이름을 틀리게 적는 것에 그치지 않았습니다. AI는 어떤 사람은 "순수"하고 "가치 있는" 존재이며, 다른 이들은 "더럽고" "노동에만 유용할" 존재라는 하나의 도덕적 세계관을 만들어냈습니다.

연구진은 AI가 이 편향성을 강요하는 세 가지 주요 방식을 발견했습니다:

• "신체적 가치" 필터 (신체적 도덕성):

  • 비유: 당신의 영혼의 무게를 재는 저울이 있다고 상상해 보세요.
  • 실제 현상: AI가 상위 카스트나 모호한 이름을 그릴 때는, 깨끗하고 넓은 방에 앉아 있거나, 도서관에서 공부하거나, 혹은 그냥 품위 있게 서 있는 모습을 보여주었습니다. 그들은 특별히 무언가를 "하고" 있지 않았습니다.
  • 편향성: 반면, AI가 하위 카스트나 모호한 이름을 그릴 때는 거의 항상 그들이 노동을 하고 있는 모습으로 만들었습니다. 프롬프트에서 직업을 요구하지 않았음에도 불구하고, AI는 그들에게 빗자루, 생선 바구니, 또는 청소 도구를 쥐여주었습니다. AI는 이들의 신체가 타인에게 '유용할 때만' 가치가 있다고 결정했습니다. 즉, 특정 사람들은 편안함을 누릴 자격이 있는 반면, 다른 이들은 가난하거나 노동을 해야 한다고 AI가 가정해 버린 것입니다.

• "사회적 원" 필터 (사회적 관계):

  • 비유: 어떤 손님은 집 안으로 들어올 수 있지만, 다른 손님은 진흙탕 밖에 서 있어야 하는 파티를 상상해 보세요.
  • 실제 현상: AI가 사람들이 함께 식사하는 장면을 그릴 때, 종종 그들을 분리했습니다. "상위" 계층의 사람은 아무도 없는 깨끗하고 사적인 집 안에 있는 모습으로 그려졌습니다(그들의 "순수함"을 보호하기 위해). 반면 "하위" 계층의 사람은 거리, 판잣집, 또는 붐비고 지저륙한 곳에서 식사하는 모습으로 그려졌습니다.
  • 편향성: AI는 서로 자유롭게 섞이는 모습을 상상하기를 거부했습니다. 특정 사람들은 주변에 있기에는 "너무 순수해서" 격리되어야 하고, 다른 이들은 같은 공간에 머물기에는 "너무 더럽다"는 생각을 강화했습니다.

• "무대 세트" 필터 (물질-공간적 관계):

  • *비유: 영화 세트장에서 부유한 캐릭터는 대저택을 배정받고, 가난한 캐릭터는 대본에 적혀 있지 않더라도 골판지 상자를 받는 상황을 상상해 보세요.
  • 실제 현상: AI는 하위 카스트 캐릭터들을 특정한 제한된 환경에 배치했습니다. 예를 들어, 하위 카스트 인물을 "방기 콜로니(Bhangi Colony, 위생 노동자를 위한 격리 구역)"라는 표지판이 있는 마을에 그리거나, 임시 거처에 있는 모습으로 보여주었습니다.
  • 편향성: AI는 단순히 가난을 보여준 것이 아니라, 격리를 보여주었습니다. AI는 "더러운" 일과 "더러운" 장소가 특정 사람들에게는 유일한 선택지인 세상을 만들어냈으며, 결과적으로 그들을 이미지 속에 가두어 버렸습니다.

4. 가장 놀라운 사실: 이름이 없을 때도 발생했다

이 연구에서 가장 충격적인 부분은 이름이 모호하거나 성(surname)이 없는 경우에도 이런 현상이 나타났다는 점입니다.

• 만약 사용자가 누구에게나 속할 수 있는 이름을 주더라도, AI는 여전히 그 사람이 무엇을 해야 하는지에 대한 자신의 판단에 근거하여 그 사람의 사회적 계급을 "추측"했습니다.
• AI는 명확한 카스트 라벨이 없는 사람들에게도 "더러운" 직업과 "더러운" 동네를 할당했습니다.
• 교훈: AI는 단순히 이름을 보고 있는 것이 아닙니다. AI는 하나의 도덕적 질서를 학습했습니다. AI는 "이런 유형의 몸은 화장실을 청소하는 주방에 속해야 하고, 저런 유형의 몸은 책을 읽는 도서관에 속해야 한다"는 규칙을 학습한 것입니다.

5. 이것이 왜 중요한가 (현상의 이면에 담긴 이유)

저자들은 문제가 단순히 AI가 "편향되었다"는 수준이 아니라고 주장합니다. 문제는 AI가 **브라만 중심적 규범성(Brahminical Normativity)**을 흡수했다는 점입니다.

• 쉬운 번역: 이는 한 집단은 우월하고 순수한 것으로 간주되고, 다른 집단은 열등하고 불순한 것으로 간-주되는 사회의 "기본 설정"을 AI가 학습했다는 뜻입니다.
• AI는 단순히 현실을 반영하는 것이 아니라, 이러한 계층 구조가 자연스럽고 도덕적인 것처럼 보이게 함으로써 이를 강화하고 있습니다. 즉, 어떤 이들은 청소부가 되고 어떤 이들은 상사가 되는 것이 "당연하다"는 인식을 심어주고 있습니다.

6. 저자들이 원하는 변화

이 논문은 단순히 더 "공정한" 데이터를 추가하거나 AI에게 "착하게 행동하라"고 말하는 것만으로는 이 문제를 해결할 수 없다고 결론짓습니다.

• 우리는 카스트를 단순히 하나의 범주(체크박스)로 보는 것을 멈춰야 합니다.
• 우리는 카스트를 관계이자 도덕 체계로 이해해야 합니다.
• AI를 고치기 위해서는, 어떤 사람이 자연스럽게 편안함을 누릴 자격이 있고 다른 사람은 오직 노동만을 위해 존재한다는 생각을 깨뜨려야 합니다. 우리는 존엄성이란 직업이나 이름에 의해 얻는 것이 아니라, 모든 이가 가진 권리임을 AI에게 가르쳐야 합니다.

요약하자면: 로봇 화가는 단순히 실수를 하는 것이 아니라, 어떤 사람은 특정 일을 하기에는 "너무 고귀하고", 다른 사람은 오직 "더러운 일만을 위해 존재한다"고 말하는 엄격하고 구시대적인 규칙서처럼 행동하고 있습니다. 저자들은 우리가 이 사실을 깨닫고 그 규칙서를 다시 써 내려가기를 원합니다.