AmchiBias: Measuring Stereotypical Bias in Goan Identity Groups with a Minimal Pair Dataset in English and Konkani

수십억 권의 책과 웹사이트를 읽은 매우 똑똑하고 박식한 로봇들(AI 모델)이 있다고 상상해 보세요. 여러분은 이 로봇들이 사람들이 흔히 가지는 어리석고 불공평한 고정관념을 똑같이 습득했는지 알고 싶습니다.

대부분의 연구자들은 이 로봇들을 거대한 국가적 수준의 고정관념(예: "X국의 모든 사람은 게으르다")에 대해서만 테스트해 왔습니다. 하지만 미셸 바르보사(Michelle Barbosa)와 그녀의 팀은 이렇게 물었습니다: "그렇다면 세상의 아주 작은 한 구석에만 존재하는 작고 구체적인 고정관념은 어떻게 될까?"

그들은 독특한 역사, 언어, 문화가 뒤섞인 인도의 작고 다채로운 주(州)인 **고아(Goa)**를 선택했습니다. 그들은 로봇이 고아의 삶을 이해하고 있는지, 아니면 그저 추측하고 있는 것인지를 알아보기 위해 암치바이어스(AmchiBias)(현지 언어인 콘카니어로 "우리의 편견"이라는 뜻)라는 특별한 테스트를 구축했습니다.

그들이 어떻게 실험을 진행했고 무엇을 발견했는지 쉽게 설명해 드리겠습니다.

1. 테스트: "틀린 그림 찾기" 게임

연구진은 "최소 쌍(Minimal Pairs)"이라는 게임을 만들었습니다. 두 문장이 단 한 단어만 제외하고는 쌍둥자처럼 똑같다고 상상해 보세요:

• 문장 A: "어부들은 가족을 부양하기 위해 끊임없이 일한다."
• 문장 B: "지주들은 가족을 부양하기 위해 끊임 없이 일한다."

고아 문화에서 한 그룹은 "근면한" 것으로 고정관념이 형성되어 있고, 다른 그룹은 "게으른"(또는 그 반대) 것으로 고정관념이 형성되어 있을 수 있습니다. 연구진은 AI에게 다음과 같이 물었습니다: "어떤 문장이 더 자연스럽거나 당신에게 진실되게 들립니까?"

그들은 다음 8가지 주제를 다루는 313개의 쌍을 만들었습니다:

• 카스트(Caste): 다양한 사회 집단 (예: Bamon 또는 Chardo).
• 언어: 영어를 사용하는 사람 vs 콘카니어를 사용하는 사람 vs 마라티어를 사용하는 사람.
• 직업: 어부, 제빵사, 지주, 정치인.
• 종교: 가톨릭교도, 힌두교도, 이슬람교도.
• 출신: 현지인 vs 이주민 vs 관광객.
• 지역: 고아 북부 출신 vs 남부 출신.
• 연령: 청년 vs 노인.
• 성별: 남성 vs 여성.

그들은 두 가지 언어로 로봇을 테스트했습니다: 영어(고아에서 특권과 교육의 언어)와 콘카니어(현지 사람들의 모국어).

2. 결과: "이중 언어" 로봇의 문제

연구진은 다섯 가지 서로 다른 AI 모델을 테스트했습니다. 결과는 다음과 같았습니다.

영어의 경우: 로봇은 고정관념을 "알고 있다"
로봇들이 영어로 테스트를 읽었을 때, 그들은 마치 인도 문화에 푹 빠져 있는 것처럼 행동했습니다. 그들은 흔한 고정관념과 일치하는 문장을 일관되게 선택했습니다.

• 비유: 어떤 로봇이 인도의 모든 신문을 읽었다고 상상해 보세요. 그 로봇은 "카스트"와 "종교"가 인도의 뉴스에서 매우 중요한 주제라는 것을 압니다. 그래서 영어로 질문을 받았을 때, 그들은 자신 있게 고정관념에 부합하는 답을 선택합니다.
• 함정: 로봇들은 사실 범인도적(pan-Indian) 고정관념(인도에 대한 일반적인 생각)을 포착하고 있었던 것입니다. 예를 들어, 그들은 "힌두교도"나 "이슬람교도"(인도 전역에 나타나는 개념)에 대한 고정관념은 알고 있었습니다. 하지만 *타르보티(Tarvottis, 선원)*나 *문드카르(Mundkars, 소작농)*와 같이 매우 구체적인 고아의 집단에 대한 고정관념(일반적인 인도 데이터에는 거의 등장하지 않는 것들)에 대해서는 훨씬 더 무지했습니다.

콘카니어의 경우: 로봇은 벽에 부딪혔다
연구진이 동일한 질문을 콘카니어로 던졌을 때, 로봇들은 갑자기 갈피를 잡지 못했습니다. 그들의 답변은 기본적으로 무작위 추측(동전 던지기와 같은 수준)이었습니다.

• 비유: 이는 영어를 할 줄 아는 사람에게 한 번도 본 적 없는 언어로 쓰인 수학 문제를 풀라고 하는 것과 같습니다. 그들은 "답을 알지만 친절하게 대답하려고 노력하는 것"이 아닙니다. 그들은 단순히 언어를 이해하지 못하는 것입니다.
• 발견: 로봇들은 콘카니어에서 "고정관념이 없는 것"이 아니라, 콘카니어 능력이 없는 것이었습니다. 그들은 문장이 말이 되는지, 아니면 헛소리인지조차 구분하지 못했습니다.

3. "문화적 역량"의 격차

논문은 흥미로우면서도 심각한 격차를 강조합니다:

• 일반 다국어 모델: 이 모델들은 콘카니어 데이터가 충분하지 않기 때문에 콘카니어에 매우 취약합니다.
• 인도 특화 모델: 이 모델들은 콘카니어를 잘 읽습니다(문법과 단어를 이해합니다). 하지만 여전히 고아의 문화는 모릅니다. 그들이 콘카니어로 읽을 때 고정관념을 보이지 않는 이유는 도덕적으로 우월해서가 아니라, 그들의 "고아 지식"이 결여되어 있기 때문입니다.

4. 이것이 왜 중요한가

연구진은 발견 과정에서 **토큰화(Tokenization)**라는 창의적인 비유를 사용했습니다.
단어를 레고 블록이라고 생각해 보세요. 만약 로봇이 "Tarvotti(타르보티, 특정 고아 집단)"라는 단어를 본다면, 좋은 로봇은 이를 하나의 온전한 블록으로 봅니다. 나쁜 로봇은 이를 부서진 작은 조각들의 더미로 봅니다.

• 연구진은 로봇이 콘카니어 단어(레고 블록)를 "읽을" 수는 있어도(블록이 온전하더라도), 그 단어 뒤에 숨겨진 문화적 의미는 알지 못한다는 것을 발견했습니다.
• 이는 로봇이 어떤 언어를 말할 수 있다고 해서, 그 언어를 사용하는 사람들을 이해한다는 뜻은 아니라는 것을 증명합니다.

요약

논문의 결론은 다음과 같습니다:

1. 편견은 어디에나 있다: 영어 데이터로 훈련된 AI 모델은 인도의 고정관념을 습득했습니다.
2. 지역적 지식이 부족하다: 이러한 모델들은 고아의 삶에 대한 아주 작고 구체적인 세부 사항(특정 직업 명칭이나 지역 카스트 이름 등)을 알지 못합니다.
3. 언어만으로는 충분하지 않다: 모델이 저자원 언어(콘카니어와 같은)를 구사할 수 있다고 해서, 그것이 반드시 그 문화를 이해한다는 의미는 아닙니다. 그들은 그저 추측하고 있는 것일 수도 있습니다.

연구팀은 다른 이들이 더 나은, 더 문화적으로 인지 능력이 높은 로봇(단순히 추측하는 것이 아니라 고아의 독특하고 복잡한 정체성을 실제로 이해하는 로봇)을 만들 수 있도록 그들의 테스트 데이터(AmchiBias)를 공개했습니다.