Institutional Prestige as Geographic Bias in Large Language Models: Evidence from Three Factorial Experiments with Bootstrap Confidence Intervals
4개의 대규모 언어 모델을 대상으로 4,320건의 API 호출을 포함하는 세 차례의 요인 실험을 통해, 본 연구는 기관의 명성과 출판 매체가 지원자의 성명, 인종 또는 지리적 기원보다 후보자 평가에 훨씬 더 강력한 차별적 효과를 미친다는 점과, 높은 영향력을 가진 출판물이 낮은 기관 명성을 불균형적으로 보완할 수 있음을 보여주는 '구제 효과(rescue effect)'를 입증한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
현대 사회에서 인공지능은 조용히 문지기 역할을 맡게 되었습니다. 대규모 언어 모델로 알려진 이 컴퓨터 프로그램들은 인간의 삶을 결정짓는 의사결정을 내리도록 점점 더 많이 요구받고 있습니다. 이들은 지원서를 읽고 점수를 부여함으로써 누가 직업을 얻고, 누가 연구비를 받으며, 누가 대출 자격을 갖추게 될지를 결정하는 자동화된 판사 역할을 수행합니다. 수년간 과학자들은 이 디지털 판사들이 그들을 만든 인간과 동일한 편견을 가질 수 있다고 우려해 왔습니다. 우리는 이 모델들이 이름, 성별, 또는 인종에 따라 편향될 수 있다는 점을 알고 있습니다. 하지만 더 새롭고 미묘한 질문이 등장했습니다. 과연 이 모델들이 단순히 지원자가 어느 학교를 다녔는지에 따라 특정 후보자를 선호하는가 하는 점입니다. 이것은 한 사람이 해온 업무의 질에 관한 것이 아니라, 이력서에 적힌 기관의 명성에 관한 문제입니다. 만약 컴퓨터 프로그램이 유명 대학 출신의 과학자에게 덜 유명한 대학 출신의 동등하게 유능한 과학자보다 더 높은 점수를 준다면, 그것은 중립적인 것이 아니라 기존의 위계 구조를 강화하는 것입니다.
한 연구팀은 네 가지 서로 다른 인공지능 모델을 사용하여 이 특정한 유형의 편향성을 테스트하기 위해 연구를 시작했습니다. 그들은 모델들이 대학의 명성에 반응하는 것인지, 아니면 단순히 그 대학이 위치한 국가에 반응하는 것인지를 알고 싶었습니다. 답을 찾기 위해 그들은 수천 개의 가짜 취업 및 연구 지원서를 만들었습니다. 그들은 모든 시나리오에서 후보자의 기술과 경험을 완전히 동일하게 유지했습니다. 그들이 바꾼 유일한 요소는 후보자가 다닌 대학교의 이름과, 경우에 따라 후보자가 논문을 발표한 학술지의 이름뿐이었습니다. 그들은 최상위권 미국 대학, 칠레와 콜롬비아의 존경받는 기관, 그리고 글로벌 순위에 등장하지 않는 에콰도르의 한 대학교 출신 후보자들을 테스트했습니다. 또한 모델이 여전히 오래된 고정관념을 유지하고 있는지 확인하기 위해 지원서의 이름을 영어권, 라틴계, 아랍계 기원으로 다양화했습니다.
결과는 명확하고 통계적으로 견고했습니다. 인공지능 모델들은 일관되게 명문 대학교 출신의 후보자들에게 더 높은 점수를 주었습니다. 이 격차는 작은 변동이 아니었습니다. 그것은 꾸준하고 측정 가능한 추세였습니다. 서로 다른 모델과 전문 분야 전반에 걸쳐, 상위권 대학 출신 후보자는 순위에 없는 대학 출신 후보자보다 거의 0.3점 더 높은 점수를 받았습니다. 자동화된 채점의 세계에서 이 차이는 상당합니다. 그러나 연구진이 지원서의 이름을 살펴보았을 때 이야기는 달라졌습니다. 모델들은 영어권 이름의 후보자를 라틴계나 아랍계 이름의 후보자보다 통계적으로 유의미하게 선호하지 않았습니다. 서로 다른 이름 그룹 간의 점수 차이는 너무 미미하여 우연에 의한 것으로 간주될 수 있는 수준이었습니다. 이는 모델들이 인종적 이름을 무시하도록 성공적으로 훈련되었지만, 이력서상의 학교 지위를 무시하도록은 훈련되지 않았음을 시사합니다.
이 편향이 학교의 명성 때문인지 아니면 그 학교가 속한 국가 때문인지를 이해하기 위해, 연구진은 두 번째 실험 세트를 실행했습니다. 그들은 멕시코의 상위권 대학과 미국의 저순위 혹은 순위에 없는 대학을 비교했습니다. 만약 모델이 단순히 개발도상국에 대해 편향되어 있다면, 미국 학교를 선호해야 했을 것입니다. 대신, 모델들은 유명한 미국 학교들보다는 덜 유명하지만 이름이 알려진 멕시코 대학을 선호하는 경향을 보였습니다. 이는 모델들이 단순히 지리적 요인이 아니라 기관 자체의 명성에 반응하고 있음을 증명했습니다. 편향은 지원자의 여권이 아니라 대학교라는 브랜드에 관한 것이었습니다.
가장 놀라운 발견은 연구진이 세 번째 변수인 후보자가 연구를 발표한 학술지를 도입했을 때 나타났습니다. 그들은 세계에서 가장 유명한 과학 학술지에 논문을 발표한 후보자와 규모가 작은 오픈 액세스 학술지에 발표한 후보자를 비교했습니다. 점수의 차이는 엄청났습니다. 학술지의 명성이 대학의 명성보다 훨씬 더 중요했습니다. 덜 유명한 대학 출신이지만 상위권 학술지에 논문을 발표한 후보자는, 상위권 대학 출신이지만 작은 학술지에 발표한 후보자보다 훨씬 높은 점수를 받았습니다. 실제로 유명 학술지로 인한 점수 상승 효과는 유명 대학으로 인한 효과보다 거의 6배나 더 강력했습니다. 이는 상위권 학술지에 발표하는 것이 학교에 대한 편향을 완전히 상쇄하는 '구제 효과(rescue effect)'를 만들어냈음을 의미합니다. 모델들은 상위권 출판물을 품질에 대한 매우 강력한 신호로 간주하여 학교에 대한 편향을 압도하는 것으로 보였습니다.
연구진은 또한 모델들이 점수를 매길 때 얼마나 일관성이 있는지도 살펴보았습니다. 그들은 덜 유명한 기관 출신의 후보자를 평가할 때 모델들이 더 일관성이 없다는 것을 발견했습니다. 어떤 때는 모델이 작은 대학 출신의 후보자에게 낮은 점수를 주었다가, 다음에는 정확히 같은 프로필에 대해 약간 더 높은 점수를 주기도 했습니다. 이러한 불일치는 상위권 대학 출신 후보자들에게서는 자주 발생하지 않았습니다. 이는 모델이 잘 알지 못하는 기관 출신의 사람들을 판단할 때 확신이 부족하며, 결과적으로 낮은 평균 점수와 예측 불가능한 평가라는 이중의 불이익을 초래한다는 것을 시사합니다.
궁극적으로 이 연구는 인공지능이 일부 형태의 차별을 피하는 데 진전을 이루었음에도 불구하고, 지위에 대한 뿌리 깊은 편향을 물려받았음을 보여줍니다. 모델들은 익숙하고 명성 있는 것을 보상하고 미지의 것을 벌함으로써 기존의 사회적 위계 구조를 증폭시키는 역할을 합니다. 그들은 지원자의 국적보다는 학교의 브랜드 네임에 더 관심을 두는 듯합니다. 그러나 이 연구는 앞으로 나아갈 길도 제시합니다. 고품질의 연구가 적절한 곳에 발표될 때, 그것이 어떻게 장벽을 뚫을 수 있는지를 보여줍니다. 덜 유명한 기관 출신의 연구자들에게, 이 디지털 판사들로부터 공정한 평가를 받는 길은 자신의 이름이나 국가를 바꾸는 것이 아니라, 자신들이 발표한 연구물의 부정할 수 없는 무게에 달려 있습니다. 기계들은 연구의 가치를 학습하고 있지만, 오직 그 연구가 가장 명성 있는 무대에 올려졌을 때만 그러합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.