💻 computer science

Picturing Perceptions: An Open-Source Toolkit to Uncover Bias in Humans and Machines

이 논문은 실세계의 노동 데이터를 대상으로 시각적 강제 선택 비교를 사용하여, 다양한 인구 통계학적 집단 간의 소득에 관한 인간의 판단과 AI 시스템 모두에서 나타나는 유의미하고 종종 상충하는 편향을 측정하고 드러내는 오픈 소스 툴킷인 PictoPercept를 소개한다.

원저자: Saurabh Khanna, Zhijun Chen, Chei Billedo, Jiayi Yan, Irene van Driel, Alex Barco Martelo, Hugo Moreda Cartagena, Haizea Gonzalez Atorrasagasti, Markel Adanez Perez, Daniela An, Qianyi Wang, Xinkangru

게시일 2026-06-15

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Saurabh Khanna, Zhijun Chen, Chei Billedo, Jiayi Yan, Irene van Driel, Alex Barco Martelo, Hugo Moreda Cartagena, Haizea Gonzalez Atorrasagasti, Markel Adanez Perez, Daniela An, Qianyi Wang, Xinkangrui Gao, Lauren Taylor, Olga Eisele, Sindy Sumter

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

얼굴만 보고 그 사람이 돈을 얼마나 버는지 맞힐 수 있다고 상상해 보세요. 당신은 정답을 맞힐 수 있을까요? 아니면 당신의 뇌가 잘못된 길로 계속 안내하는 고장 난 GPS처럼 오래된 고정관념에 의존하게 될까요?

이 논문은 바로 그것을 테스트하기 위해 설계된 PictoPercept("Picturing Perceptions"의 약자)라는 새로운 도구를 소개합니다. 이것은 인간과 컴퓨터 모두를 위한 "편향 탐지기"와 같습니다.

연구자들이 무엇을 했고 무엇을 발견했는지 아주 쉽게 설명해 드리겠습니다.

문제점: 기존의 도구들은 고장 나 있었다

수년 동안 과학자들은 설문 조사(사람들에게 직접 물어보기)나 반응 시간 테스트(사람들이 버튼을 얼마나 빨리 누르는지 측정하기)를 통해 편향을 측정하려고 노력했습니다.

설문 조사는 마치 누군가에게 "당신은 인종차다?"라고 묻는 것과 같습니다. 대부분의 사람은 좋게 보이고 싶어 하기 때문에 "아니오"라고 답할 것입니다. 이는 도둑에게 "당신은 물건을 훔칩니까?"라고 묻는 것과 같습니다. 그들은 거짓말을 할 것입니다.
반응 테스트는 단어를 빠르게 분류해야 하는 비디오 게임과 같습니다. 하지만 컴퓨터는 인간과 같은 방식의 "반응 시간"을 가지고 있지 않기 때문에, 이러한 테스트로는 AI가 편향되었는지 확인할 수 없었습니다.
누락된 지도: 기존의 도구들은 사람들의 추측이 현실과 일치하는지를 확인하지 못했습니다. 그들은 단지 사람들이 그룹 A를 그룹 B보다 선호하는지만을 측정했을 뿐, "그룹 A가 실제로 더 부유한가, 아니면 더 가난한가?"라는 질문은 던지지 않았습니다.

해결책: 시각적 "강제 선택" 게임

연구자들은 PictoPercept라는 오픈 소스 툴킷(즉, 누구나 무료로 사용할 수 있는 도구)을 만들었습니다.

게임: 화면에 두 개의 얼굴이 나타납니다. 프롬프트는 "누가 더 높은 수입을 올릴 가능성이 높습니까?"라고 묻습니다. 당신은 하나를 골라야 합니다. "모르겠다"라고 말할 수는 없습니다.
트릭: 얼굴들은 매력도와 신뢰도가 똑같아 보이도록 세심하게 조정되었습니다. 유일한 차이점은 인종과 성별입니다.
지도: 연구자들은 사람들의 선택을 미국 노동통계국(U.S. Bureau of Labor Statistics)의 실제 데이터와 비교했습니다. 만약 데이터는 아시아계 남성이 가장 많이 번다고 되어 있는데, 당신이 라틴계 남성을 가장 높은 수입을 올리는 사람으로 계속 선택한다면, 이 도구는 그것을 "편향 점수"로 계산합니다.

그들은 이를 283명의 실제 미국 성인을 대상으로 테스트했으며, 또한 동일한 사진들을 강력한 AI 모델인 GPT-5에 입력했습니다.

커다란 놀라움 (결과)

1. "모델 마이너리티(소수자 모델)"의 사각지대
가장 충격적인 것은 아시아계 미국인에 관한 것이었습니다.

현실: 정부 데이터에 따르면, 아시아계 미국인은 실제로 미국에서 가장 높은 수입을 올리는 집단입니다.
인식: 사람들은 그들의 수입을 극도로 과소평가했습니다. 아시아계 남성과 여성의 얼굴을 보여주었음에도 불구하고, 사람들은 그들이 실제로 버는 것보다 적게 번다고 추측했습니다.
아이러니: 연구에 참여한 아시아계 참가자들조차 자신들의 집단 수입을 과소평가했습니다! 이는 마치 온 나라가 이 집단의 성공에 대해 사각지대를 가지고 있는 것 같으며, 아마도 그들이 리더십 역할이나 미디어에서 충분히 보여지지 않기 때문일 수도 있습니다.

2. "내집단(Ingroup)"의 신화
우리는 흔히 사람들이 항상 자신의 집단을 선호할 것이라고 생각합니다 (예: 백인은 백인을, 흑인은 흑인을 선호함).

현실: 이는 모든 사람에게 해당되지 않았습니다.
- 백인 남성은 자신의 집단을 선호하여, 자신들의 수입을 과대평가하는 모습을 보였습니다.
- 그러나 아시아계 참가자들은 정반대였습니다. 그들은 자신들의 집단을 크게 과소평가했습니다. 그들은 단순히 편향을 무시한 것이 아니라, 자신의 집단이 실제보다 적게 번다고 능동적으로 생각했습니다.
- 흑인 및 라틴계 참가자들을 포함한 다른 집단들은 놀랍게도 자신들의 집단에 대해 정확했으며, 강한 선호나 편향을 보이지 않았습니다.

3. AI는 훨씬 더 편향되어 있다
그들이 GPT-5(AI)를 테스트했을 때, 결과는 무서웠습니다.

AI는 인간의 편향을 흉내 내는 데 그치지 않고, 이를 증폭시켰습니다.
AI는 여성을 판단하는 데 매우 형편없었습니다. AI는 모든 여성 집단이 실제보다 훨씬 적게 번다고 체계적으로 생각했습니다.
AI는 모든 남성 집단이 훨씬 더 많이 번다고 생각했습니다.
인간도 실수를 저질렀지만, AI의 오류는 거대하고 일관적이며 극단적이었습니다. 이는 마치 학생이 단순히 답을 틀리는 것을 넘어, 10배나 더 크게 틀리는 것과 같습니다.

이것이 왜 중요한가

이 논문은 편향이란 단순히 특정 집단을 "미워하는 것"이 아니라, 현실에 대한 왜곡된 지도를 갖는 것이라고 주장합니다.

만약 당신이 어떤 집단이 실제보다 적게 번다고 생각한다면, 당신은 채용이나 대출 과정에서 그들을 불공정하게 대할 수 있습니다.
이 도구는 우리의 뇌(그리고 우리의 컴퓨터)가 종종 실제 세상과 일치하지 않는 오래된 소프트웨어로 구동되고 있음을 보여줍니다.

핵심 요약

PictoPercept는 우리의 인식이 현실과 일치하는지 확인할 수 있는 새로운 오픈 소스 방식입니다. 연구 결과는 다음과 같습니다:

우리는 아시아계 미국인의 높은 수입에 대해 눈이 멀어 있습니다.
우리는 항상 자신의 집단을 선호하지 않습니다. 때로는 우리 자신을 과소평가하기도 합니다.
GPT-5와 같은 AI 모델은 현재 인간보다 훨씬 더 편향되어 있으며, 특히 여성에게 편향되어 있습니다.

저자들은 AI가 큰 결정(예: 대출이나 직업을 주는 일)을 내리게 하기 전에, AI가 혹시 '웃기는 거울(funhouse mirror)'을 통해 세상을 보고 있는 것은 아닌지 확인할 수 있는 도구가 필요하다고 제안합니다.

기술 요약: 픽토퍼셉트 (Picturing Perceptions, PictoPercept)

문제 제기
인간의 판단과 인공지능(AI) 시스템에 존재하는 편향은 채용, 대출, 형사 사법과 같은 중대한 영역에서 심각한 과제를 제기합니다. 기존의 편향 측정 방법론들은 다음과 같은 근본적인 한계를 가집니다:

인간 편향 측정: 전통적인 설문 기반 도구들은 텍스트 중심적이며 명시적이고, 사회적 바람직성 효과(social desirability effects)에 취약합니다. 또한 성별, 인종 등 각 차원마다 별도의 도구가 필요하여 교차적(intersectional) 평가가 비효율적입니다. 나아가, 이들은 인구 통계학적 현실에 근거하지 않아, 존재하는 불평등에 대한 정확한 지각과 왜곡된 지각을 구분하지 못합니다.
AI 편향 측정: 현재의 AI 공정성 연구는 알고리즘 감사와 데이터셋 분석에 의존하고 있는데, 이는 인간 편향 연구 방법(설문이나 암묵적 연합 검사 등)과 호환되지 않습니다. 암묵적 연합 검사(IAT)는 반응 시간을 통해 인간의 암묵적 편향을 효과적으로 측정하지만, 인간과 같은 반응 시간이 없거나 다른 계산 메커니즘을 통해 작동하는 AI 시스템에는 적용할 수 없습니다.
공백: 인구 수준의 벤치마크에 근거하여 인간과 기계 모두의 편향을 동시에 측정할 수 있는 통합된 오픈 소스 프레임워크가 부족합니다.

방법론: PictoPercept
저자들은 인구 수준의 벤치마크에 근거하여 시각적 강제 선택 비교를 통해 편향을 측정하도록 설계된 오픈 소스 툴킷인 PictoPercept를 소개합니다.

자극물: 본 연구는 시카고 안면 데이터베이스(Chicago Face Database, CFD)의 규격화된 얼굴 사진 쌍을 사용하는 68회의 강제 선택 시행(64회의 실험 + 4회의 주의력 체크)을 활용합니다. 이미지는 인구 통계학적 효과를 격리하기 위해 비핵심 공변량(매력도, 신뢰도, 연령, 지배력)에 대해 정밀하게 균형이 맞춰져 있습니다.
과업: 참가자(인간 및 AI 모두)는 얼굴 쌍을 보고 다음 질문에 답합니다: "어느 사람이 더 높은 개인 소득을 가질 가능성이 높습니까?" 참가자들은 시스템 1(자동적) 처리를 포착하기 위해 초기 인상에 의존하라는 지침을 받습니다.
벤치마킹: 상대적 선호도(예: B보다 A를 선호함)를 산출하는 전통적인 척도와 달리, PictoPercept는 선택 결과를 8개 인구 통계 카테고리(남성/여성 × 아시아인/흑인/라티노/백인)에 대한 실제 미국 노동통계국(BLS)의 주당 중위 소득 데이터와 비교합니다.
편향 계산:
- 현실 기반 편향 점수: 관찰된 선택 확률( $P_{observed}$ $P_{o b ser v e d}$ )과 실제 소득 데이터에서 도출된 기대 선택 확률( $P_{expected}$ $P_{e x p ec t e d}$ ) 사이의 차이로 계산됩니다.
  - $P_{expected}(i|i, j) = \frac{Earnings_i}{Earnings_i + Earnings_j}$
  - $Bias_{reality}(i) = P_{observed}(i) - P_{expected}(i)$
- 양(+)의 점수는 실제보다 특정 집단의 소득을 과대평가함을 나타내며, 음(-)의 점수는 과소평가함을 나타냅니다.
참가자:
- 인간: Prolific Academic을 통해 모집된 283명의 미국 성인으로 구성된 국가 대표 표본.
- AI: GPT-5 시각-언어 모델(OpenAI)이 동일한 64개의 실험적 이미지 쌍을 사용하여 테스트되었습니다. 모델은 안정성을 확보하기 위해 시행당 100번 실행되었으며, 분석에는 다수결 응답이 사용되었습니다.

주요 결과
본 연구는 PictoPercept가 심리측정학적으로 타당한 도구임을 검증하였으며(반분 신뢰도 $r_{sb} = 0.779$ ), 세 가지 주요 발견을 제시했습니다:

체계적인 소득 오인:
- 참가자들은 아시아계 미국인의 소득을 극적으로 과소평가했는데, 이는 해당 집단이 미국 노동 통계에서 가장 높은 실제 소득을 보유하고 있음에도 불구하고 나타난 결과입니다 (아시아계 남성: \ $1,759; 아시아계 여성: \$ 1,363).
- 반대로, 라티노 남성과 백인 남성의 소득은 과대평가되었습니다.
- 흑인 여성 또한 유의미하게 과소평가되었습니다.
내집단 선호의 이질성:
- 내집단 선호가 보편적으로 나타나는 것은 아니었습니다. 백인 남성 참가자들은 명확한 내집단 편향(자신의 집단 소득을 과대평가함)을 보였습니다.
- 대조적으로, 아시아계 참가자들은 유의미한 음(-)의 내집단 편향을 보였는데, 이는 아시아계 남성과 아시아계 여성 모두의 소득을 유의미하게 과소평가했음을 의미합니다. 이는 자신의 공동체 내에서도 자국 집단의 경제적 성공에 대한 인식이 부족함을 시사합니다.
- 백인 여성, 흑인 참가자, 라티노 참가자들은 자신의 집단에 대해 정확한 인식을 보이거나 최소한의 내집단 편향을 보였습니다.
AI 편향 증폭:
- GPT-5는 인간 참가자보다 실질적으로 더 강한 편향을 보였습니다.
- AI는 모든 여성 집단에 대해 극단적인 체계적 과소평가를, 모든 남성 집단에 대해 과대평가를 나타냈습니다.
- 특히 성별과 관련된 AI 편향의 크기는 인간의 평균을 넘어섰으며, 라티노 남성은 가장 극단적인 과대평가(편향 점수 > 1.0)를 받았습니다.

의의 및 기여
본 논문은 다음과 같은 이론적, 실천적 기여를 주장합니다:

방법론적 진보: PictoPercept는 인간과 AI 모두의 편향을 평가할 수 있는 통합된 프레임워크를 제공합니다. 시각적 자극과 강제 선택 과업을 사용함으로써, 텍스트 기반 설문에 내재된 사회적 바람직성 효과를 줄이는 동시에 암묵적이고 자동적인 과정(시스템 1)을 포착합니다.
교차성: 이 도구는 IAT와 같은 요인 설계의 한계를 해결하여, 별도의 테스트 블록 없이도 여러 교차하는 차원(성별 및 인종)을 동시에 평가할 수 있게 합니다.
현실에 근거함: 측정을 객관적인 인구 통계 통계(BLS 데이터)에 고정함으로써, 이 프레임워크는 불평등에 대한 정확한 지각과 편향된 왜곡을 구분합니다. 이를 통해 기준점(ground truth) 대비 편향의 방향(과대/과소평가)과 크기를 계산할 수 있습니다.
오픈 사이언스: 오픈 소스 툴킷으로서, PictoPercept는 폐쇄적인 독점 측정 도구의 한계를 극복하고 재현성과 누적적 지식 발전을 촉진합니다.
AI에 대한 시사점: 연구 결과는 최첨단 AI 모델이 인간의 고정관념을 단순히 반영하는 것을 넘어, 특히 성별과 관련하여 이를 증폭할 수 있음을 시사합니다. 이는 AI가 고위험 결정 상황에서 인간의 판단을 대체할 수 있는 중립적인 대안이라는 가설에 도전합니다.

저자들은 결론적으로, PictoPercept가 편향 측정을 위한 더 효율적이고 통합적이며 경험적 근거를 갖춘 접근 방식을 가능하게 하여, 인구 통계학적 현실과 동떨어진 체계적인 오인(misperception)을 밝혀내고, 중대한 영역에 배치되기 전 AI 시스템에 대한 엄격한 감사가 필요함을 강조한다고 밝혔습니다.