Investigating Gender Stereotypes in Large Language Models via Social Determinants of Health

본 논문은 프랑스어 환자 기록을 분석하여 대규모 언어 모델이 성별과 다른 사회적 건강 결정 요인 간의 상호작용을 통해 내재된 성 고정관념을 활용하여 성별 관련 결정을 내린다는 사실을 규명함으로써, 기존 편향 평가 방법의 한계를 보완할 수 있는 새로운 접근을 제시합니다.

핵심

🏥 1. 연구의 배경: AI 의 '무의식적 편견'

우리가 AI 에게 "이 환자는 어떤 병일까요?"라고 물어보면, AI 는 환자의 진료 기록을 보고 답을 내놓습니다. 하지만 문제는 AI 가 배운 데이터 속에 우리 사회의 편견이 숨어있다는 것입니다.

• 비유: AI 는 거대한 도서관에서 모든 책을 읽은 '천재 학생'입니다. 그런데 그 도서관에 "의사는 남자가, 간호사는 여자가 하는 거야"라는 편견이 적힌 책들이 많다면, 이 학생은 그 편견을 사실로 믿게 됩니다.
• 위험: 만약 AI 가 "이 환자는 여성일 테니 생리 관련 병일 거야"라고 생각했는데, 실제로는 남성 환자였다면? **오진 (Misdiagnosis)**이 발생할 수 있습니다. (논문 속 그림 1 에서처럼, 성별을 '남자'로 명시했는데도 AI 가 생리 문제를 진단하는 어처구니없는 상황이 벌어질 수 있습니다.)

🔍 2. 연구 방법: "성별을 지운" 환자를 만들어 보기

연구진은 AI 가 성별을 직접 언급하지 않아도, 다른 정보만 보고 성별을 추측하는지 확인했습니다.

• 실험 도구: 프랑스 병원의 실제 진료 기록 1,700 건을 사용했습니다.
• 마법 같은 과정 (중립화): AI 가 성별을 눈치채지 못하도록, 진료 기록에 있는 성별 관련 단어 (남자/여자 명사 등) 를 모두 지우고, 직업이나 가족 관계 같은 정보만 남겼습니다.
  • 예시: "간호사 (여)" → "간호사 (성별 중립)"로 바꿈.
• 질문: "이 환자의 직업, 흡연 여부, 결혼 상태 등을 보고, 이 환자가 남자일지 여자일지 1~7 점 척도로 추측해 보세요."
  • 4 점: "모르겠다 (중립)"
  • 1~3 점: "여자일 것 같아"
  • 5~7 점: "남자일 것 같아"

📊 3. 주요 발견: AI 도 인간처럼 편견을 가지고 있다

AI 가 중립적인 정보만 보고도 성별을 추측할 때, 어떤 패턴이 나왔을까요?

1. 직업으로 성별을 판단하다:
   • AI 는 "노동자 (Workers)"라는 직업을 보면 남자라고, "가정주부 (Homemaker)"나 "사무직"을 보면 여자라고 확신하는 경향이 있었습니다.
   • 비유: 마치 "남자는 공장에서 일하고, 여자는 집에서 일한다"는 옛날 생각을 AI 가 그대로 답습한 것입니다.
2. 작은 AI 일수록 편견이 더 강했다:
   • 모델의 크기가 작을수록 (70 억 개 파라미터 vs 700 억 개) 편견을 더 강하게 드러냈습니다.
   • 비유: 지식이 적은 학생일수록 "남자는 ~하고 여자는 ~한다"는 단순한 규칙을 더 맹신하는 것과 비슷합니다.
3. 의사 전용 AI 도 예외가 아니다:
   • 의료 데이터로 특별히 훈련받은 AI 들도 편견을 가지고 있었습니다. 오히려 의료 데이터에 적응하는 과정에서 편견이 더 강화되기도 했습니다.

🤝 4. 인간과 AI 의 비교: "우리와 똑같다"

연구진은 대학생 9 명에게 같은 문제를 풀게 했습니다. 결과는 놀라웠습니다.

• 인간도 AI 도 똑같았다: 인간들도 "흡연자는 남자일 확률이 높다", "퇴직자는 남자일 것 같다"는 편견을 가지고 있었습니다.
• 결론: AI 의 편견은 AI 고유의 문제가 아니라, AI 가 배운 우리 사회 (인간) 의 편견을 그대로 반영한 것입니다. AI 는 거울과 같습니다.

💡 5. 결론 및 제언: 완벽한 해결책은 없지만, 관리할 수는 있다

이 연구는 "AI 를 완전히 편견 없이 만들 수 있을까?"라는 질문에 대해 다음과 같이 말합니다.

• 현실적인 접근: AI 는 인터넷에 떠도는 인간의 경험 (그림자) 을 배운 존재이기 때문에, 100% 편견 없는 AI 를 만드는 것은 불가능에 가깝습니다.
• 해결책:
  1. 체크리스트 도입: 의료 AI 를 쓸 때, "이 AI 가 성별 고정관념을 가지고 있나?"를 먼저 점검하는 시스템이 필요합니다.
  2. 프롬프트 (명령어) 전략: AI 에게 "성별 단서를 무시하고 판단해라"라고 명확히 지시하면 편견을 줄일 수 있다는 것을 발견했습니다.
  3. 개발자의 책임: AI 를 만드는 사람들이 훈련 데이터를 만들 때 편견을 줄이려는 노력이 필요합니다.

🌟 한 줄 요약

"의료 AI 는 거울과 같습니다. 우리가 가진 성별 편견을 AI 가 그대로 비추고 있을 뿐입니다. 따라서 AI 를 맹신하기보다, 그 편견을 찾아내고 관리하는 것이 안전한 의료 시스템을 만드는 첫걸음입니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 대규모 언어 모델 (LLM) 은 의료 진단 지원 및 환자 기록 분석에 활용되고 있으나, 학습 데이터에 내재된 편향을 재생산하여 의료 분야에서 해로운 결과 (오진, 부적절한 치료, 건강 격차 심화 등) 를 초래할 수 있습니다.
• 문제점: 기존 LLM 편향 평가 벤치마크는 성별이나 인종과 같은 개별적인 사회적 건강 결정 요인 (SDoH, Social Determinants of Health) 에만 초점을 맞추는 경향이 있습니다. 그러나 실제 임상 환경에서는 여러 SDoH 요소들이 상호작용하며 복합적인 영향을 미치는데, 이러한 요인 간의 상호작용과 맥락 특이적 평가가 부족합니다.
• 핵심 질문: LLM 이 성별 중립적인 SDoH 정보 (직업, 결혼 상태, 생활 습관 등) 만을 입력으로 받을 때, 인간과 유사한 성별 고정관념을 바탕으로 성별을 추론하는지, 그리고 이러한 편향이 어떻게 발현되는지 규명할 수 있는가?

2. 방법론 (Methodology)

2.1 데이터 및 전처리

• 데이터셋: 프랑스의 한 대학 병원으로부터 수집된 1,700 건의 익명화된 임상 기록 중 사회적 이력 (Social History) 섹션을 사용했습니다.
• SDoH 요소: 성별, 거주 상태, 결혼 상태, 자녀 유무, 고용 상태, 직업, 흡연, 음주, 약물 사용, 주거, 교육, 신체 활동, 소득, 인종/출생국 등 14 가지 요소를 포함합니다.
• 성별 중립화 (Gender Neutralization): 프랑스어는 문법적 성별 (남성/여성 명사) 이 명확하여 성별 단서가 될 수 있으므로, 텍스트를 구조화된 키 - 값 쌍으로 변환하고 성별을 제거했습니다.
  • 예: 직업명 'infirmière'(여성 간호사) 를 'infirmier/infirmière'(남녀 간호사) 와 같이 포용적인 형태로 변경하거나 Yes/No 형식으로 이진화하여 성별 단서를 제거했습니다.
• 입력 데이터: 최종적으로 958 건의 임상 기록 (남성 52%, 여성 48%) 을 분석에 사용했습니다.

2.2 태스크 및 모델

• 태스크: 성별 중립화된 SDoH 정보를 입력받아 모델이 환자의 성별을 예측하는 작업입니다.
• 출력 형식: 7 점 리커트 척도 (1=여성, 4=불확실, 7=남성) 로 예측합니다. 이는 회귀 (Regression) 태스크로 간주하여 편향을 정량화합니다.
• 사용 모델: 9 개의 다양한 LLM 을 평가했습니다.
  • 일반 모델: Llama-3.1/3.3, Qwen2.5, Mistral 시리즈 (7B~72B).
  • 의료 특화 모델: OpenBioLLM, Med42, HuatuoGPT.
  • 모든 모델은 동일한 프롬프트와 디코딩 파라미터 (Temperature 1.0 등) 로 실행되었습니다.

2.3 평가 지표

• 편향 점수 (Bias Score): 수정된 RMSE (Root Mean Squared Error) 를 사용하여 예측값이 중립값 (4) 에서 얼마나 벗어나는지를 측정합니다.
  • 음수: 여성 편향, 양수: 남성 편향.
  • 절대값이 클수록 편향이 강함을 의미합니다.
• 연관성 분석: Fisher's exact test 를 사용하여 특정 SDoH 요소 (예: 직업, 흡연 여부) 와 성별 예측 간의 통계적 유의성을 확인했습니다. 오즈비 (Odds Ratio) 를 통해 연관 강도를 측정했습니다.

3. 주요 결과 (Key Results)

3.1 성별 고정관념의 존재 및 모델 크기 영향

• 편향 감지: 모든 모델이 SDoH 정보를 기반으로 성별을 예측할 때 중립값 (4) 에서 유의미하게 벗어난 편향을 보였습니다.
• 모델 크기: 작은 모델 (7B 등) 이 큰 모델 (70B 등) 보다 성별 예측에 대해 더 확신에 차 있으며 (높은 편향 점수), 이는 작은 모델이 제한된 파라미터로 인해 입력 데이터를 처리할 때 더 강한 고정관념에 의존할 수 있음을 시사합니다.
• 의료 특화 모델: 의료 데이터로 파인튜닝된 모델들은 베이스 모델과 유사한 예측 경향을 보였으나, 편향 정도가 약간 더 높았습니다.

3.2 SDoH 와 성별 간의 연관성 (고정관념 패턴)

모델은 다음과 같은 인간 사회의 고정관념과 유사한 패턴을 보였습니다:

• 직업 (Occupation): '노동자 (Workers)'는 남성 예측과, '사무직 (Employees)'과 '주부 (Homemakers)'는 여성 예측과 강하게 연관되었습니다.
• 생활 습관: 흡연 및 음주 사용은 남성 예측과 연관되었습니다.
• 기타: '은퇴 (Retired)'는 남성, '학생 (Student)'은 여성과 연관되는 경향이 있었습니다.
• 모델 간 차이: Mistral-v0.3 은 다른 모델들과 다른 패턴을 보였으며, Qwen 시리즈는 모델 크기에 따라 고정관념을 기록하는 방식이 달랐습니다.

3.3 인간 평가자 비교

• 프랑스 대학생 9 명을 대상으로 한 인간 평가 실험 결과, 인간 평가자들 역시 모델과 유사하게 직업군과 성별 간의 고정관념적 연관을 보였습니다.
• 이는 LLM 의 편향이 단순히 학습 데이터의 통계적 오류가 아니라, 인간 사회에 내재된 사회적 고정관념을 반영하고 있음을 시사합니다.

4. 주요 기여 (Key Contributions)

1. 새로운 프로빙 프레임워크: 익명화된 환자 기록의 SDoH 데이터를 활용하여 성별과 13 가지 다른 SDoH 요소 간의 상호작용을 조사하는 모델 중립적 (Model-agnostic) 프레임워크를 제안했습니다.
2. 상호작용 분석: 기존 연구가 개별 요소를 분리하여 평가했던 것과 달리, **직업 (Occupation)**을 포함한 여러 SDoH 요소가 성별 예측에 미치는 복합적인 영향을 정량화했습니다.
3. 인간 - 모델 비교: 모델의 예측 패턴과 인간 평가자의 판단을 비교하여, LLM 이 인간과 유사한 사회적 고정관념을 내재하고 있음을 실증했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 의료 AI 안전성: 의료 분야에서 LLM 이 성별 중립적인 정보 (직업, 생활 습관 등) 만으로도 성별을 추론하고 이를 바탕으로 진단이나 치료 권고를 할 경우, 내재된 편향이 오진이나 불공정한 자원 배분으로 이어질 수 있음을 경고했습니다.
• 평가 방법론의 확장: 기존에 분리된 요소를 평가하던 방식에서 벗어나, SDoH 요소 간의 상호작용을 고려한 평가가 LLM 성능 및 편향 평가에 필수적임을 주장했습니다.
• 실용적 시사점:
  • 의료 특화 모델이 오히려 편향이 더 클 수 있으므로, 특정 의료 태스크에 맞는 모델 선택과 편향 완화 전략 (프롬프트 엔지니어링 등) 이 필요합니다.
  • 완전히 편향이 없는 LLM 을 만드는 것은 불가능에 가깝지만, 편향을 체계적으로 식별하고 완화하여 안전한 통합을 도모해야 합니다.
• 한계 및 향후 과제: 단일 병원 데이터 사용, 인간 평가자의 다양성 부족, SDoH 요소들의 복합적 상호작용 (Compound effect) 분석 미흡 등이 한계로 지적되었으며, 향후 다양한 언어와 데이터셋으로 연구 범위를 확장할 필요가 있습니다.

이 연구는 LLM 이 의료 맥락에서 어떻게 사회적 고정관념을 재생산하는지 이해하고, 더 안전하고 공정한 의료 AI 시스템을 구축하기 위한 중요한 기초를 제공합니다.