Patterns of genAI bias in guiding prospective undergraduate students: a study of UK neuroscience programmes

이 논문은 UK 신경과학 학부 과정에 대한 genAI 추천을 분석한 결과, 지원자의 학점과 학교 유형에 따라 엘리트 기관 추천과 성별 고정관념 언어가 체계적으로 편향되어 기존 교육 및 사회경제적 불평등을 강화할 위험이 있음을 밝혔습니다.

핵심

이 논문은 **"생성형 AI(챗봇) 가 대학생 진학을 도와줄 때, 사실은 어떤 편견을 가지고 학생들을 추천하는지"**를 조사한 연구입니다.

마치 AI 가 학생들에게 "너는 이 학교에 가라"라고 조언해주는 '디지털 진로 상담사' 역할을 한다고 상상해 보세요. 이 연구는 그 상담사가 정말 공정하게 조언해주는지, 아니면 학생의 성별이나 성적에 따라 다르게 말해버리는지 확인했습니다.

이 연구의 핵심 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 실험 상황: AI 상담사에게 216 번의 질문을 던지다

연구진은 **'신경과학 (Neuroscience)'**이라는 전공을 예로 들었습니다. 그리고 AI 챗봇 3 개 (ChatGPT, Copilot, Gemini) 에게 총 216 가지의 다른 상황을 만들어 질문을 보냈습니다.

• 상황 예시: "저는 여자고, 성적이 A*AA(최상위) 인데, 연구가 중요해요" vs "저는 남자고, 성적이 BBC(중하위) 인데, 학생 만족도가 중요해요"
• 결과: AI 는 총 3,240 개의 학교를 추천해 주었습니다.

2. 주요 발견 1: "성적"과 "관심사"가 AI 의 말을 바꾼다

가장 놀라운 점은 학생의 성별보다, 학생의 '성적'과 '관심사'가 AI 의 답변을 훨씬 더 크게 바꿨다는 것입니다.

• 성적이 좋은 학생을 만나면: AI 는 마치 강렬하고 남성적인 어조로 "이 학교는 최고야! 연구가 엄청 잘되고, 경쟁도 치열해!"라고 말합니다. 마치 "너는 영웅이 될 수 있어, 도전해!"라고 격려하는 듯한 느낌입니다.
• 성적이 낮거나 '입시 지원 (Widening access)'을 중요하게 생각하는 학생을 만나면: AI 는 부드럽고 여성적인 어조로 "이 학교는 친구들이랑 잘 지내기 좋고, 만족도가 높아"라고 말합니다. 마치 "너는 편안하고 따뜻한 곳에서 공부하면 돼"라고 위로하는 듯한 느낌입니다.

비유: 마치 스타일리스트가 부유한 고객에게는 "이 명품은 당신을 더 빛나게 해줄 거야"라고 강렬하게 말하고, 예산이 적은 고객에게는 "이 옷은 편안하고 실용적이에요"라고 부드럽게 말해주는 것과 비슷합니다. AI 는 학생의 '가치'를 성적과 관심사로 판단해 다른 옷을 입혀주는 것입니다.

3. 주요 발견 2: 추천받은 학교도 달랐다

AI 가 추천한 학교의 성격을 보면 편향이 명확하게 드러납니다.

• 남성적인 어조 (성적 우수, 연구 중시) 를 들은 경우: AI 는 **엘리트 학교 (러셀 그룹, 옥스브리지)**를 추천했습니다. 입학 기준이 매우 높고, 연구 실적이 뛰어난 곳들입니다.
• 여성적인 어조 (학생 만족도 중시) 를 들은 경우: AI 는 학생들이 학교 생활을 더 즐기는 학교를 추천했습니다. 연구 실적이 최고는 아니더라도, 학생들이 "학교가 좋아요"라고 평하는 곳들입니다.

비유: AI 는 부유한 고객에게는 '명품 백'을, 일반 고객에게는 '편안한 운동화'를 추천하는 것과 같습니다. 물론 운동화도 좋지만, AI 는 "너는 운동화만 신어도 돼"라고 말하며, 명품 백을 신을 기회를 아예 주지 않을 수도 있습니다.

4. 주요 발견 3: "성별"은 크게 중요하지 않았다

재미있는 점은, 학생이 남자든 여자든 AI 는 크게 상관하지 않았다는 것입니다.
오히려 "성적이 좋은 남자든 여자든" AI 는 남성적인 어조로 연구 중심의 학교를 추천했고, **"성적이 낮은 학생"**은 여성적인 어조로 만족도 높은 학교를 추천했습니다. 즉, AI 는 학생의 성별 자체보다 **"그 학생이 얼마나 '유망해 보이는가 (성적/관심사)'"**에 따라 편견을 적용했습니다.

5. 결론: AI 가 불평등을 더 깊게 만들 수 있다

이 연구는 AI 가 학생들에게 조언을 줄 때, 이미 존재하는 사회적 불평등 (부유한 학교 vs 일반 학교, 엘리트 vs 비엘리트) 을 더 깊게 파고들 수 있다고 경고합니다.

• 위험성: AI 가 "너는 이 엘리트 학교에 갈 자격이 없어, 대신 이 학교로 가"라고 말하면, 학생들은 그 말을 믿고 더 낮은 학교만 지원하게 될 수 있습니다. 이는 AI 가 불공정한 진로 상담사가 되어, 사회적 이동성을 막을 수 있다는 뜻입니다.
• 제안: 우리는 AI 가 학생을 대할 때, 어떤 기준으로 조언을 하는지 투명하게 공개하고, 규제를 통해 공정한 조언을 하도록 해야 합니다.

한 줄 요약

"AI 챗봇은 학생의 성적과 관심사에 따라 '남성적인 어조로 엘리트 학교'를 추천하거나, '여성적인 어조로 만족도 높은 학교'를 추천하는 편향을 보였습니다. 이는 AI 가 학생의 잠재력을 제한하고 사회적 불평등을 고착화할 수 있음을 경고합니다."

기술 요약

**논문 기술적 요약: 영국 신경과학 학부 진학 지도에 있어 생성형 AI **(genAI)

**1. 연구 배경 및 문제 제기 **(Problem)

• 배경: 생성형 인공지능 (genAI, 예: ChatGPT, Copilot, Gemini) 이 고등교육 (HE) 지원자들에게 대학 및 전공 선택을 위한 정보원으로 급격히 확산되고 있습니다. 영국 내 고등학생 및 대학생의 genAI 사용률은 매우 높습니다.
• 문제: genAI 가 교육적 조언을 제공할 때 내재된 편향 (bias) 이 어떻게 작용하는지에 대한 체계적인 연구는 부족합니다. 특히, 지원자의 배경 (성별, 학력, 학교 유형 등) 에 따라 AI 가 추천하는 대학 프로그램과 사용된 언어에 체계적인 편향이 존재할 가능성이 제기됩니다. 이러한 편향은 기존의 교육적, 사회경제적 불평등을 강화할 위험이 있습니다.
• 목표: 본 연구는 UK 의 대표적인 학과인 '신경과학 (Neuroscience)'을 사례로 삼아, 다양한 지원자 시나리오에 대해 세 가지 주요 genAI 챗봇이 어떻게 편향된 추천과 언어를 생성하는지 정량적으로 분석하는 것을 목표로 합니다.

**2. 연구 방법론 **(Methodology)

• 실험 설계:
  • 프롬프트 설계: 지원자의 특성 (성별, 학생 유형 [A-레벨 vs 성인], 학교 유형 [공립 vs 사립], 예상/실제 성적, 이수 과목의 과학적 강도, 우선순위 [연구 vs 교육 vs 학생 만족도]) 을 변인 (factor) 으로 하는 완전 요인 설계 (fully factorial design) 를 적용하여 총 216 개의 프롬프트를 생성했습니다.
  • 대상 모델: ChatGPT-4o, Microsoft Copilot Chat, Google Gemini Flash 2.5 등 3 개의 주요 챗봇을 사용했습니다.
  • 데이터 생성: 216 개의 프롬프트를 3 개의 챗봇에 각각 입력하여 총 648 개의 응답을 생성했고, 각 응답당 5 개의 대학 추천을 포함하여 총 3,240 개의 개별 프로그램 추천 데이터를 확보했습니다.
• 분석 기법:
  • 텍스트 분석: 응답의 길이, 가독성 (FKGL, SMOG 지수), 성별 코딩 언어 (Gender Decoder 도구 사용) 분석.
  • N-gram 분석: 빈도수가 높은 단어 구 (n-grams) 를 추출하여 '연구 우수성', '입시 기준', '학생 피드백' 등 16 가지 개념으로 분류하고 편향 패턴을 분석.
  • **명성 지표 **(Markers of Esteem) 추천된 대학의 객관적 지표 분석:
    • REF21: 연구 우수성 프레임워크 (연구 강도).
    • TEF23: 교육 우수성 프레임워크 (교육 품질).
    • NSS24: 전국 학생 설문조사 (학생 만족도).
    • 입시 기준: UCAS 포인트 및 Russell Group/Oxbridge 소속 여부.
  • 통계 분석: 일반 선형 모형 (GLM), 카이제곱 검정 (Chi-squared test) 등을 사용하여 변수 간 관계를 규명했습니다.

**3. 주요 연구 결과 **(Key Results)

• 성별 코딩 언어의 편향:
  • 지원자의 실제 성별과 무관하게, 높은 성적을 가진 지원자나 연구를 우선순위로 둔 지원자에 대해 AI 는 **남성적 언어 **(masculine-coded language, 예: '리드', '논리', '독립') 를 더 많이 사용했습니다.
  • 반면, 낮은 성적이나 '학생 의견'을 중요시하는 프롬프트에는 **여성적 언어 **(feminine-coded language, 예: '지원', '협력', '이해') 가 더 많이 사용되었습니다.
• 추천 대학의 편향:
  • 엘리트 기관 편향: 높은 성적, 사립학교 출신, 연구 우선순위 지원자에게는 Russell Group 및 Oxbridge(옥스브리지) 같은 엘리트 기관이 더 많이 추천되었습니다.
  • 입시 기준: 높은 성적 지원자에게는 실제 점수보다 높은 입시 기준을 가진 대학이 추천되는 경향이 있었으며, 연구 우선순위 지원자에게는 연구 강도가 높은 대학이 추천되었습니다.
  • 성별 코딩과 명성 지표의 상관관계:
    • 남성적 언어가 사용된 응답은 높은 입시 기준과 **강한 연구 실적 **(REF21) 을 가진 대학과 연관되었습니다.
    • 여성적 언어가 사용된 응답은 **높은 학생 만족도 **(NSS24) 를 가진 대학과 연관되었습니다.
• 출처 및 정보 신뢰도:
  • ChatGPT 는 Reddit 및 위키백과와 같은 사용자 생성 콘텐츠 (UGC) 를 빈번히 인용했으며, 이는 특히 여성 지원자나 사립학교 지원자 프롬프트에서 더 두드러졌습니다.
• 모델 간 차이:
  • 사용된 챗봇 (ChatGPT, Copilot, Gemini) 에 따라 추천되는 대학의 입시 기준, 연구 강도, 교육 평판 등에서 유의미한 차이가 발생했습니다.

**4. 주요 기여 및 발견 **(Key Contributions)

• 정량적 편향 규명: 고등교육 진학 지도라는 구체적인 맥락에서 genAI 의 편향이 단순히 언어적 수준을 넘어, **실제 추천되는 대학의 질적 수준 **(입시 난이도, 연구력, 만족도)임을 최초로 체계적으로 입증했습니다.
• 성별 코딩의 새로운 발견: 지원자의 성별 입력과 무관하게, **성적과 우선순위가 AI 의 언어 스타일 **(남성적/여성적)을 결정하며, 이 언어 스타일이 다시 추천된 대학의 특성 (연구 중심 vs 학생 만족도 중심) 과 연결된다는 메커니즘을 발견했습니다.
• 불평등 재생산 위험: AI 가 높은 성적과 사립학교 배경을 가진 지원자에게는 '연구와 경쟁' (남성적/엘리트) 을, 낮은 성적이나 공립학교 배경 지원자에게는 '포용과 지원' (여성적/비엘리트) 을 강조함으로써, 기존의 사회경제적 불평등을 강화할 수 있음을 경고했습니다.

**5. 의의 및 시사점 **(Significance)

• 정책적 함의: 고등교육 정책 입안자와 대학들은 genAI 가 진학 지도에 미치는 영향을 인지하고, 투명성, 규제, 감독이 필요함을 시사합니다. 특히 AI 추천 알고리즘의 편향을 완화하기 위한 가이드라인 마련이 시급합니다.
• 사회적 영향: 이러한 편향은 장기적으로 사회 이동성 (social mobility) 을 저해하고, 국제적 차원에서도 '글로벌 노스 (Global North)'의 엘리트 기관을 과도하게 선호하는 경향을 강화하여 교육 기회의 불평등을 심화시킬 수 있습니다.
• 향후 방향: genAI 의 교육적 활용이 증가하는 상황에서, AI 의 편향을 감지하고 수정할 수 있는 기술적·제도적 장치가 고등교육 생태계에 필수적입니다.

결론적으로, 본 연구는 genAI 가 중립적인 정보 제공자가 아니라, 지원자의 배경에 따라 체계적으로 편향된 진학 조언을 제공하여 기존의 교육적 불평등을 재생산할 수 있음을 경고하는 중요한 실증 연구입니다.