💬 NLP

Assessing Algorithmic Bias in Language-Based Depression Detection: A Comparison of DNN and LLM Approaches

이 연구는 임상 인터뷰에서 우울증을 탐지하기 위해 심층 신경망(DNN)과 거대 언어 모델(LLM)을 비교하며, LLM이 일반적으로 DNN보다 성능이 뛰어나고 성별 편향성이 적은 것으로 나타났으나, 두 방식 모두 여전히 인종적 격차 문제를 겪고 있으며 DNN을 위한 최악 그룹 손실(worst-group loss) 및 LLM을 위한 윤리적 프롬프팅과 같은 특정 공정성 인식 기법들이 부분적인 완화 효과를 제공한다는 점을 밝혀냈다.

원저자: Obed Junias, Prajakta Kini, Theodora Chaspari

게시일 2026-01-28

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Obed Junias, Prajakta Kini, Theodora Chaspari

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

두 가지 서로 다른 유형의 형사가 미스터리를 해결한다고 상상해 보세요: **"이 사람이 우울감을 느끼고 있는가?"**라는 미스터리입니다. 이들은 오직 인터뷰 중 말하는 내용만을 바탕으로 판단합니다.

**형사 A (DNN)**는 고도로 훈련된 전문 주니어 경관과 같습니다. 이들은 수천 권의 정신 건강 서적을 공부했으며, 슬픔을 나타내는 언어의 특정 "규칙"들을 잘 알고 있습니다.
**형사 B (LLM)**는 인터넷의 거의 모든 것을 읽은 초지능적인 범용 천재와 같습니다. 이들은 이 사건만을 위해 특별히 훈련되지는 않았지만, 뉘앙스, 어조, 그리고 맥락을 이해하는 데 매우 뛰어납니다.

이 논문의 연구자들은 어떤 형사가 사건을 더 잘 해결하는지, 그리고 더 중요한 것은, **두 형사 중 누구가 사람들을 공정하게 대하는가?**를 알아보고 싶었습니다. 즉, 그들이 특정 집단(예: 남성 대 여성, 또는 다양한 인종 배경)에 대해 다른 집단보다 더 자주 실수를 저지르는지를 확인하고자 했습니다.

다음은 간단한 비유를 사용한 이들의 조사 내용입니다:

1. 설정: 취조실

형사들에게는 실제 임상 인터뷰 기록인 DAIC-WOZ 데이터셋이 주어졌습니다. 연구자들은 두 가지 주요 "용의자", 즉 편향(Bias)을 조사했습니다:

성별: 남성 대 여성.
인종/민족: 백인 대 아프리카계 미국인 대 히스패닉.

2. 대결: 누가 더 나은가?

결과: **LLM (형사 B)**이 일반적으로 DNN (형사 A)보다 우울증을 더 잘 포착했습니다.

비유: DNN을 교과서를 암기한 학생이라고 생각해보세요. 이들은 정의는 알지만 대화의 "분위기"는 놓칠 수 있습니다. LLM은 행간을 읽을 줄 아는 노련한 상담사와 같습니다.
함정: LLM이 전반적으로 더 똑똑했지만, 여전히 사각지대가 있었습니다. LL-M은 DNN이 거의 완전히 놓쳤던 히스패닉 그룹을 돕는 데는 특히 유능했지만, 아프리카계 미국인과 백인 참가자를 똑같이 대하는 데는 여전히 어려움을 겪었습니다.

3. 편향 수정하기: "훈련"

연구자들은 형사들을 더 공정하게 만들기 위해 "교정"을 시도했습니다.

형사 A (DNN) 수정하기

DNN은 머신러닝 모델이므로, 그 "수식"을 변경하여 강제로 공정하게 만들 수 있습니다. 그들은 두 가지 방법을 시도했습니다:

방법 1: "최악의 그룹 규칙" (Worst-Group Loss). 쉬운 학생들을 얼마나 잘 가르치는지 따위는 상관하지 않고, 오직 "가장 어려운 학생을 통과시킬 수 있는가"만을 따지는 선생님을 상상해 보세요. 모델은 자신이 가장 실패하고 있는 그룹에 집중하도록 강요받았습니다.
- 결제: 이 방법은 효과적이었습니다! 전체적인 정확도를 망가뜨리지 않으면서 점수의 균형을 맞추었습니다.
방법 2: "평균 규칙" (Fairness-Regularized Loss). 이 방법은 동시에 모든 사람에 대해 점수가 같아지도록 노력하는 방식입니다.
- 결과: 이 방법은 형사를 너무 혼란스럽게 만들었습니다. 모두에게 공정해지려고 너무 애쓰다 보니, 오히려 우울증을 감지하는 전체적인 능력이 떨어졌습니다.

형사 B (LLM) 수정하기

LLM은 쉽게 재학습(Retraining)할 수 없으로, 연구자들은 프롬프팅(Prompting)(형사에게 시작 전 특정 지침을 주는 것)을 시도했습니다.

"윤리적 프레이밍" 프롬프트: 연구자들은 LLM에게 "헤이, 성별이나 인종에 관계없이 모두를 평등하게 대하세요. 고정관념을 사용하지 마세요. 단지 단어만을 보세요"라는 메모를 주었습니다.
- 결과: 이 방법은 성별 편향을 해결하는 데 큰 도움이 되었습니다. LLM이 단 하나의 예시(1-shot)와 이 윤리적 메모를 함께 받았을 때, 남성과 여성을 훨씬 더 공정하게 대했습니다.
- 한계: LLM에게 더 많은 예시(3-shot 또는 5-shot)를 주는 것은 편향을 추가로 해결하는 데 도움이 되지 않았습니다. 또한, 이 "윤리적 메모"는 인종에 관한 편향을 해결하는 데는 별 도움이 되지 않았습니다. LLM은 아무리 많은 지시나 예시를 주어도 서로 다른 인종 그룹을 똑같이 대하는 데 여전히 어려움을 겪었습니다.

4. 정의의 대가

시간과 비용 측면에서의 트레이드오프(Trade-off)가 있었습니다.

**형사 A (DNN)**는 믿기 힘들 정도로 빨라서, 한 사건을 해결하는 데 0.002초밖에 걸리지 않았습니다.
**형사 B (LLM)**는 사건당 약 0.68초가 걸렸습니다.
핵심 요점: LLM이 더 느리고 실행 비용이 더 많이 들었지만, 더 빠르고 저렴한 DNN보다 일반적으로 더 정확하며 성별 편향을 수정하기가 더 쉬웠습니다.

요약된 결과

LLM이 더 강력한 형사입니다. 특히 DNN이 완전히 놓쳤던 그룹(히스패닉 참가자 등)에 대해서 말입니다.
편향은 끈질깁니다. 가장 똑똑한 AI(LLM)라 할지라도, 윤리적 지침을 주더라도 서로 다른 인종 그룹을 정확히 똑같이 대하는 데 여전히 어려움을 겪습니다.
"최악의 그룹" 수학적 기법은 정확도를 해치지 않으면서 DNN의 편향을 수정하는 가장 좋은 방법이었습니다.
윤리적 지침은 LLM이 남성과 여성을 공정하게 대하도록 도왔지만, 이는 형사가 한 번에 하나의 예시만을 보고 있을 때만 가능했습니다.

요약하자면: 이 논문은 AI가 우울증을 감지하는 데 점점 더 능숙해지고 있지만, 우리가 누구인지에 따라 의도치 않게 차별하지 않도록 보장하기까지는 아직 갈 길이 멀다는 것을 보여줍니다. 우리가 시도하는 "교정" 방식은 우리가 사용하는 모델이 특화된 모델인지, 아니면 일반적인 거대 모델인지에 따라 크게 달라집니다.

기술 요약: 언어 기반 우울증 탐지에서의 알고리즘 편향성 평가

문제 제기
자연어 처리(NLP)가 언어적 단서를 통한 자동화된 우울증 탐지 분야에서 유망한 경로를 제공하고 있지만, 사회 인구통계학적 집단 간의 알고리즘 편향성에 대한 상당한 우려가 남아 있다. 기존 문헌에 따르면 우울증의 언어적 표식은 성별, 인종, 민족에 따라 다르며, 이는 자동화된 시스템의 불균형한 성능으로 이어질 수 있다. 이전 연구들이 오디오 기반 또는 멀티모달 우울증 탐지의 편향성을 다루었으나, 임상 인터뷰 전사본을 학습한 텍text-only(텍스트 전용) 모델의 편향성을 평가하는 데에는 주목할 만한 공백이 존재한다. 또한, 신흥 대규모 언어 모델(LLM)이 이러한 격차에 미치는 영향과 임상 NLP 맥락 내에서의 편향 완화 전략의 효용성은 아직 충분히 탐구되지 않았다. 본 연구는 DAIC-WOZ(Distress Analysis Interview Corpus/Wizard-of-Oz) 데이터셋을 사용하여 딥 뉴럴 네트워크(DNN) 임베딩과 퓨샷(few-shot) LLM 접근 방식을 비교함으로써, 주요 편향 원인인 성별과 인종/민족에 초점을 맞추어 이 문제를 조사한다.

연구 방법론
본 연구는 PHQ-8(Patient Health Questionnaire-8)으로 점수가 매겨진 임상 인터뷰로 구성된 DAIC-WOZ 데이터셋을 활용한다. 인구통계학적 데이터가 누락된 참가자를 제외한 후, 분석은 성별의 경우 186명, 인종/민족의 경우 184명의 참가자를 대상으로 한다.

모델 아키텍처:
- DNN 기반 접근 방식: 정신 건강 코퍼스에 사전 학습된 도메인 적응 모델인 Mental-RoBERTa를 사용한다. 긴 전사본을 처리하기 위해 청킹(chunking) 전략(80단어의 중첩을 가진 300단어 윈도우)을 사용하였으며, 최종 예측은 다수결 투표(majority voting)로 결정하였다.
- LLM 접근 방식: GPT-4o-mini를 퓨샷 학습에 활용하였다. 본 연구는 우울증의 특정 언어적 단서를 포함하는 유도 프롬프팅(Guided Prompting, GP) 및 스테레오타입을 피하고 형평성 있는 처리를 보장하도록 명시적 지침을 추가한 *윤리적 프레이밍이 포함된 유도 프롬프팅(GP-EF)*을 *비유도 프롬프팅(Unguided Prompting, UP)*과 비교하였다. 실험은 1-shot, 3-shot, 5-shot 설정에서 수행되었다.
편향 완화 전략:
- DNN용: 두 가지 공정성 인식 손실 함수(fairness-aware loss functions)를 구현하였다:
  - 최악 그룹 손실(Worst-Group Loss): 성능이 가장 낮은 하위 그룹의 크로스 엔트로피 손실을 기준으로 모델에 페널티를 부여하여 최악의 성능을 보이는 그룹의 성능을 개선한다.
  - 공정성 정규화 손실(Fairness-Regularized Loss): 하위 그룹별 손실의 최대 격차에 비례하는 페널티 항을 추가한다.
- LLM용: 편향 완화는 프롬프트 엔지니어링(GP 및 GP-EF)과 샷(shot) 수의 변화를 통한 인컨텍스트 학습(in-context learning)을 통해서만 탐색되었다.
평가 지표:
성능은 균형 정확도(Balanced Accuracy, BA), 진양성률(True Positive Rate, TPR), 정밀도(Precision), F1 스코어를 사용하여 측정되었다. 공정성은 $1 - |TPR_{비민감 집단} - TPR_{민감 집단}|$ 으로 정의되는 등가 오차(Equalized Odds, EO)를 통해 정량화되었다. 통계적 유의성은 t-test와 ANOVA를 통해 검증되었다.

주요 기여
본 논문은 다음과 같은 측면에서 해당 분야에 기여한다:

우울증 탐지를 위한 DNN 기반 임베딩과 LLM의 비교 분석을 제공하며, 성능과 알고리즘 공정성을 모두 평가한다.
텍스트 기반 우울증 탐지를 위한 공정성 인식 모델링 제약 조건(손실 함수)을 조사하며, 이는 기존에 표 형식(tabular) 또는 멀티모달 데이터 연구가 주도했던 과제이다.
우울증 탐지를 위해 다양한 프레이밍을 적용한 인컨텍스트 학습 기법을 조사하며, 이는 우울증 탐지 분야에서 이전에 연구되지 않은 접근 방식이다.

결과

성능 비교: LLM은 특히 히스패닉 참가자와 같은 소수 집단에 대해 DNN 기반 임베딩보다 우울증 분류에서 일반적으로 더 우수한 성능을 보였다.
성별 편향:
- DNNs: 완화 전 상당한 성별 격차를 보였다 (EO = 0.85). 최악 그룹 손실은 공정성 정규화 손실에 비해 성능과 공정성 사이의 더 나은 균형을 달 수 있는 결과를 얻었으나, 후자는 정확도의 감소를 대가로 공정성을 개선하였다.
- LLMs: DNN에 비해 감소된 성별 편향을 나타냈다 (1-shot에서 EO = 0.93). GP-EF 전략은 1-shot 설정에서 EO를 더욱 개선하여, 성별에 따른 TPR 차이를 통계적으로 유의미하지 않게 만들었다. 그러나 샷의 수(3 및 5)를 늘리는 것이 격차를 일관되게 더 줄이지는 못했다.
인종/민족 편향:
- DNNs: 상당한 격차가 존재했으며, 디바이어싱(debiasing) 전 히스패닉 참가자의 성능은 우연 수준(chance levels)에 근접했다. 두 가지 손실 함수 모두 히스패닉 및 아프리카계 미국인 그룹의 성능을 개선하였으며, 최악 그룹 손실이 더 우수한 균형을 제공하였다.
- LLMs: LLM은 DNN에 비해 히스패닉 참가자에 대한 전반적인 탐지 성능을 향상시켰으나, 인종적 격차는 지속되었다. 프롬프트 프레이밍(GP, GP-EF)이나 샷 수의 증가 모두 아프리카계 미국인/히스패닉 그룹과 백인 그룹 사이의 격차를 효과적으로 줄이지 못했다.
효율성: DNN 기반 임베딩(샘플당 0.0025초)은 LLM(샘플당 0.68초)보다 현저히 빨랐으나, LLM이 더 우수한 성능과 공정성 결과를 보여주었다.

의의 및 주장
본 논문은 LLM이 전통적인 DNN 임베딩에 비해 우수한 성능과 일반적으로 감소된 성별 편향을 제공하지만, 사회 인구통계학적 격차—특히 인종 그룹 간의 격차—는 두 모델 유형 모두에서 지속된다고 결론짓는다. 본 연구는 편향 완화 전략이 만능(one-size-fits-all)이 아님을 강조한다. 즉, 최악 그룹 손실은 DNN에 효과적이었던 반면, 프롬프트 내의 윤리적 프레이밍은 특정 설정(1-shot 성별 분석)에서 가능성을 보여주었다.

저자들은 이러한 결과가 임상 NLP에서 공정성과 정확도 사이의 균형을 맞추는 작업의 복잡성을 강조한다고 겸허하게 주장한다. 이들은 디바이어싱 전략을 특정 모델 유형과 인구통계학적 맥락에 맞춰 조정할 필요가 있음을 강조한다. 본 연구는 히스패닉 우울증 참가자의 데이터 부족 및 각 카테고리당 두 개의 대표 모델만을 평가했다는 한계를 인정하며, 일반화 가능성을 검증하기 위해 향후 연구에서 더 넓은 범위의 모델과 다국어 데이터셋을 탐색해야 함을 시사한다.