Shiny Stories, Hidden Struggles: Investigating the Representation of Disability Through the Lens of LLMs

기술 요약: 반짝이는 이야기, 숨겨진 고난: LLM 을 통해 본 장애 표현의 탐구

문제 제기
대형 언어 모델 (LLM) 이 인간 페르소나를 시뮬레이션하고 다양한 인구통계학적 집단을 반영하는 텍스트를 생성하는 능력을 입증해 왔음에도 불구하고, 역사적으로 소외된 커뮤니티를 이러한 모델이 어떻게 표현하는지에 대한 심각한 우려가 존재합니다. 이전 연구들은 LLM 에 내재된 부정적인 편향과 고정관념을 광범위하게 문서화해 왔습니다. 그러나 최근의 AI 가드 (embedded AI guards) 와 편향 제거 기법과 같은 안전 장치는 '과잉 보상 (overcompensation)'이라는 다른 형태의 해악을 초래할 수 있습니다. 이 현상은 모델이 부정적인 편향을 피하기 위해 노력할 때, 소외된 집단에 대해 지나치게 긍정적이고 이상화되거나 정제된 묘사를 생성할 때 발생합니다. 이러한 '유해한 긍정성 (toxic positivity)'은 이러한 커뮤니티가 직면한 복잡성, 구조적 도전, 그리고 부정적인 감정적 현실을 지워버려, 영감이라는 겉치장 아래 그들의 실제 경험을 침묵시킵니다. 본 논문은 특히 상당한 차별과 사회경제적 불이익을 겪고 있음에도 편향 문헌에서 상대적으로 덜 주목받아 온 장애 집단의 표현을 구체적으로 다룹니다.

연구 방법
저자들은 실제 장애를 가진 개인의 자기 기술과 AI 가 생성한 묘사를 대비시키는 비교 분석 접근법을 사용합니다. 본 연구는 세 가지 주요 데이터셋을 포함합니다:

1. REDD(실제 세계 데이터셋): 장애를 자처하는 개인들이 작성한 1,250 개의 소셜 미디어 게시물 (Reddit) 모음입니다. 데이터는 여섯 개의 서브레딧 ($r/disability$, $r/blind$, $r/autism$, $r/depression$, $r/deaf$, $r/cerebralpalsy$) 에서 수집되었습니다. 게시물은 1 인칭 관점과 장애에 대한 명시적 언급을 보장하도록 필터링되었으며, 이후 세 명의 인간 어노테이터에 의해 수동으로 주석 처리되었습니다 (Fleiss' Kappa = 0.875).
2. LLMD(LLM-장애 데이터셋): 세 가지 LLM(GEMINI-1.5F, GPT-4O-MINI, MIXTRAL-8B) 이 생성한 인공적 묘사입니다. 이전 페르소나 연구에서 영감을 받은 개방형 프롬프트를 사용하여, 모델들에게 특정 장애 (예: 자폐증, 시각 장애, 우울증) 를 가진 개인이라고 상상하고 소셜 미디어 게시물을 작성하도록 지시했습니다. 이를 통해 1,080 개의 게시물 (모델당 360 개) 이 생성되었습니다.
3. LLMND(LLM-비장애 데이터셋): 동일한 모델들이 장애에 대한 명시적 언급 없이 '일반적인' 개인을 시뮬레이션하여 생성한 1,080 개의 게시물을 통제군으로 사용하여, 장애 페르소나에 특화된 언어 변화를 분리해 냈습니다.

분석 지표
본 연구는 다차원적 정량 및 정성적 프레임워크를 활용합니다:

• 감성 분석: VADER 를 사용하여 게시물을 긍정, 부정, 중립으로 분류합니다.
• 감정 분포: NRC Word-Emotion Association Lexicon(EmoLex) 을 활용하여 여덟 가지 감정 (분노, 두려움, 기대, 신뢰, 놀라움, 슬픔, 기쁨, 혐오) 의 prevalence 를 정량화합니다.
• 우울증 탐지: LT-EDI-ACL2022 공유 작업에서 개발된 최첨단 모델을 적용하여 우울증 수준 (없음, 중등도, 중증) 을 예측합니다.
• 주제 및 어휘 분석: 'Fightin' Words'방법론 (z-점수) 을 사용하여 데이터셋 간 통계적으로 유의미한 구별 어휘를 식별합니다. 이후 이러한 단어들은 GPT-4O-MINI 를 사용하여 클러스터링하여 의미적 차이를 해석합니다.

주요 발견
분석은 장애 표현과 관련하여 두 가지 주요 발견을 도출합니다:

1. 이상화와 유해한 긍정성 (RQ1): LLM 은 실제 장애를 가진 사람들의 자기 기술과 현저하게 다릅니다.

   • 감성: 실제 세계 게시물의 53.06% 가 부정적인 감정을 보인 반면, LLM 이 생성한 게시물은 압도적으로 긍정적이었습니다 (96.39%~99.72%).
   • 우울증: 실제 세계 게시물은 중등도 (26.26%) 와 중증 (20.42%) 우울증 지표가 높은 비율로 나타났습니다. 반면, LLM 은 이러한 신호를 거의 완전히 제거했습니다. GPT-4O-MINI 는 우울증 지표가 있는 게시물을 전혀 생성하지 않았고, MIXTRAL-8B 는 단 하나만 생성했습니다.
   • 어휘적 차이: 실제 세계 게시물은 의학적 고통 (통증, 병원, 수술), 경제적 어려움 (직장, 돈, 노숙), 그리고 부정적인 감정 상태 (혐오, 스트레스, 자살) 와 관련된 단어들로 구분되었습니다. LLM 게시물은 영감과 공동체 (사랑, 감사, 승리, 힘, 포용) 를 나타내는 단어들이 지배적이었으며, 이는 장애를 '살아가는 것'이 아닌 '극복하는 것'에 대한 서사를 반영했습니다.

2. 부정적 편향과 과도한 단순화 (RQ2): 장애인을 시뮬레이션하는 LLM 과 일반인을 시뮬레이션하는 LLM 을 비교할 때, 모델들은 뚜렷한 어조 변화를 보입니다.

   • 감정적 어조: 전반적인 긍정성에도 불구하고, 장애를 시뮬레이션한 게시물은 일반인을 시뮬레이션한 게시물에 비해 부정적 감정 (분노, 슬픔, 두려움) 수치가 현저히 높고, 긍정적 기대와 기쁨 수치는 낮았습니다.
   • 주제적 불균형: LLM 은 장애를 불균형적으로 투쟁, 회복탄력성, 옹호와 연관시키는 반면, 일반 페르소나는 직장, 경력, 여가 (엔터테인먼트, 모험) 와 연관시킵니다. 이는 LLM 이 장애를 주로 '투쟁과 예외성'의 렌즈를 통해 프레임하여 전문적 성취나 여가 관심사와 같은 인간 생활의 다른 측면들을 간과하고 있음을 시사합니다.

의의와 기여
본 논문은 공개 가능한 데이터셋 (REDD 및 LLMD) 을 제공하고 AI 의 '긍정적 편향'에 대한 비판적 고찰을 제시합니다. 저자들은 인간 피드백을 통한 강화 학습 (RLHF) 과 안전 장치가 주도하는 LLM 의 현재 과도한 이상화 경향이 장애의 '숨겨진 고난'을 가리는 '반짝이는' 서사를 만들어낸다고 주장합니다.

이 연구의 의의는 LLM 의 편향 완화가 단순히 부정적 고정관념을 제거하는 것을 넘어, 고통과 구조적 불평등의 현실을 지우는 '유해한 긍정성'을 피하는 데에도 있음을 보여준다는 점에 있습니다. 저자들은 AI 가 진정한 포용과 공감을 육성하기 위해서는 통증, 좌절, 우울증을 포함한 인간 감정의 전체 스펙트럼을 표현할 수 있어야 하며, 정제되고 영감을 주는 서사를 강요해서는 안 된다고 주장합니다. 본 연구는 피상적으로 선의적인 묘사보다 진정한 표현을 우선시하는 AI 정책과 설계 관행의 필요성을 강조하며, 기술적 도구가 소외된 커뮤니티의 미묘하고 종종 어려운 실제 삶과 조화를 이루도록 보장해야 함을 역설합니다.