Beyond wheelchairs and blindfolds: Investigating disability stereotypes in T2I models with INCLUDE-BENCH

기술 요약: INCLUDE-BENCH – T2I 모델에서의 장애인 스테레오타입 조사

문제 정의
텍스트-투-이미지(T2I) 모델은 콘텐츠 생성 능력에서 상당한 역량을 입증해 왔으나, 학습 데이터에 존재하는 사회적 편향을 재현하고 증폭하는 것으로 알려져 있다. 기존 연구들은 성별, 인종, 연령 및 문화적 표현과 관련된 편향을 다양한 직업적 또는 시나리오 기반 맥락 내에서 광범ك하게 평가해 왔다. 그러나 장애(disability)는 이 영역에서 체계적으로 과소 탐구된 상태로 남아 있다. 기존의 평가 방식은 스테레오타이핑에 대한 사회학적 정의와 일치하지 않는 경우가 많아, 장애인(PWD)에 대한 표현적 해악을 원칙적으로 평가하는 데 한계를 보인다. 현재의 문헌에 따르면 T2I 모델은 장애인을 좁고 정형화된 모습으로 묘사하는 경향이 있으며, 이는 주로 노인, 슬픈 표정, 그리고 수동 휠체어와 같은 구식 보조 기구에 의존하는 모습으로 나타난다. 이는 전 세계 인구의 약 16%를 차지하는 장애인 커뮤니티의 다양성을 반영하지 못한다.

방법론: INCLUDE-BENCH
저자들은 이러한 격차를 해결하기 위해 장애 관련 편향을 평가하기 위한 최초의 대규모 벤치마크인 INCLUDE-BENCH(INCLUsive Disability Evaluation)를 소개한다. 이 방법론은 데이터셋 구축, 이미지 생성, 다중 모드(multimodal) 평가로 구성된 구조화된 파이프라인을 포함한다.

• 데이터셋 구축: 본 벤치마크는 결함(impairment), 교차적 정체성, 그리고 맥락의 영향을 분리하기 위해 네 가지 서브셋으로 구성된 352개의 프롬프트로 이루어져 있다.

  1. 맥락 없음 (No Context): 환경적 단서가 없는 기본 표현.
  2. 맥락 없음 + 편향 (No Context + Bias): 교차적 속성(성별, 인종, 연령)을 도입.
  3. 맥락만 있음 (Only Context): 정적인 공간 설정(예: 박물관, 집, 공원)을 도입.
  4. 행동 (Action): WHO의 국제 기능·장애·건강 분류(ICF)에 기반하여, 이동성, 의사소통, 자기 돌봄과 같은 영역에서의 행위 주체적(agentic) 표현을 테스트함.
     프롬프트는 결함의 특이성(일반적, 이동성, 감각), 교차적 속성, 환경적 맥락이라는 세 가지 축을 따라 변화한다. 본 연구는 시각적으로 관찰 가능한 특성(예: 시각장애, 청각장애, 이동성 장애, 시청각 중복장애, 언어장애)을 가진 결함에 집중하며, 시각적으로 덜 명확한 인지 장애는 제외한다.

• 이미지 생성: 저자들은 17개의 최첨단 T2I 모델(Stable Diffusion, FLUX 및 기타 제품군에 속하는 15개의 오픈 소스 모델과 2개의 폐쇄형 모델 포함)에 대해 352개의 프로프트를 실행하여 119,680개의 이미지를 생성했다. 각 프롬프트에 대해 무작위 시드를 사용하여 20개의 이미지를 생성했다.

• 평가 지표:

  • 시각적 표현 분석: 생성된 이미지는 SAM(Segment Anything Model)을 사용하여 사람 중심 영역을 크롭(crop)하는 과정을 거쳤다. 이들은 반복되는 시각적 패턴을 식도하기 위해 MiniBatchKMeans를 사용하여 클러스터링되었다. 클러스터의 특성을 규명하고 공유된 시각적 단서를 토큰 빈도를 통해 식별하기 위해 Qwen3-VL을 사용하여 이미지 캡션을 생성했다.
  • 교차적 분석: 인구통계학적 속성(인종, 연령, 성별)은 시각적 질의응답(VQA)을 통해 추출되었다. 저자들은 특정 정체성이 장애 그룹에서 나타나는 빈도를 비장애인 기준선과 비교하여 상대적 외형 비율($R_{i,g}$)을 계산했다.
  • 장애 의미론적 정렬 (Disability Semantic Alignment): 생성된 이미지와 장애 조건부 프롬프트 사이의 의미론적 정렬 강도를 결정하기 위해 CLIPScore를 사용했다.
  • 스펙트럼 이미지 다양성: 주어진 프롬프트에 대한 생성된 이미지 세트 내의 고유한 시각적 요소의 다양성을 측정하기 위해 CLIP 임베딩을 기반으로 한 Vendi Score를 사용했다.
  • 스테레오타입 내용 모델 (SCM) 점수: 시각적 표현을 사회학적 스테레오타입 내용 모델과 연결하기 위해 도입된 새로운 지표이다. 이 모델은 따뜻함(Warmth)(사회성, 도덕성)과 유능함(Competence)(능력, 주체성)이라는 두 가지 차원을 따라 인식을 평가한다. 점수는 이미지 임베딩이 이러한 차원에 대한 긍정적 및 부정적 텍스트 벡터와 얼마나 정렬되는지를 계산한다.

주요 결과
15개의 오픈 소스 모델과 2개의 폐쇄형 모델을 평가한 결과 네 가지 주요 결과가 도출되었다:

1. 휠체어 묘사의 지배적 현상: 모든 모델에서 이동성 장애 및 기본 장애 프롬프트는 압도적으로 휠체어 묘사를 생성한다. 이러한 시각적 약칭(visual shorthand)은 가장 흔한 진단적 특징이며, 이는 표현의 다양성을 크게 감소시킨다.
2. 정렬-다양성 트레이드오프 (Alignment-Diversity Trade-off): 의미론적 정렬과 시각적 다양성 사이에는 명확한 역관계가 존재한다. 물리적이고 일반적인 장애 프롬프트(예: "Mobility Impaired", "Disabled")는 가장 높은 CLIPScore(텍스트와의 강력한 정렬)를 달면서도 가장 낮은 Vendi Score(낮은 다양성)를 보인다. 반면, 감각 장애는 중간 정도의 정렬을 보이지만, 특히 의사소통 및 인지 작업에서 더 높은 다양성을 나타낸다.
3. 인구통계학적 왜곡 및 교차적 편향: 모델들은 체계적으로 고령의 백인을 과잉 대표하며, 특히 이동성 및 가사 맥락에서는 고령의 백인 여성을, 공공 또는 활동적 맥락에서는 고령의 백인 남성을 과잉 대표한다. 젊은 층과 비백인 인구 집단은 비장애인 기준선에 비해 장애 조건부 생성에서 현저히 적게 나타난다.
4. SCM을 통한 스테레오타입 재생: 도입된 SCM 점수는 T2I 모델이 실제 세계의 스테레오타입적 연상을 반영한다는 것을 보여준다. 이동성 장애 및 휠체어와 관련된 이미지는 비장애인 기준선에 비해 따뜻함과 유능함 모두에서 낮게 인식된다. 흥로하게도, 감각적("보이지 않는") 장애는 이동성 장애보다 더 높은 유능함과 따뜻함을 가진 것으로 묘져졌으나, 여전히 비장애인 묘사보다는 낮았다.

의의 및 기여
본 논문은 다음과 같은 기여를 주장한다:

• INCLUDE-BENCH: 다양한 정적 및 동적 맥락에서 장애 편향을 평가하는 포괄적이고 대규모인 11만 9천 개의 이미지를 포함한 벤치마크를 구축하였으며, 이는 기존 연구의 맥락적 평가 부재를 해결한다.
• 편향에 대한 실증적 증거: 본 연구는 T2I 모델이 레이블 정렬을 극대화하기 위해 좁고 매우 진단적인 시각적 특징(휠체어 및 안대 등)에 의존하며, 그 결과 스테레오타입적이고 인구통계학적으로 균질한 묘사를 초래한다는 강력한 증거를 제공한다.
• 방법론적 혁신: SCM 점수의 도입은 따뜻함과 유능함에 대한 암묵적 사회적 판단을 정량화하기 위한 원칙적이고 다중 모드적인 방법을 제시하며, 기술적 출력물을 사회학적 프레론과 연결한다.
• 구조적 변화 촉구: 저자들은 이러한 편향이 서로 다른 모델 아키텍처 전반에 걸쳐 구조적으로 내재되어 있다고 결론짓는다. 그들은 현재의 T2I 시스템이 단순히 장애를 반영하는 것이 아니라, 단순화되고 사회적으로 계층화된 서사를 재생산한다고 주장한다. 본 논문은 더 공정한 시각적 표현을 달려하기 위해 편향 인식 설계와 평가의 필요성을 강조하며, 현재의 완화 전략이 다양성이나 스테레오타입 감소 측면에서 제한적인 개선만을 가져온다는 점을 지적한다.

본 연구는 규모 문제로 인해 자동화된 지표에 의존한다는 점(지표 자체가 편향을 가질 수 있음), 장애인(PWD)에 의한 인간 주석(human annotation)을 배제했다는 점, 그리고 시각적으로 드러나는 장애에 집중했다는 점 등의 한계를 인정하며 신중한 범위를 유지한다. 향-후 연구로는 발견된 내용이 실제 커뮤니티의 인식과 일치하는지 확인하기 위해 장애인 중심의 평가가 포함될 것을 제안한다.