기술 요약: RAIGen – 텍스트-이미지 생성 모델에서의 희귀 속성 식별

1. 문제 정의

Stable Diffusion과 같은 텍스트-이미지(T2I) 확산 모델은 고충실도 이미지를 생성하지만, 학습 데이터로부터의 편향을 상속하고 증폭한다. 기존 연구들은 사전 정의된 범주(성별이나 인종 등)의 편향을 완화하는 **폐쇄형 접근 방식(closed-set approaches)**이나, 지배적인 다수 속성을 식별하는 **개방형 접근 방식(open-set approaches)**을 통해 이를 해결하려 했으나, 중요한 격차가 남아 있다. 기존 방법들은 모델의 내부 표현(internal representations)에는 인코딩되어 있으나 생성 과정에서 억제되는 **희귀하거나 소수인 속성(rare or minority attributes)**의 체계적인 과소 표현을 간과하고 있다. 이러한 속성들은 사회적, 문화적 또는 스타일적일 수 있으며 반드시 사전에 알려져 있을 필요는 없다. 지배적인 속성을 억제한다고 해서 이러한 과소 표현된 특징들이 자동으로 증폭되는 것은 아니며, 오히려 확률 질량을 불균등하게 재배치하는 경우가 많다. 따라서 사전 정의된 레이블에 의존하지 않고 이러한 "억제된" 소수 속성을 체계적으로 발견할 수 있는 프레임워크가 필요하다.

2. 방법론: RAIGen 프레임워크

RAIGen은 확산 모델의 내부 잠재 표현으로부터 직접 희귀 속성을 식별하기 위해 설계된 레이블 프리(label-free) 프레임워크이다. 이는 세 가지 주요 단계로 작동한다.

2.1. Matryoshka Sparse Autoencoders (MSAEs)를 통한 특징 분해

얽혀 있는 내부 표현을 의미론적으로 해석 가능한 특징으로 매핑하기 위해, RAIGen은 **Matryoshka Sparse Autoencoders (MSAEs)**를 사용한다.

• 입력: 프레임워크는 역방향 샘플링 과정(일반적으로 의미 정보가 가장 잘 표현되는 마지막 타임스텝) 동안 확산 모델로부터 병목 표현($h_t$)을 추출한다.
• 구조: MSAEs는 이러한 표현을 다양한 수준의 세밀도를 가진 계층적 희소 잠재 특징($z$)으로 분해한다.
• 레벨 선택: MSAEs는 미세한 레벨들을 제공하지만, RAIGen은 **가장 거친 레벨(coarsest level)**인 $k_1$에 집중한다. 더 미세한 레벨들은 단일 개념을 국소적이고 취약한 부분 특징들로 파편화하는 경향이 있는 반면, 가장 거친 레벨은 전역적 속성을 식별하기에 적합한 의미론적 및 공간적으로 일관된 특징을 산출한다.

2.2. 소수 점수 (The Minority Score)

노이즈나 일반적인 특징으로부터 희귀하고 의미 있는 속성을 구별하기 위해, RAIGen은 두 가지 상보적인 신호를 결합한 소수 점수(Minority Score)($s$)를 도입한다.

1. 활성화 빈도 ($\nu$): 특정 뉴런이 활성화되는 데이터셋 내 샘들의 비율이다. 희귀한 속성은 낮은 활성화 빈도를 가진 뉴un에 해당한다.
2. 의미론적 독특함 ($d$): 뉴런의 활성화 가중치가 적용된 CLIP 중심점($\mu_i$)과 전체 데이터셋 중심점($\mu_{D_c}$) 사이의 코사인 거리이다. 이는 해당 뉴런이 데이터셋의 평균적인 의미론에서 유의미하게 벗어난 개념을 나타내도록 보장한다.

점수는 다음과 같이 계산된다:
$$s(z) = d \odot (1 - \nu)$$
이 공식은 드물게 활성화되면서 동시에 의미론적으로 독특한 뉴런들을 우선순위에 둔다.

2.3. 발견 및 검증 파이프라인

• 순위 매기기: 뉴런들은 소수 점수에 따라 순위가 매겨진다.
• 중복 제거: 압축적이고 다양한 집합을 보장하기 위해, 뉴런 중심점 간의 쌍별 코사인 거리를 통해 중복성을 평가한다. 유사한 의미를 가진 뉴들은 필터링되어, 가장 높은 점수를 가진 대표 뉴론만을 남긴다.
• 해석 가능성: 선택된 뉴런에 대해 상위 활성화 이미지를 MSAE 활성화 히트맵과 함께 시각화한다. 발견된 속성을 설명하기 위해 멀티모달 거대 언어 모델(MLLM)을 사용하여 인간이 읽을 수 있는 주석을 생성한다.
• 레이블 프리 특성: 이 과정은 사전 정의된 소수 범주나 속성 레이블을 요구하지 않으며, 오직 모델의 내부 표현과 독특함 측정을 위한 사전 학습된 의미론적 사전(CLIP)에만 의존한다.

3. 주요 기여

1. 최초의 레이블 프리 프레임워크: 저자들의 지식 범위 내에서, RAIGen은 사전 정의된 소수 범주를 요구하지 않는 확산 모델의 희귀 속성 식별을 위한 최초의 프레임워크이다. 이는 초점을 지배적인 편향을 식별하는 것에서 모델에 인코딩된 억제된 소수 특징을 발견하는 것으로 전환한다.
2. 새로운 소수 메트릭: 뉴런 활성화 빈도와 의미론적 독독성을 결합하여 과소 표현된 개념을 식별하는 신뢰할 수 있는 대리 지표로 검증된 메트릭을 제안한다.
3. 체계적인 감사 및 증폭: RAIGen은 여러 아키텍처(Stable Diffusion 1.4, 2, XL, FLUX.1-schnell)에 걸쳐 고정된 공정성 범주를 넘어선 속성을 드러내는 능력을 입증한다. 또한, 가벼운 프롬프트 개입을 통해 이러한 희귀 속성을 표적 증폭할 수 있게 한다.

4. 실험 결과

저자들은 WinoBias(직업 기반) 및 COCO(다양한 장면) 프롬프트를 사용하여 Stable Diffusion v1.4, SDXL, FLUX.1-schnell에 대해 RAIGen을 평가하였다.

• 휴리스틱 검증: 알려진 정답(ground-truth) 희귀 요인이 존재하는 통제된 토이 환경에서, 저자들은 MSAE에서 가장 빈번하게 적게 활성화되는 잠재 변수가 희귀한 특징에 불균형적으로 매핑됨을 보여주었으며(Spearman 상관계수 $\rho \approx 0.991$), 이를 통해 활성화 빈도가 희귀성의 대리 지표임을 검증하였다.
• 정량적 성능: WinoBias 및 COCO에서 RAIGen이 발견한 속성들은 OpenBias가 식별한 다수 속성(약 0.94)에 비해 현저히 낮은 "속성 존재성(Attribute Presence)"(약 0.20)을 보였으며, 이는 RAIGen이 억제된 특징을 고립시킨다는 것을 확인시켜 준다.
• 정성적 발견: RAIGen은 다음과 같은 다양한 소수 속성을 성공적으로 찾아냈다:
  • 사회적/공정성: 여성 의사, 여성 보안관.
  • 맥락적/스타일적: 액자에 담긴 초상화 속 의사, 의료 차트를 든 의사, 거대한 연기가 피어오르는 기차, 모션 블러가 있는 측면 기차, 아프로 컬리(afro-curly) 질감의 머리카락을 가진 여성.
  • 교차 아키텍처: 방법론은 트랜스포머 기반 모델(FLUX.1-schnell)에도 일반화되었으나, U-Net 아키텍처에 비해 히트맵이 다소 퍼지는 경향을 보였다.
• 사용자 연구: 25명의 참가자를 대상으로 한 연구는 RAIGen이 발견한 속성들이 지각적으로 희귀함을 확인했다. 5가지 직업에 대해, 참가자들은 생성된 이미지 10장 중 평균 3장 미만에서 이러한 속성이 나타난다고 보고하였으며, 이는 이러한 특징들이 인코딩되어 있지만 표준 샘플링에서는 제대로 표현되지 않음을 검증한다.
• 증폭: RAIGen의 주석을 사용하여 프롬프트를 수정함으로써 속성 존재성 편차를 실질적으로 감소시켰다(예: SD v1.4에서 0.50에서 0.22로 감소). 이는 소수 묘사를 재도입하는 것이 과소 표현된 모드의 커버리지를 효과적으로 높일 수 있음을 입증한다.

5. 의의 및 주장

본 논문은 RAIGen을 생성 모델에 대한 **포괄적인 감사(comprehensive auditing)**를 위한 기초적인 도구로 포지셔닝한다. 그 의의는 다음과 같다:

• 격차 해소: 알려진 범주나 다수 경향만을 다루는 기존 편향 완화 도구의 한계를 해결하여, 모델의 잠재 공간에 존재하는 "알려지지 않은 미지의 것(unknown unknowns)"을 발견할 수 있게 한다.
• 표현에 근거한 발견: 외부 세계 모델이 아닌 내부 모델 표현에 기반을 둠으로써, RAIGen은 모델이 실제로 학습했으나 표현하지 않기로 선택한 특징을 식별한다.
• 실용적 유용성: 개발자가 모델을 재학습시키지 않고도 생성된 출력의 다양성을 체계적으로 개선할 수 있도록 표적 증폭 메커니즘을 제공한다.

저자들은 RAIGen이 모델에 이미 인코딩된 속성만을 표면화할 수 있다는 점을 명시하며 신중한 입장을 유지한다. 즉, 모델이 전혀 학습하지 못한 사회적으로 중요한 소수 집단을 발견할 수는 없다. 저자들은 RAIGen이 외부의 의미론적 사전(LLM 기반 도구 등)을 보완하여 과소 표현에 대한 완전한 뷰를 제공하는 하이브리드 감사 프레임워크의 구성 요소로 간주되어야 한다고 제안한다. 또한, 민감하거나 스테레오타입이 섞인 이미지를 의도적으로 생성하는 등의 오용 가능성을 인정하며, 거버넌스와 안전장치의 필요성을 강조한다.