기술 요약: CO-ALIGN – 개념 그래프를 이용한 T2I 확산 모델의 효율적인 편향 완화

1. 문제 정의

텍스트-투-이미지(T2I) 확산 모델은 학습 코퍼스(예: LAION-5B)로부터 상속된 인구통계학적 편향(성별, 인종, 연령)을 체계적으로 재현하고 증폭한다. 이러한 편향은 단순한 표면적 아티팩트가 아니라, 편향된 개념이 고정관념적 속성과 불균형적인 신경 기질(neural substrate)을 공유하는 모델의 학습된 개념 연관성의 구조적 특성이다.

기존의 편향 완화 기술은 일반적으로 생성 파이프라인의 단일 단계에서만 개입한다:

• 텍스트 인코더 전용: 임베딩을 미세 조정하거나 추론 시 신호를 유도하여 편향된 방향을 제거한다. 그러나 이는 디노이저(denoiser)의 내부 개념 조직을 변경하지 않은 채로 남겨둔다. 결과적으로 디노이저는 일관성 있게 해석할 수 없는 분포 외(out-of-distribution) 조건부 신호를 받게 되어, 의미론적으로 일관성이 없는 출력을 생성하게 된다.
• 디노이저 전용: 크로스 어텐션 가중치나 잠재 공간을 편집하여 프롬프트를 재경로화한다. 하지만 텍는 인코더는 여전히 정보가 부족한 프롬프트(예: "간호사")를 편향된 속성 임베딩으로 라우팅하며, 이는 디노이저 측의 교정을 부분적으로 무효화한다.

식별된 핵심 문제는 텍스트 인코더와 디노이저를 독립적인 교정 대상으로 취급하는 것이 최적이 아니라는 점이다. 한쪽을 교정하면서 다른 한쪽을 교정하지 않으면 이들의 기하학적 정렬이 깨지며, 이는 공정성 개선이 의미론적 불일치의 급격한 증가로 이어지는 트레이드오프를 초래한다.

2. 방법론: CO-ALIGN

저자들은 양쪽의 내부 개념 온톨로지를 타겟 토폴로지로 정렬함으로써 편향을 완화하는 프레임워크인 **CO-ALIGN (Concept Ontology Alignment)**을 제안한다. 핵심 가설은 편향이 개별 표현이 아닌 개념 간의 관계에 존재하며, 효과적인 디바이어싱(debiasing)을 위해서는 구성 요소 간의 공동 기하학적 조화가 필요하다는 것이다.

A. 개념 그래프 추출

CO-ALIGN은 개념을 노드로, 공유된 신경 기질 강도를 엣지로 하는 가중치 개념 그래프($G$)를 양쪽 구성 요소에 대해 구축한다.

• 텍스트 인코더 그래프 ($G_{TE}$): 개념 어휘 $C$에 대한 $L_2$ 정규화된 평균 풀링된 마지막 은닉 상태 임베딩의 쌍별 코사인 유사도로 정의된다.
• 디노이저 그래프 ($G_U$): "개념 뉴런 핑거프린트(concept neuron fingerprints)"를 사용하여 정의된다. 저자들은 특정 개념에 결정적인 크로스 어텐션 투영 행렬($W^K, W^Q, W^V$) 내의 희소한 파라미터 하위 집합(개념 뉴런)을 식별한다. 그래프 엣지는 이러한 뉴런들의 레이어 및 헤드 전반에 걸친 마스킹된 그래디언트 프로파일(핑거프린트)의 평균 코사인 유사도로 계산된다.

B. 정렬 목적 함수

프레임워크는 현재의 개념 그래프($A$)를 원하는 토폴로지(예: "간호사"와 "남성 간호사" 사이의 거리를 "여성 간호사"와 동일하게 설정)를 인코딩하는 타겟 인접 행렬($A_{GT}$)로 정렬한다.

• 미분 가능한 랭킹 손실 ($L_{rank}$): 감독된 개념의 부분 집합에 대해 행 단위로 작동한다. 이는 현재의 유사도 순위를 $A_{GT}$에서 유도된 하드 랭크 타겟에 맞추기 위해 미분 가능한 시그모이드 쌍별 비교를 통한 소프트 랭크를 사용한다.
• 정적 앵커 손실 ($L_{anchor}$): 앵커 개념(예: 특정 속성 변이)의 드리프트를 방지하기 위해 정렬 전의 표현으로부터의 편차에 페널티를 부여한다.
• 보존 손실 ($L_{pres}$): 참조 쌍에 대한 표준 노이즈 예측 손실로, 모델이 편집 범위 외의 개념에 대해 파괴적 망각을 겪지 않도록 보장한다.

전체 목적 함수는 $L = \delta \cdot L_{rank} + \gamma \cdot L_{pres} + L_{anchor}$이다. 정렬은 먼저 텍스트 인코더에 대해 수행된 후, 업데이트된 기하 구조에 맞춰 재조정된 디노이저에 대해 순차적으로 수행된다.

C. 창발적 특성: 이웃 전파 (Neighborhood Propagation)

핵심 발견 중 하나는 감독된 개념을 정렬하면 직접적인 감독 없이도 해당 개념의 의미적 이웃이 타겟 토폴로지 쪽으로 끌려온다는 것이다. 이 "레이블 전파(label propagation)" 효과는 그래프 기반 준지도 학습과 유사하며, 이를 통해 언러닝(unlearning) 대상의 국소 반경 내로 가져옴으로써 언러닝을 회피하는 적대적 바이패스 개념(unlearning 대상과 의미적으로 인접하여 회피하는 개념)을 다룰 수 있게 한다.

3. 주요 기여

1. 단일 구성 요소 실패의 진단: 논문은 단일 구성 요소 디바이어싱 기술(인코더 전용 또는 디노이저 전용)이 필연적으로 생성 일관성을 희생하여 편향을 남기거나 의미론적으로 불일한 출력을 생성한다는 것을 입증한다.
2. CO-ALIGN 프레임워크: 텍스트 인코더와 디노이저 모두에서 개념 그래프를 추출하고 이를 공동으로 정렬하여, 두 구성 요소 간의 기하학적 조화를 보존하는 새로운 접근 방식을 제시한다.
3. 우수한 성능: CO-ALIGN은 높은 이미지 품질과 의미론적 일관성을 유지하면서도 상당한 편향 감소를 달-성함으로써 최첨단 방식(SOTA)보다 우수한 성능을 보인다.
4. 강력한 언러닝 적용: 언러싱(예: "누드" 타겟팅)을 위한 사전 정렬 단계로서 CO-ALIGN을 활용했을 때, 적대적 바이패스 프롬프트에 대한 성공률을 크게 낮추어, 언러싱 절차를 수정하지 않고도 효과를 높일 수 있음을 보여준다.

4. 실험 결과

실험은 네 가지 직업(간호사, 의사, 소방관, 접수원)과 세 가지 인구통계학적 축(성별, 인종, 연령)에 대해 Stable Diffusion v1.5를 대상으로 수행되었다.

• 공정성: CO-ALIGN은 가장 낮은 Fairness Discrepancy (FD) 점수를 기록하였으며, 차기 베이스라인 대비 성별 공정성에서 30%, 인종 공정성에서 **75.4%**의 개선을 보였다.
• 이미지 품질: 이 방법은 베이스 모델 대비 이미지 충실도(CLIP-I)를 2.8% 향상시켰고, Fréchet Inception Distance (FID)를 11.4 감소시켜 모든 베이스라인을 능가했다.
• 일관성: 결정적으로, CO-ALIGN은 베이스 모델 대비 의미론적 불일치 출력을 88% 감소시켰다. 반면, 단일 구성 요소 방식은 공정성이 향상됨에 따라 불일치가 급격히 증가하는 모습을 보였다.
• 언러닝 견고성: 언러닝(Nudity 타겟팅)을 위한 사전 정렬 단계로 적용했을 때, CO-ALIGN은 적대적 바이패스 프롬프트의 성공률을 크게 낮추었다. 예를 들어, 베이스라인에서 88100%의 경우에 누드를 생성했던 "Creampie" 프롬프트가 CO-ALIGN 사전 정렬 후에는 032%로 떨어졌다.

5. 의의 및 주장

본 논문은 CO-ALIGN이 편향을 개별 파라미터의 속성이 아니라 모델의 내부 개념 토폴로지의 비대칭성으로 보는 관점의 전환을 나타낸다고 주장한다. 공동 정렬을 강제함으로써, 이 방법은 단일 구성 요소 방식이 도달할 수 없는 공정성과 생성 품질 사이의 파레토 최적(Pareto-optimal) 균형을 달성한다.

저자들은 이웃 전파 효과를 중요한 창발적 특성으로 강조한다. 이는 이 프레임워크가 기존의 안전 메커니즘(예: 개념 언러닝)의 견고성을 강화할 수 있음을 보여주며, 모델의 온톨로지를 구조적으로 정렬하는 것이 책임감 있는 AI 배포를 위한 강력한 도구임을 시사한다.

저자들은 한계점에 대해서도 겸허하게 언급하며, 디노이저 그래프 추출이 계산 집약적이라는 점과 현재 방법론이 Stable Diffusion v1.5에서만 검증되었기에 DiT나 SDXL과 같은 트랜스포머 기반 아키텍처로의 적응이 필요함을 명시했다. 또한 CO-ALIGN이 편향을 줄이기는 하지만, 웹 스크레이핑된 학습 데이터에 내재된 구조적 편향을 완전히 제거할 수는 없다는 점도 인정하였다.