KG-FairDiff: Knowledge Graph-Guided Prompt Refinement for Demographically Fair Text-to-Image Generation

기술 요약: KG-FairDiff

문제 정의
텍스트-이미지(TTI) 시스템은 저널리즘, 교육, 광고 분야의 핵심 인프라가 되었습니다. 그러나 이 모델들은 훈련 데이터로부터 인구통계학적 및 문화적 고정관념을 상속받아, 여성, 유색인종, 노인, 비서구 문화를 체계적으로 과소 대표하거나 희화화하는 문제를 안고 있습니다. 기존의 완화 전략들은 상당한 한계에 직면해 있습니다. 데이터셋 재균형(rebalancing)이나 잠재 공간 정규화(latent-space regularization)는 훈련 데이터나 모델 내부 구조에 대한 접근 권한이 필요하지만(폐쇄형 백본 모델의 경우 불가능함), 보다 가벼운 프롬프트 수준의 방법론들은 고정된 인구통계학적 템플릿에 의존하여 문화적 맥락을 무시하며, 그 결과 피상적이거나 형식적인 출력만을 생성합니다.

방법론
저자들은 공정성 인지 프롬프트 정제(fairness-aware prompt refinement)를 제약 최적화 문제로 취급하는 모델 불가지론적(model-agnostic) 추론 시점 프레임워크인 KG-FairDiff를 제안합니다. 이 시스템은 기본 생성기를 수정하지 않고 폐쇄 루프 파이프라인으로 작동합니다:

1. 지식 그래프(KG) 구축: 프레임워크는 약 1,200개의 트리플(triples)을 포함하는 수작업으로 큐레이션된 KG를 활용합니다. 이 트리플들은 McGillNLP 편향 데이터셋과 CultureBank에서 추출되었으며, 세 가지 범주를 다룹니다: 고정관념적 연관성(대항 대상), 반(反)고정관념(강조 대상), 그리고 문화적 근거(비서구적 개념, 복식 및 관습).
2. 검색 및 재작성: 추론 시점에 시스템은 사용자의 초기 프롬프트를 기반으로 KG에서 상위-$k$개의 관련 트리플을 검색합니다. LLM 재작성기(GPT-4o)는 이 구조화된 컨텍스트를 사용하여 정제된 프롬프트를 제안합니다.
3. 폐쇄 루프 검증: 검증기(역시 GPT-4o)는 다음 두 가지 기준에 따라 정제된 프롬프트를 평가합니다:
   • 공정성 개선: 프롬프트는 균등 타겟 분포로부터의 KL 발산(divergence)을 통해 측정되는 공정성 손실을 감소시켜야 합니다.
   • 의미적 충실도(Semantic Fidelity): 정제된 프롬프트는 의미적 왜곡을 방지하기 위해 사용자의 원래 의도와 임계값($\tau$) 이상의 코사인 유사도를 유지해야 합니다.
4. 최적화 공식화: 이 과정은 의미적 충실도 제약 조건 하에서 공정성 손실과 스타일 보존 정규화 항의 가중 합을 최소화하는 것으로 공식화됩니다. 저자들은 단조 개선 가정(monotone-improvement assumption) 하에서 정제 루프의 유한 종료 경계(finite-termination bound)를 증명합니다.

주요 기여

1. 알고리즘 공식화: 본 논문은 공정성, 의미적 충실도, 스타일 보존을 위한 명시적 항을 가진 제약 최적화 문제로서 공정성 인지 프롬프트 정제를 공식화하고, 이론적 종료 경계를 갖는 반복 알고리즘을 제공합니다.
2. 재사용 가능한 지식 그래프: 저자들은 사실적 정확성과 문화적 민감성에 대해 이중 주석이 달린, 고정관념, 반고정관념 및 문화적 근거를 아우르는 약 1,200개의 트리플로 구성된 큐레이션된 KG를 구축하고 공개합니다.
3. 이론적으로 근거한 평가 스위트: 표준 편향 지표(Bias-P, Bias-W)를 타겟 분포로부터의 발산과 연결하고, 엔트로피 기반 측정치(ENS)를 KL 발산과 연관시키며, 의미적 보존을 평가하기 위해 Wasserstein 정렬과 CLIP 유사성을 활용하는 새로운 평가 프레임워크를 도입했습니다.
4. 포괄적 감사: 프레х워크는 50개의 직업을 다루는 100개 프롬프트 벤치마크를 통해 8개의 널리 배포된 백본 생성기(GPT-Image-1, SD 3.5, Gemini 3 Pro 포함)를 대상으로 평가되었습니다.

결과
KG-FairDiff는 프롬프트 의미를 보존하면서 인구통계학적 격차를 줄이는 데 있어 상당한 개선을 보여주었습니다:

• 베이스라인 대비 성능: MinorityPrompt 및 PreciseDebias와 같은 프롬프트 수준의 베이스라인과 비교했을 때, KG-FairDiff는 훨씬 더 큰 편향 감소를 달-성했습니다. 구체적으로, MinorityPrompt 대비 최대 20배 더 큰 Bias-W 감소(예: 인종에 대해 -0.1396 vs -0.0037)와 13배 더 큰 ENS 이득을 달성했습니다.
• 의미적 보존: 정제 과정은 평균 Wasserstein 거리 변화($\Delta \bar{W}_2^2$)가 0.0011에 불과할 정도로 높은 의미적 충실도를 유지합니다.
• 절제 연구(Ablation Studies): 실험을 통해 KG 검색 구성 요소가 LLM 재작성기의 능력과는 별개로 독립적으로 공정성 이득에 기여함을 확인했습니다.
• 관찰된 한계점: 저자들은 특정 생성기(예: SD 3.5 Large, Gemini 3 Pro)의 경우, 정제된 프롬프트와 생성기의 내장된 안전 필터 간의 충돌 또는 교차적(intersectional) 최적화에서의 상충하는 신호로 인해 일부 지표가 악화되었다고 언급했습니다. 또한, 프레임워크가 비서구적 표현형에 대해 재현율(recall)이 낮은 자동 분류기(FairFace)에 의존한다는 점을 인정했습니다.

의의 및 주장
본 논문은 KG-FairDiff가 보다 공평한 생성형 AI를 향한 실용적이고 배포 가능한 경로를 제공한다고 주장합니다. 이 연구의 주요 의의는 모델 가중치나 비용이 많이 드는 재학습 없이 프롬프트 수준에서 개입할 수 있다는 점이며, 이를 통해 독점적 모델과 오픈 웨이트 블랙박스 생성기 모두에 적용 가능합니다. 고정된 템플릿이 아닌 구조화된 문화적 지식에 근거하여 정제를 수행함으로써, 이 프레임워크는 좁은 범위의 표현 반복으로 발생하는 인구 수준의 해악을 줄이는 것을 목표로 합니다. 저자들은 이 작업이 현실적인 제약 조건 하에서 배포된 모델을 감사하고 개입할 수 있는 "신뢰할 수 있는 AI"를 향한 단계라고 규정하면서도, 지식 그래프를 더 넓은 문화적 범위로 확장하고 검증기를 다운스트림 지표에 따라 엄격하게 교정해야 하는 향후 과제가 남아 있음을 인정했습니다.