기술 요약: 생성형 인공지능의 인과적 편향 탐지

문제 제기

고위험 도메인 (예: 채용, 대출, 의료) 에서 인공지능 (AI) 기반 자동화 시스템이 increasingly 배포됨에 따라, 공정성과 인구통계학적 불평등의 지속에 대한 우려가 심화되고 있습니다. 기존 인과적 공정성 연구는 표준 머신러닝 (ML) 환경, 즉 의사결정자가 단일 예측 함수 $f_{\hat{Y}}$를 구축하고 나머지 모든 공변량에 대한 인과 메커니즘은 현실 세계로부터 계승하는 환경에 대한 원칙적 프레임워크를 확립해 왔습니다. 그러나 이 프레임워크는 생성형 AI에는 부적합합니다.

생성 모델은 표준 ML 예측기와 근본적으로 다릅니다:

1. 메커니즘 구축: 단일 공변량에서 결과로의 매핑을 학습하는 표준 ML과 달리, 생성 모델은 결과 $Y$뿐만 아니라 공변량 $X, Z, W$를 포함한 모든 인과 메커니즘에 대한 자신의 신념을 암묵적으로 구축합니다.
2. 데이터 세분화: 생성 모델은 구조화된 표 형식 데이터가 아닌 텍스트, 이미지와 같은 저수준 모달리티에서 작동하는 경우가 많아, 현실 세계의 상관관계와 크게 다를 수 있는 변수 간 관계를 추론해야 합니다.
3. 편향 전파: 기존 방법들은 생성된 출력에서 관찰된 불평등이 모델이 학습한 결과 메커니즘에서 비롯된 것인지, 학습된 공변량 메커니즘에서 비롯된 것인지, 아니면 이 둘 간의 상호작용에서 비롯된 것인지 구분하지 못합니다.

본 논문은 생성형 AI 의 내부 인과 메커니즘을 통해 생성 모델이 현실 세계의 불평등을 어떻게 변화시키는지 분석하여, 생성형 AI 에서 인과적 편향을 탐지, 정량화 및 분해하기 위한 새로운 방법론의 필요성을 다룹니다.

방법론

저자들은 **구조적 인과 모델 (SCM)**을 사용하여 생성형 환경으로 **표준 공정성 모델 (SFM)**을 확장하는 통합 이론적 프레임워크를 제안합니다.

1. S-표준 공정성 모델 (S-SFM)

핵심 혁신은 데이터 생성 메커니즘의 출처를 나타내는 선택 노드 $S$의 도입입니다:

• $S = rw$(또는$0$): 현실 세계 메커니즘 ($f^{rw}$).
• $S = gm$(또는$1$): 생성 모델의 메커니즘 ($f^{gm}$).

이 프레임워크에서 선택 노드 $S$는 모든 변수 ($X, Z, W, Y$) 를 가리켜 메커니즘의 독립적 교체를 허용합니다. 이는 일반적으로 $S$가 결과 메커니즘에만 영향을 미치는 표준 SFM 과 대조됩니다. 이 모델은 특정 메커니즘이 추출된 환경 (현실 세계 또는 모델) 을 나타내는 상첨자와 특정 인과 경로를 따른 변수의 값을 나타내는 하첨자를 사용하여 잠재 결과 $Y^{s_y}_{x_y, W^{s_w}_{x_w} | X=x_z, S=s_z}$를 정의합니다.

2. S-수정된 인과 효과

저자들은 메커니즘의 출처를 고려하는 S-수정된 x-특정 효과 (직접, 간접, 허위) 를 정의합니다. 예를 들어, S-수정된 직접 효과는 다음과 같습니다:
$$x\text{-}DE^{s_z, s_w, s_y}_{x_0, x_1}(y | x) = E[Y^{s_y}_{x_1, W^{s_w}_{x_0}} | X=x, S=s_z] - E[Y^{s_y}_{x_0, W^{s_w}_{x_0}} | X=x, S=s_z]$$
이를 통해 특정 메커니즘 (예: $f_Y$, $f_W$, 또는 $f_{X,Z}$) 이 현실 세계에서 생성 모델로 교체될 때 직접 효과가 어떻게 변하는지 격리하여 분석할 수 있습니다.

3. 불평등 차이 분해

본 논문은 현실 세계와 생성 모델 간의 총변동 (TV) 차이 ($\Delta TV$) 를 직접, 간접, 허위 경로의 변화 기여도로 분해하는 정리 1을 유도합니다. 핵심적으로, 각 경로 기여도는 메커니즘의 단계적 교체를 나타내는 세 가지 항으로 더 분해됩니다:

1. T1: 결과 메커니즘 ($f_Y$) 만 교체.
2. T2: $f_Y$가 이미 교체된 상태에서 매개체 메커니즘 ($f_W$) 교체.
3. T3: $f_W$와 $f_Y$가 이미 교체된 상태에서 공변량 메커니즘 ($f_{X,Z}$) 교체.

이 세분화된 분해를 통해 연구자들은 생성 모델의 "신념 체계" 중 어떤 부분이 편향을 주도하는지 정확히 파악할 수 있습니다.

4. 식별 및 추정

본 논문은 이러한 잠재 결과를 혼합 환경의 샘플을 사용하여 추정할 수 있음을 보여주는 식별 조건 (명제 3) 을 확립합니다. 추정 전략은 다음과 같습니다:

• 생성기 ($\Gamma$): 특정 조건을 기반으로 내러티브를 생성하도록 프롬프트된 LLM (예: "[인종] 의 [성별] 나이 [나이] 에 대한 이야기를 작성하세요...").
• 주석자 ($A$): 생성된 내러티브에서 구조화된 값 (예: 소득, 교육, 결과) 을 추출하는 별도의 LLM.
• 데이터셋: 메커니즘의 점진적 교체를 나타내는 네 가지 특정 데이터셋 ($D_{s_0}$, $D_{s_0,s_0,s_1}$, $D_{s_0,s_1,s_1}$, $D_{s_1}$) 구축으로 분해 항 계산 가능.

주요 기여

1. 생성형 AI 에서의 인과적 공정성 형식화: 본 논문은 표준 ML 공정성 환경과 생성형 AI 환경을 단일 이론적 우산 (S-SFM) 하에 통합하여, 생성 모델이 자체 인과 메커니즘을 구축하는 것을 명시적으로 모델링합니다.
2. 새로운 인과 분해 결과: 두 가지 차원을 따라 공정성 영향을 정량화하는 새로운 분해 (정리 1) 를 도입합니다:
   • 서로 다른 인과 경로 (직접, 간접, 허위).
   • 교체되는 특정 메커니즘 (현실 세계 대 모델).
3. 식별 및 추정: 이러한 인과량에 대한 식별 조건과 효율적 추정기를 제공하며, LLM 을 사용하여 필요한 반사실 데이터를 생성하는 방법을 시연합니다.
4. 실증 적용: 이 방법론은 세 가지 데이터셋에 걸쳐 10 개의 대규모 언어 모델 (LLM) 에서 인종 및 성별 편향을 분석하는 데 적용되었습니다:
   • NSDUH: 약물 남용 (대마초 사용) 에 대한 인종 편향.
   • BRFSS: 만성 질환 부담 (당뇨병) 에 대한 인종 편향.
   • ACS: 소득 수준에 대한 성별 편향.

결과

저자들은 세 가지 데이터셋에 걸쳐 10 개의 지시 튜닝 오픈 가중치 모델 (Llama 3, Qwen, Gemma, DeepSeek, Phi 계열 포함) 을 분석했습니다.

• 편향 서명: 연구는 각 모델에 대해 27 차원의 "편향 서명"을 생성했습니다. 계층적 클러스터링은 편향 유사성이 모델 계열이나 매개변수 규모와 엄격하게 상관관계가 없음을 보여주었습니다. 서로 다른 계열이 동일한 계열 내 형제 모델보다 더 가까운 편향 서명을 보이는 경우가 많았습니다.
• 증폭 및 반전:
  • 반전: 모델들은 종종 현실 세계 불평등의 부호를 반전시켰습니다. 예를 들어, NSDUH 데이터셋에서 현실 세계 데이터는 공변량을 통제한 후 소수민족의 대마초 사용률이 낮음을 보였으나, Gemma 3 27B 와 같은 모델들은 이를 반전시켜 소수민족의 사용률이 높음을 보여주었습니다.
  • 증폭: BRFSS 데이터셋에서 모델들은 종종 당뇨병 위험에 대한 인종의 직접 효과를 증폭시켰습니다.
  • 감쇠: 일부 모델들은 허위 이점을 감쇠시켰습니다 (예: BRFSS 에서 소수민족의 나이 관련 당뇨병 보호 효과).
• 메커니즘 귀속: 분해는 편향이 단일하지 않음을 드러냈습니다.
  • Gemma 3 27B사례 (NSDUH) 에서 직접 효과의 반전은 결과 메커니즘뿐만 아니라 소수민족에 대한 교육/소득의 고정관념적 분포를 인코딩한 매개체 메커니즘 ($f_W$) 의 교체에 주로 기인했습니다.
  • Qwen 3.5 27B사례 (BRFSS) 에서 직접 효과의 반전은 결과 메커니즘 ($f_Y$) 에 의해 지배되었으나, 간접 효과의 반전은 매개체 ($f_W$) 와 공변량 ($f_{X,Z}$) 메커니즘에 의해 주도되었습니다.

중요성과 주장

본 논문은 집합적 통계적 불평등을 넘어선 세분화된 인과적 렌즈를 제공하여 생성형 AI 의 편향을 이해하는 데 그 주요 중요성이 있다고 주장합니다.

• 반사실 공정성 너머: 분류에 대한 반사실 공정성에만 초점을 맞춘 기존 연구와 달리, 이 프레임워크는 잠재 인과 과정을 모델링하고 어떤 메커니즘 (결과, 매개체, 또는 공변량 생성) 이 불평등에 기여하는지 정량화합니다.
• 일반화: 이 프레임워크는 결과 메커니즘만 교체되는 표준 ML 을 위한 기존 인과적 공정성 문헌을 엄격하게 일반화하여, 모든 메커니즘이 잠재적으로 변경될 수 있는 더 복잡한 생성형 환경으로 확장합니다.
• 진단 유용성: 분해를 통해 실무자는 모델의 편향이 결과에 대한 이해 (예: "소수민족은 약물 사용 가능성이 더 높다") 에서 비롯된 것인지, 아니면 세계 구조에 대한 이해 (예: "소수민족은 교육/소득이 낮다") 에서 비롯된 것인지 진단할 수 있으며, 이는 완화 전략을 위한 표적 통찰력을 제공합니다.

저자들은 한계에 대해 겸손하게 언급하며, 이 프레임워크는 임의의 조건부 쿼리 (비전 모델에서는 어려울 수 있음) 가 가능하다는 가정, 인과 가정의 인간 유도 (S-SFM 명세) 필요성, 비용 제약으로 인해 폐쇄형 모델이 아닌 오픈 가중치 모델로 제한되었다는 점을 지적합니다. 또한 이 프레임워크는 현재 역방향 인과 순서 (예: 급여에서 인종 추론) 로 이루어진 추론을 다루지 않는다고 덧붙였습니다.