Counting Worlds Branching Time Semantics for post-hoc Bias Mitigation in generative AI

1. 연구 배경 및 문제 제기 (Problem)

• 생성형 AI 의 편향 증폭: 생성형 AI 는 학습 데이터에 내재된 편향을 증폭시키는 것으로 알려져 있습니다. 특히 이미지 생성과 같은 경우, 학습 데이터 내 특정 그룹 (예: 성별) 의 불균형한 표현이 모델 출력에 그대로 반영되거나 악화됩니다.
• 기존 방법의 한계: 현재 제안된 편향 완화 전략 (추론 시간 제어, 토큰 필터링 등) 은 대부분 경험적 (empirical) 이며, 형식적인 보장 (formal guarantees) 이 부족합니다.
• 필요성:
  1. 예측: 출력 시리즈가 진행됨에 따라 편향이 허용 가능한 임계값을 초과할지 여부를 조기에 예측해야 합니다.
  2. 사후 개입: 이미 편향된 출력이 생성되었을 때, 현재 상태가 어떤지 분석하고 어떤 출력을 제거해야 공정한 분포를 회복할 수 있는지를 논리적으로 추론할 수 있어야 합니다.
  3. 형식적 검증: 선형 시간 논리 (LTLF) 와 같은 기존 방법론은 미래 상태의 빈도를 추론할 수 있으나, 현재 상태에서의 '가능한 모든 세계 (possible worlds)'를 세어 분기 시간 (branching time) 관점에서 편향을 검증하고 완화 전략을 수립하는 데는 한계가 있습니다.

2. 제안된 방법론: CTLF (Methodology)

이 논문은 CTLF (Counting Worlds Branching Time Logic) 라는 새로운 분기 시간 논리를 제안합니다. 이는 계산 트리 논리 (CTL) 의 변형으로, '세상 (World)'을 세는 의미론을 도입합니다.

2.1. 핵심 개념

• World (세계): 생성 과정의 특정 단계에서 발생할 수 있는 가능한 출력 (예: '남성' 또는 '여성' 이미지) 을 나타냅니다.
• 분기 시간 구조: 생성 과정은 하나의 선형 경로가 아니라, 각 단계에서 여러 가능한 결과가 분기하는 트리 구조로 모델링됩니다.
• 확률 분포 ($\Phi_\Sigma$): 학습 데이터나 목표하는 공정한 분포에 기반하여, 허용 가능한 완전한 출력 경로 (complete paths) 의 집합을 정의합니다.

2.2. 논리식 및 연산자 (Operators)

CTLF 는 상태 공식 (state formula) 과 경로 공식 (path formula) 을 구분하며, 다음과 같은 모달 연산자를 제공합니다:

• $\square_q \phi$ (현재 상태 기반): 현재까지 생성된 $m$ 개의 출력 중 $\phi$ 속성이 $q \times m$ 번 이상 발생했음을 의미합니다. (현재까지의 편향 여부 확인)
• $\blacksquare_q \phi$ (가능성 기반): 정의된 확률 분포 하에서, 현재 상태에 도달할 수 있는 다른 가능한 시리즈들 중 $\phi$ 가 $q \times m$ 번 이상 발생할 수 있음을 의미합니다.
• $\circ_q \phi$ (완전 경로 기반): 전체 출력 시리즈 ($n$ 개) 중 적어도 하나의 완전한 경로에서 $\phi$ 가 $q \times n$ 번 이상 발생할 수 있음을 의미합니다.
• $\triangleright_q \phi$ (미래 예측): 현재 상태에서 다음 단계에서 $\phi$ 가 발생할 확률이 $q$ 이상임을 의미합니다.
• $\nabla_q \phi$ (경로 전체 검증): 완전한 경로 전체에서 $\phi$ 가 $q \times n$ 번 이상 발생하는지 확인합니다.
• $\dagger_q \phi$ (완성 가능성): 현재 경로가 정의된 분포 내에서 완성될 확률이 $q$ 이상인지 확인합니다.

2.3. 의미론 (Semantics)

• 모델 ($M$): 세계 집합 ($W$), 관계 ($R_e$: 과거/자식 관계, $R_f$: 미래/부모 관계), 그리고 가치 함수 ($V$) 로 구성됩니다.
• 카운팅 의미론: 각 논리식의 진위는 해당 세계에 도달할 수 있는 경로나 하위 세계의 수를 세어 비율 ($q$) 과 비교함으로써 결정됩니다.

3. 주요 기여 (Key Contributions)

1. CTLF 논리 체계 정립: 생성형 AI 의 출력 시리즈를 분석하기 위해 '카운팅 월드 (Counting Worlds)' 의미론을 적용한 새로운 분기 시간 논리 CTLF 를 제안했습니다.
2. 형식적 편향 검증 프레임워크:
   • 현재 출력 시리즈가 목표 분포 (예: 성별 50:50) 내에 있는지 실시간으로 검증.
   • 향후 출력이 편향을 유지할지, 아니면 편향될지 확률적으로 예측.
   • 편향이 발생했을 때, 얼마나 많은 출력을 제거해야 공정한 분포를 회복할 수 있는지 계산.
3. 구체적 사례 연구 (Toy Example):
   • 편향된 학습 데이터 (남성 75%, 여성 25%) 로부터 생성된 이미지 시리즈를 시뮬레이션했습니다.
   • 특정 단계 (예: 4 번째 이미지) 에서 현재 분포가 공정한지, 그리고 6 번째 이미지까지 도달했을 때 공정한 분포를 유지할 확률을 CTLF 공식을 통해 계산했습니다.
   • 편향이 심화된 경우 (예: 남성 9 개, 여성 3 개), 공정한 분포 (남성 3 개, 여성 3 개) 를 회복하기 위해 어떤 출력을 제거해야 하는지 논리적으로 유도했습니다.

4. 결과 및 시뮬레이션 (Results)

• 공식적 표현력: CTLF 를 사용하여 "현재까지의 출력은 공정한 분포 내에 있다", "다음 단계에서 편향이 발생할 확률이 50% 이다", "남성 출력을 3 개 제거해야 공정한 분포가 된다"와 같은 구체적인 공평성 속성을 수식화할 수 있음을 보였습니다.
• 편향 완화 전략 도출:
  • 예시에서 12 개의 출력이 생성되었을 때 (남성 9, 여성 3), 목표 분포 (50:50) 를 달성하기 위해 최대 6 개의 출력만 유지해야 함을 발견했습니다.
  • 논리식을 통해 현재 상태 ($w_{5,j}$) 에서 남성 할당량이 이미 소진되었음을 식별하고, 이후 모든 남성 출력을 제거하는 전략이 유효함을 증명했습니다.
• 예측 능력: 현재 상태에서의 경로 분기를 분석하여, 특정 단계에서 편향이 발생하면 그 이후의 모든 경로가 공정한 분포를 달성할 수 없음을 조기에 감지할 수 있음을 보였습니다.

5. 의의 및 향후 과제 (Significance & Future Work)

• 의의:
  • 생성형 AI 의 편향 문제를 경험적 접근에서 형식적 검증 (Formal Verification) 영역으로 확장했습니다.
  • 추론 시간 (inference-time) 에 실시간으로 편향을 모니터링하고, 사후 (post-hoc) 에 필요한 최소한의 개입 (출력 제거) 을 수학적으로 보장할 수 있는 틀을 제공합니다.
  • 신뢰할 수 있는 AI 배포를 위한 '가드레일 (Guardrail)' 아키텍처에 이론적 기반을 제공합니다.
• 향후 연구 방향:
  1. 가중치 부여: 현재 모델은 모든 전이를 동등한 확률로 가정하지만, 실제 생성 확률을 반영하기 위해 전이 가중치를 도입할 계획입니다.
  2. 적응형 모델: 고정된 확률 분포 대신, 새로운 출력이 생성될 때마다 분포를 업데이트하는 동적 (Adaptive) 모델 (파라메트릭 마르코프 체인 등) 로 확장할 계획입니다.
  3. 구현 및 실증: MIRAI 툴박스에 소프트웨어를 구현하여 실제 텍스트 - 이미지 모델 및 LLM 에 적용하고, 공정한 분포 준수 증명서 (certificate) 또는 완화 계획 (mitigation plan) 을 생성하는 도구를 개발할 예정입니다.

요약

이 논문은 생성형 AI 의 편향 문제를 해결하기 위해 CTLF라는 새로운 논리 체계를 제안합니다. 이는 생성 과정의 가능한 모든 결과를 '세계'로 간주하고 이를 세어 (Counting) 현재 및 미래의 편향을 형식적으로 검증하고, 최소한의 출력 제거를 통해 공정한 분포를 회복하는 전략을 수립할 수 있게 합니다. 이는 AI 윤리와 안전성 보장을 위한 중요한 이론적 진전입니다.