UGID: Unified Graph Isomorphism for Debiasing Large Language Models

UGID: 대규모 언어 모델 (LLM) 의 편향 제거를 위한 통합 그래프 동형성

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 은 훈련 데이터에 내재된 사회적 편향을 출력뿐만 아니라 모델의 **내부 표현 (Internal Representations)**과 계산 과정에 깊이 부호화하고 있습니다. 기존 편향 제거 (Debiasing) 방법들은 다음과 같은 한계를 가집니다:

• 출력/데이터 최적화 기반: 모델의 내부 구조를 변경하지 않아 편향이 완전히 제거되지 않거나, 재현성 (Rephrasing) 이나 분포 외 (OOD) 상황에서 취약합니다.
• 단일 구성 요소 제어: 주로 어텐션 (Attention) 메커니즘만 제어하는 기존 연구들은 소규모 모델 (예: GPT-2) 에서는 효과가 있으나, **수십억 파라미터 규모의 모델 (예: LLaMA-3)**에서는 편향이 어텐션이 아닌 **순방향 신경망 (FFN)**으로 이동 (Bias Migration) 하여 효과가 떨어집니다.
• 유용성 저하: 편향을 제거하는 과정에서 모델의 일반적 언어 능력이나 정의적 개념 (예: King/Queen 의 성별 구분) 이 손상되는 '편향 - 유용성 트레이드오프'가 발생합니다.

2. 방법론 (Methodology)

저자들은 LLM 의 Transformer 아키텍처를 **구조화된 계산 그래프 (Computational Graph)**로 모델링하고, 편향 제거 문제를 그래프 동형성 (Graph Isomorphism) 문제로 재정의했습니다. 즉, 민감한 속성 (예: 성별) 만이 다른 반사실적 (Counterfactual) 입력 쌍에 대해 그래프 구조가 불변 (Invariant) 이어야 한다고 가정합니다.

UGID 는 크게 4 가지 핵심 설계 (Design I-IV) 로 구성됩니다:

• Design I: 라우팅 정렬 (Edges - 어텐션)

  • 문제: 민감한 토큰 주위에 고정된 병목 현상이 발생하는 어텐션 라우팅 편향.
  • 해결: 원시 어텐션 가중치 매칭 대신, 라플라시안 스펙트럼 (Laplacian Spectral) 특성을 정렬합니다.
  • 기술: 어텐션 행렬의 고유값을 효율적으로 계산 ($O(T)$) 하되, 'Attention Sink' (시작 토큰에 집중되는 과도한 어텐션) 현상을 제거하기 위해 Attention Sink Mask를 적용하고, 민감한 대명사에 기반한 Adaptive Saliency Weight를 사용하여 편향 허브 (Hub) 에 집중합니다.

• Design II: 편향 이동 차단 (Nodes - 숨은 상태)

  • 문제: 어텐션만 제어할 경우 편향이 FFN 의 숨은 상태 (Hidden States) 로 이동하여 저장됨.
  • 해결: **노드 동형성 (Node Isomorphism)**을 강제하여 반사실적 컨텍스트 간 숨은 표현 ($H_l$) 이 일관되도록 제약합니다.
  • 기술: FFN 이 편향을 보상 (Bias Compensation) 하는 것을 방지하기 위해, 민감한 영역의 숨은 표현 차이를 최소화하는 손실 함수를 적용합니다.

• Design III: 모델 유용성 보존 (Utility Preservation)

  • 문제: 공격적인 구조 수정으로 인한 모델 성능 저하 및 개념 소실.
  • 해결: 로그 공간 (Log-space) 제약과 선택적 앵커 (Selective Anchor) 기반 목적 함수를 도입합니다.
  • 기술:
    1. Logit Guidance: 민감한 속성의 로그 확률 편차를 패널티.
    2. Top-K Stability: 프리즈된 교사 모델 (Teacher) 의 어텐션 패턴을 고정하여 문법적 정확성 유지.
    3. Masked KL Divergence: 민감한 토큰은 변경되지만, 비민감 토큰의 일반 지식은 보존되도록 대칭적 KL 발산을 적용.

• Design IV: 정의적 편향 처리 (Definitional Bias)

  • 문제: 편향 제거 과정에서 'King/Queen'과 같은 정의적 성별 개념이 지워지는 (Concept Erasure) 위험.
  • 해결: 선택적 정렬 전략 (Selective Alignment Strategy).
  • 기술: 편향 제거 대상 데이터 (Stereotypes) 와 정의적 앵커 데이터 (Definitions) 를 혼합하여 학습합니다. 앵커 데이터에 대해서는 마스크되지 않은 KL 발산을 적용하여 정의적 의미 (Gender Semantics) 를 엄격하게 보존합니다.

3. 주요 기여 (Key Contributions)

1. UGID 프레임워크: 편향 제거를 통합 그래프 동형성 문제로 접근한 최초의 프레임워크. 라플라시안 스펙트럼 제약 (라우팅 정렬) 과 선택적 앵커링 (의미 기억 안정화) 을 통해 편향의 이동 경로를 기계적으로 차단합니다.
2. 기계적 해석 가능성 (Mechanistic Interpretability): 스펙트럼 진단, Logit Lens, 활성화 패칭 (Activation Patching) 등을 통해 편향이 위상적 (Topological) 수준에서 제거됨을 시각화하고 검증했습니다.
3. 성능과 안정성: 다양한 모델 규모 (2B~14B) 와 데이터 시나리오에서 기존 최첨단 (SOTA) 방법들을 능가하는 편향 제거 효과와 구조적 안정성을 입증했습니다.

4. 실험 결과 (Results)

• 모델 범위: LLaMA-3-8B, Qwen-2, Gemma-2 등 다양한 모델에서 평가.
• 편향 제거 효과:
  • ID(분포 내) 및 OOD(분포 외) 환경: UGID 는 편향 점수를 이상적인 중립 수준 (약 1.06 배) 으로 낮췄으며, 특히 OOD 환경에서 SELF-DEBIAS 등 기존 방법들보다 월등히 낮은 편향 변동을 보였습니다.
  • 구조적 불일치 감소: 어텐션 라우팅의 스펙트럼 발산 ($\Delta Spec$) 과 숨은 상태의 L2 이동 ($\Delta Hidden$) 을 기존 방법 대비 극도로 낮췄습니다 (예: $\Delta Hidden$ 0.058).
• 유용성 및 안전성 보존:
  • 안전성: 'King/Queen'과 같은 정의적 개념에 대한 정확도를 100% 유지하며, KLAAD 등이 겪었던 안전성 붕괴 (Safety Collapse) 를 방지했습니다.
  • 성능: Perplexity (PPL) 는 거의 변하지 않았으며, 추론 시 추가적인 지연 (Latency) 이나 메모리 오버헤드가 발생하지 않습니다.
• 메커니즘 검증: 활성화 패칭 실험을 통해 편향이 단순히 출력층에서 가려진 것이 아니라, 내부 인과적 경로 (Causal Pathways) 가 근본적으로 분리 (Decoupled) 되었음을 증명했습니다.

5. 의의 (Significance)

UGID 는 LLM 의 편향 문제를 단순한 데이터 필터링이나 출력 보정이 아닌, 모델 내부의 계산 그래프 구조적 정렬 문제로 접근했다는 점에서 의의가 큽니다.

• 규모 불변성 (Scale-Invariance): 모델 크기가 커질수록 편향이 FFN 으로 이동하는 현상을 포착하고 이를 해결하여, 초대규모 모델에서도 효과적인 편향 제거가 가능함을 입증했습니다.
• 구조적 견고성: 편향 제거가 모델의 일반적 추론 능력을 훼손하지 않으면서도, 외부 공격이나 프롬프트 변형에 강건한 (Robust) 모델을 제공합니다.
• 미래 지향성: 이 연구는 사회적 편향을 넘어, 대규모 신경망 시스템의 내부 정렬 (Internal Alignment) 과 견고성을 위한 새로운 구조적 관점을 제시합니다.

이 논문은 편향 제거와 모델 성능 보존 사이의 오랜 트레이드오프를 해결하고, 기계적 해석 가능성을 통해 편향 제거의 물리적 근거를 제시했다는 점에서 중요한 진전을 이루었습니다.