Fairness Evaluation and Inference Level Mitigation in LLMs

1. 문제 정의 (Problem Definition)

대형 언어 모델 (LLM) 은 단일 턴 (single-turn) 프롬프트에서는 안전하고 공정한 응답을 하더라도, **다중 턴 대화 (multi-turn dialogue)**가 진행됨에 따라 내부 표현 (internal representations) 에 편향이 누적되거나 재발현되는 심각한 문제를 겪습니다.

• 편향의 누적 및 증폭: 대화의 맥락, 기억 (memory carry-over), 그리고 이전 턴의 프라임 (priming) 효과로 인해 초기에는 중립적이었던 모델이 나중에는 혐오 표현, 고정관념, 또는 해로운 내용을 생성할 수 있습니다.
• 기존 방법론의 한계:
  • 학습 단계 개입 (SFT, RLHF 등): 계산 비용이 매우 높고, 배포 후 수정이 불가능하며, 새로운 대화 상황에 적응하는 데 느립니다.
  • 추론 단계 개입 (프롬프트 엔지니어링, 로짓 재가중치 등): 대부분 단일 턴에 최적화되어 있으며, 대화의 흐름에 따라 편향이 변하는 동적 특성을 반영하지 못합니다.
  • 기존 가지치기 (Pruning) 기반 방법: 편향된 뉴런을 영구적으로 제거하는 방식은 **정적 (static)**입니다. 이는 편향이 없는 상황에서도 뉴런이 제거되어 의미 손실 (semantic loss), 일관성 저하, 그리고 답변의 관련성 감소를 초래합니다. 뉴런의 역할은 대화 맥락에 따라 동적으로 변할 수 있기 때문입니다.

2. 제안 방법론: 동적 뉴런 억제 (Dynamic Neuron Suppression)

저자들은 **추론 시간 (inference-time)**에 작동하며, **가역적 (reversible)**이고 **맥락 인식형 (context-aware)**인 새로운 프레임워크를 제안합니다. 이 방법은 모델을 재학습하거나 구조를 변경하지 않고, 대화 중 뉴런의 활성화를 동적으로 조절합니다.

프레임워크는 다음과 같은 4 단계 파이프라인으로 구성됩니다:

1. 행동 편향 감지 (Behavioral Detection):

   • 각 대화 턴에서 모델의 응답을 분석하여 편향 점수 ($S_t$) 를 계산합니다.
   • LLM-as-a-Judge(GPT-3.5, Claude 등) 를 사용하여 이데올로기적 편향, 고정관념, 유해한 표현을 식별합니다.

2. 편향 뉴런 식별 (Bias Neuron Identification):

   • 통합 기울기 (Integrated Gradients) 를 사용하여 편향 점수 ($S_t$) 에 기여하는 내부 뉴런 활성화를 추적합니다.
   • 로컬 중요도 ($m_{local}$): 현재 턴의 맥락에 따른 편향 기여도.
   • 전달 중요도 ($m_{carry}$): 이전 대화 턴에서 유래하여 현재까지 지속되는 편향 기여도.
   • 이를 통해 일시적인 편향과 기억에 기반한 편향을 구분합니다.

3. 개념 기반 테스트 (Concept-Based Testing / Memory Consistency Probe):

   • 편향 뉴런이 대화 전반에 걸쳐 일관되게 편향된 개념을 유지하는지, 아니면 지워졌는지 확인합니다.
   • **기억 일관성 점수 ($C_t$)**를 계산하여, 편향이 대화 흐름을 따라 어떻게 지속되거나 재발현되는지 측정합니다. 이는 불필요한 뉴런 억제를 방지하고, 편향이 실제로 존재할 때만 개입하는 기준을 제공합니다.

4. 동적 뉴런 마스킹 (Dynamic Neuron Masking):

   • 뉴런을 영구적으로 제거하는 대신, **가변 게이트 (gating coefficient, $g^{(t)}_l$)**를 적용하여 뉴런의 영향을 조절합니다.
   • 게이트 함수: $g^{(t)}_l = \sigma(\alpha S_t + \beta C_t)$
     • 편향 점수 ($S_t$) 와 기억 일관성 점수 ($C_t$) 가 높을수록 해당 뉴런의 활성화가 억제됩니다.
     • 편향이 사라지면 억제도 해제되어 모델의 원래 표현 능력을 복원합니다.
   • 이 과정은 모델의 FFN(Feed-Forward Network) 계층의 특정 뉴런에 적용되며, 추론 중 실시간으로 수행됩니다.

3. 주요 기여 (Key Contributions)

1. 동적 편향 개념 정립: 편향을 고정된 속성이 아닌, 대화 턴을 거치며 누적되고 재발현되는 동적 현상으로 정의하고, 이를 측정하기 위한 진단 도구를 개발했습니다.
2. 재학습 없는 가역적 프레임워크: 모델 아키텍처 변경이나 재학습 없이, 추론 단계에서 편향을 가진 뉴런을 탐지하고 선택적으로 게이트하는 경량화 솔루션을 제시했습니다.
3. 다국어 및 다중 턴 평가: 정치적 나침반 테스트 (PCT), BBQ, FairMT-Bench, F2Bench 등 다양한 다국어 (영어, 우르두어, 펀자브어 등) 및 다중 턴 데이터셋을 활용하여 기존 방법론 대비 뛰어난 성능을 입증했습니다.
4. 편향 감소와 유틸리티 보존의 균형: 편향을 효과적으로 줄이면서도 모델의 유창성 (fluency), 사실성 (faithfulness), 관련성 (relevance) 을 유지하는 최적의 균형을 달성했습니다.

4. 실험 결과 (Results)

• 편향 감소: Mistral-7B 와 DeepSeek-7B 모델을 대상으로 한 실험에서, 제안된 Dynamic Neuron Masking은 프롬프트 엔지니어링, 벡터 스티어링, 정적 가지치기 등 기존 모든 베이스라인 방법보다 편향 점수를 가장 크게 감소시켰습니다.
  • 특히 다중 턴 대화에서 편향이 누적되는 현상을 효과적으로 차단하여, 대화 후반부에서도 일관된 공정성을 유지했습니다.
  • Sindhi, Pashto 등 저자원 언어에서도 큰 개선을 보였습니다.
• 유틸리티 유지: 정적 가지치기 (Static Pruning) 는 편향을 줄이는 대신 지식 손실과 일관성 저하를 초래했으나, 제안된 방법은 **지식 유지율 (Knowledge Retention)**과 **일관성 (Coherence)**을 높게 유지했습니다.
• 성능 오버헤드: 추론 단계에서 추가되는 오버헤드는 턴당 약 1.3ms로 매우 경량화되어 있어, 실시간 대화 AI 에 적용하기에 충분합니다.
• 절차적 분석 (Ablation Study): 메모리 프로브 (Memory Probe) 나 동적 게이팅을 제거할 경우 편향 감소 효과가 떨어지거나 모델 성능이 저하됨을 확인하여, 각 구성 요소의 필수성을 입증했습니다.

5. 의의 및 중요성 (Significance)

이 연구는 LLM 의 공정성 문제를 해결하기 위한 새로운 패러다임을 제시합니다.

• 실시간 적응형 제어: 대화의 맥락과 기억에 따라 편향이 변하는 동적 특성을 고려하여, "언제, 어디서, 얼마나" 억제할지 결정하는 지능형 메커니즘을 도입했습니다.
• 실용성: 재학습이 필요 없으며, 다양한 모델 아키텍처에 적용 가능한 모델-중립적 (model-agnostic) 접근법입니다.
• 안전한 대화 AI: 장기적인 대화에서도 편향이 누적되지 않도록 보장함으로써, 실제 세계의 대화형 AI 애플리케이션에서 신뢰성과 안전성을 크게 향상시킵니다.

결론적으로, 이 논문은 LLM 의 편향 문제가 단일 답변의 오류가 아니라 대화 흐름 전체의 동적 과정임을 규명하고, 이를 해결하기 위해 추론 단계의 동적 뉴런 제어가 필수적임을 증명했습니다.