기술 요약: 의사결정 전 고정관념의 학습 제거 (Unlearning)

문제 정의

대규모 언어 모델(LLM)은 채용 및 금융과 같은 고위험 사회경제적 의사결정 시스템에 점점 더 많이 통합되고 있습니다. 이러한 시스템은 LLM이 역사적 학습 데이터에서 유래된 내재적 표현 편향(고정관념)을 인코딩할 수 있기 때문에 기존의 사회적 및 경제적 불평등을 증폭시킬 위험이 있습니다. 선행 연구들은 내재적 편향과 불공정한 다운스트림 행동을 각각 독립적으로 연구해 왔으나, 모델 수준에서의 내재적 편향 완화가 측정 가능한 다운스트림 공정성 개선으로 어떻게 이어지는지는 여전히 불분명합니다. 내재적 완화 전략과 외재적 완화 전략이 일반적으로 분리되어 연구된다는 점 때문에, 표현 학습 제거(representational debiasing)가 파이프라인을 통해 어떻게 전달되어 실제 세계의 결정 결과에 영향을 미치는지에 대한 이해에는 중요한 격차가 존재합니다.

방법론: 공정성 인식 개념 학습 제거 (Fairness-Aware Concept Unlearning, FACU)

이 격차를 해결하기 위해 저자들은 특정 개념을 단순히 억제하기보다는 인구통계학적 연관성을 균형 있게 맞추도록 설계된 내재적 편향 완화 방법인 **공정성 인식 개념 학습 제거 (FACU)**를 제안합니다. 특정 개념을 제거하는 것을 목표로 하는 표준적인 개념 학습 제거(concept unlearning) 방식(주로 안전성이나 프라이버시를 위해 사용됨)과 달리, FACU는 고정관념적 연관성과 반(anti)-고정관념적 연관성 사이의 확률 차이를 명시적으로 정규화하도록 메커니즘을 조정합니다.

핵심 메커니즘

FACU는 모델이 쌍을 이루는 인구통계학적 답변 후보(예: 특정 사회경제적 질문에 대해 "여성" 대 "남성")에 확률을 할당하는 다음 토큰 예측 설정에서 작동합니다. 이 방법은 고정관념적($y_{stereo}$) 후보와 반(anti)-고정관념적($y_{anti}$) 후보 사이의 **확률 차이(probability gap, $GAP$)**를 정의합니다. 목표는 이 차이를 최소화($GAP \approx 0$)하면서 모델의 일반적인 언어 모델링 능력을 보존하는 것입니다.

훈련 목적 함수($L_{total}$)는 네 가지 손실 항의 가중 결합입니다:

1. 학습 제거 손실 ($L_{unlearn}$): 고정관념적 응답의 가능성을 낮춥니다 (해당 토큰에 대한 경사 상승법을 통해 구현).
2. 학습 손실 ($L_{learn}$): 반(anti)-고정관념적 응답의 가능성을 높입니다 (표준 경사 하강법).
3. 차이 손실 ($L_{gap}$): 고정관념적 후보와 반(anti)-고정관념적 후보의 확률 차이의 제곱을 명시적으로 처벌하는 공정성 정규화 항입니다. 이는 확률 붕괴(probability collapse)나 편향 역전(bias inversion, 하나의 편향을 다른 것으로 바꾸는 현상)을 방지합니다.
4. 정규화 손실 ($L_{norm}$): 일반적인 언어 모델링 행동을 보존하고 치명적 망각을 방지하기 위해 중립적인 프롬프트에 대해 동결된 참조 모델에 대한 KL-발산 페널티를 적용합니다.

실험 설정

저자들은 세 가지 오픈 소스 명령 튜닝 LLM인 Llama-3.1 (8B), Gemma-2 (2B), **Phi-3 Mini (3.8B)**를 대상으로 FACU를 평가했습니다.

• 내재적 평가: 훈련 데이터로는 SocioEconomicQA의 성별 서브셋을, 분포 외(OOD) 데이터로는 BBQ 및 CrowS-Pairs를 포함했습니다. 지표로는 빈곤 연관 비율(PAR), iCAT(고정관념 균형 대 언어 품질), 퍼플렉서티(perplexity)가 사용되었습니다.
• 다운스트림 평가: 세 가지 사회경제적 의사결정 데이터셋(German Credit, ACS Employment, Adult)을 이진 분류 작업에 사용했습니다.
• 배포 설정: 두 가지 구성을 테스트했습니다:
  1. LLM-as-Feature-Extractor: 동결된 LLM 임베딩을 로지스틱 회귀 분류기에 입력.
  2. LLM-as-Classifier: 특정 다운스트림 작업을 위해 LoRA를 통해 미세 조정된 LLM.
• 비교 대상: FACU를 완화 조치 없음(no mitigation), 표준 개념 학습 제거, 직접 선호 최적화(DPO), 그리고 셀프 디바이아싱(self-debiasing)과 비교했습니다. 또한 FACটি는 외재적 전략인 카운터팩추얼 데이터 증강(CDA) 및 셀프 디바이아싱과 결합되어 테스트되었습니다.

주요 결과

1. 내재적 편향 완화 (RQ1)

FACU는 모든 모델에 대해 베이스라인 대비 일관되게 가장 낮은 확률 차이(GAP)와 가장 높은 iCAT 점수를 달성했습니다.

• 학습 제거 대비 우수성: 표준 학습 제거는 종종 "확률 붕괴"(고정관념 확률을 0으로 만들고 반(anti)-고정관념 확률을 1로 만드는 현상) 또는 편향 역전을 초래했으며, 특히 작은 모델(Gemma, Phi)에서 두드러졌습니다. FACU의 명시적인 차이 정규화는 이를 방지하여 균형 잡힌 연관성을 보장했습니다.
• DPO 대비 우수성: DPO는 제한적인 GAP 감소를 보였으며 iCAT 점수를 크게 저하시켰습니다. 이는 선호 최적화만으로는 신뢰할 수 있는 균형 잡힌 인구통계학적 표현을 생성하지 못함을 시사합니다.
• 일반화 능력: SocioEconomicQA에서만 학습되었음에도 불구하고, FACU는 분포 외 데이터셋(BBQ, CrowS-Pairs)에서도 내재적 편향을 줄였습니다. 이는 FACU가 특정 데이터셋의 고정관념에 과적합되는 것이 아니라 더 넓은 표현 패턴을 포착함을 나타냅니다.
• 성능: FACU는 안정적인 퍼플렉서티를 유지하여, 편향 감소가 언어 모델링 품질의 희생을 수반하지 않음을 입증했습니다.

2. 다운스트림 공정성 전달 (RQ2)

본 연구는 FACU를 통한 내재적 편향 완화가 측정 가능한 다운스트림 공정성 개선으로 이어진다는 것을 발견했습니다.

• 통계적 유의성: 대부분의 설정에서 FACU로 완화된 모델은 사전 학습된 베이스라인에 비해 집단 공정성 지표(인구통계학적 패리티 및 등가 오차)에서 통계적으로 유ง의한 개선을 보였습니다. 예측 정확도의 변화는 통계적으로 유의하지 않았습니다.
• 정확도 패리티: FACU는 정확도 패리티(Accuracy Parity) 측면에서 개선되는 일관된 경향을 보였으나, 다른 방법들보다 실질적으로 낮은 p-값을 나타냈음에도 불구하고 이 결과는 통계적 유의성에 도달하지 못했습니다.
• 유틸리티 보존: 이러한 공정성 이득은 예측 정확도의 통계적으로 유의한 저하 없이 달성되었습니다.
• 일관성: 개선 효과는 피처 추출기(feature-extractor)와 미세 조정된 분류기(fine-tuned classifier) 설정 모두에서 관찰되었으나, 그 규모는 모델과 데이터셋에 따라 달랐습니다.

3. 외재적 전략과의 상호작작용 (RQ3)

저자들은 내재적 완화가 외재적 방법(CDA 및 셀프 디바이아싱)과 어떻게 상호작용하는지 조사했습니다.

• 상보성: FACU를 CDA와 결합했을 때 더 높은 공정성 개선을 얻었으며, 종종 두 방법 중 하나만 단독으로 사용했을 때보다 뛰어난 성능을 보였습니다. 이는 내재적 디바이아싱과 데이터 수준의 증강이 편향 문제의 서로 다른 측면을 다룬다는 것을 시사합니다.
• 통계적 근거: 쌍체 검정(paired sign tests) 결과, FACU와 CDA의 결합은 모든 공정성 지표에서 통계적으로 유의한 총체적 이득을 가져온 반면, CDA 단독으로는 Equalized Odds에 대해서만 유의미했습니다.
• 셀프 디바이아싱: FACU를 셀프 디바이아싱과 결합했을 때 일부 개선이 있었으나, 특히 정확도 저하가 공정성 지표를 왜곡하는 작은 데이터셋이나 모델에서는 결과가 덜 일관적이었습니다.

의의 및 주장

본 논문은 공정성 인식 내재적 편향 완화가 LLM 기반 사회경제적 의사결정 시스템의 다운스트림 공정성을 향상시키기 위한 실행 가능하고 효과적인 전략임을 주장합니다. 핵심 요점은 다음과 같습니다:

1. 직접적 인과관계: 본 연구는 내재적 표현 편향을 줄이는 것이 직접적으로 더 공정한 다운스트림 결과를 이끌어낸다는 증거를 제공하며, 내재적 편향과 외재적 편향이 서로 무관하다는 관점에 도전합니다.
2. 균형 vs 억제: 저자들은 공정성이란 인구통계학적 연관성을 억제하는 것이 아니라 균형을 맞추는 것이라고 주장합니다. FACU는 확률 차이를 명시적으로 정규화하는 것이 표준 학습 제거 또는 선호 최적화보다 이 목표에 더 효과적임을 입증합니다.
3. 파이프라인 시너지: 본 연구 결과는 모델 개발(내재적) 단계와 다운스트림 배포(외재적) 단계 모두에서 공유된 완화 노력이 중요함을 강조합니다. 이러한 접근 방식을 결합하면 가장 강력한 공정성 개선을 얻을 수 있습니다.
4. 실용성: FACU는 확장 가능한 솔루션을 제공합니다. 편향에 집중된 작은 데이터셋을 사용하여 일회성 모델 수준의 개입을 수행하면, 이후 완화된 모델을 특정 공정성 제약 조건에 대한 재학습 없이 다양한 다운스트 다운스트림 작업에 재사용할 수 있습니다.

저자들은 예측 성능이 배포 시 흔히 우선시되지만, FAC-U와 같은 공정성 인식 내재적 디바이아싱을 통합함으로써 유틸리티를 희생하지 않고도 자동화된 의사결정의 형평성을 개선할 수 있다고 결론짓습니다.