기술적 요약: 대규모 언어 모델의 설명 공정성

1. 문제 제기

보호 속성이 불리한 결과와 상관관계를 갖는지 여부에 초점을 맞춘 대규모 언어 모델 (LLM) 의 의사결정 수준 공정성에 대한 광범위한 연구가 존재하지만, **설명 공정성 (explanation fairness)**에 관한 중요한 공백이 존재합니다. 본 논문은 설명 공정성을 동일한 근본적 의사결정이 존재함에도 불구하고, LLM 이 다양한 인구통계학적 그룹에 대해 제공하는 정당화의 품질, 깊이, 어조, 그리고 언어적 정교함에서 체계적으로 변이하는 것으로 정의합니다.

저자들은 모델이 균형 잡힌 의사결정을 내리면서도 이를 불평등하게 설명할 수 있다고 주장합니다 (예: 한 그룹에게는 세심하고 존중하는 정당화를 제공하고 다른 그룹에게는 짧고 경멸적인 정당화를 제공하는 경우). 이러한 불평등은 의사결정 공정성과 구별되며, 특히 개인이 의사결정을 이해하고 이의제기를 할 수 있도록 충분한 투명한 정당화를 제공하도록 의무화하는 EU AI 법 (제 13 조) 을 고려할 때 중요한 규제적 시급성을 지닙니다. 만약 소수 그룹에 대해 설명의 품질이 체계적으로 낮다면, "설명에 대한 권리"에 대한 준수가 훼손됩니다.

2. 방법론

2.1 실험 설계

본 연구는 서신 형식 감사 연구의 표준 방법론인 프롬프트 템플릿 내 **이름 치환 (name substitution)**을 활용한 통제된 실증 설계를 사용합니다.

• 도메인: 네 가지 중대한 의사결정 도메인이 선정되었습니다: 채용, 의료 분류, 신용 평가, 그리고 법적 판결.
• 템플릿: 80 개의 프롬프트 템플릿이 구성되었습니다 (도메인당 20 개). 각 쌍에서 시나리오 내용 (자격, 상황, 의사결정 결과) 은 일정하게 유지되지만, 인구통계학적 속성 (이름) 은 성별, 인종, 연령, 종교, 그리고 교차적 정체성을 대표하도록 변형됩니다.
• 모델: 다섯 가지 LLM 이 평가되었습니다: GPT-4.1, Claude Sonnet, LLaMA 3.3 70B, GPT-OSS 120B, 그리고 Qwen3 32B.
• 데이터 양: 모든 모델에 걸쳐 최대 400 개의 프롬프트 쌍이 평가되었습니다. 의사결정 연계 설명 (Decision-Linked Explanation) 지표의 경우, 각 프롬프트에 대해 대조적 설명 (동일한 시나리오에서 반대 의사결정을 정당화하는 설명) 을 유도하여 충실도 대리 지표를 계산했습니다.

2.2 설명 공정성 분류 체계 (EFT)

본 논문은 다섯 가지 공식적으로 정의되고 실행 가능한 차원으로 구성된 실용적 프레임워크인 **설명 공정성 분류 체계 (Explanation Fairness Taxonomy, EFT)**를 소개합니다. 이러한 차원들은 모델 내부에 접근하지 않고도 블랙박스 지표를 통해 측정 가능합니다:

1. 언급량 불평등 (Verbosity Disparity): 단어 수와 상세화 깊이 (문장 임베딩 클러스터링을 통해 식별된 의미적으로 다른 이유의 수) 로 측정됩니다.
2. 감정 불평등 (Sentiment Disparity): 감정적 양극성 (긍정, 부정, 중립) 을 평가하기 위해 VADER 복합 점수로 측정됩니다.
3. 인식적 유보 불평등 (Epistemic Hedging Disparity): **유보 밀도 점수 (Hedging Density Score, HDS)**로 측정되며, 이는 "아마도", "가능성 있게", "불확실"과 같은 불확실성 마커의 빈도를 정량화하는 가중치 기반 어휘 지표입니다.
4. 의사결정 연계 설명 불평등 (Decision-Linked Explanation Disparity): **설명 충실도 대리 지표 (Explanation Faithfulness Proxy, EFP)**로 측정됩니다. 이 휴리스틱은 동일한 시나리오에서 의사결정 ($d$) 에 대한 설명과 반대 의사결정 ($\neg d$) 에 대한 설명 간의 구조적 불유사성 (임베딩의 코사인 거리) 을 계산합니다. 낮은 EFP 는 설명이 의사결정에 불변임을 나타내며, 진정한 추론의 부재를 시사합니다.
5. 어휘 복잡성 불평등 (Lexical Complexity Disparity): Flesch-Kincaid 학년 수준 (FKGL), 유형 - 토큰 비율 (TTR), 그리고 도메인 용어 밀도로 측정됩니다.

2.3 통계 분석

불평등은 인구통계학적 쌍 간의 절대적 차이로 정량화되었습니다. 통계적 유의성은 일표본 윌콕슨 부호 순위 검정으로 테스트되었으며, 효과 크기는 코헨의 $d$를 통해 계산되었습니다. 다중 비교는 베냐민 - 호크버그 (BH) 절차로 보정되었습니다.

3. 주요 기여

1. 실행 가능한 분류 체계: 설명 수준 불평등의 다섯 가지 구별되고 측정 가능한 차원을 제공하는 EFT 의 정의.
2. 새로운 지표: 모델 가중치나 내부 접근 없이 설명 공정성을 감사하기 위한 실용적인 블랙박스 휴리스틱인 HDS 와 EFP 의 도입.
3. 실증적 벤치마크: 80 개의 프롬프트 템플릿, 4 개의 도메인, 5 개의 LLM 에 걸친 대규모 연구로, 모든 지표에서 체계적인 불평등이 있음을 보여주는 결과.
4. 완화 분석: 배포 수준 지시사항이 이러한 문제를 해결할 수 있는지 여부를 결정하기 위해 가장 높은 불평등을 보인 모델에 대한 두 가지 프롬프트 개입 ("Blind" 및 "Fairness" 지시) 평가.

4. 주요 결과

4.1 불평등의 존재 (RQ1)

여덟 가지 EFT 지표 (어휘 복잡성 하위 지표 포함) 가 모든 프롬프트 쌍에서 통계적으로 유의미한 불평등을 보였습니다 ($p_{BH} < 10^{-62}$). 효과 크기 (코헨의 $d$) 는 작음에서 큼까지 다양했습니다:

• 큰 효과: 어휘 복잡성 (FKGL, $d=0.856$) 과 인식적 유보 (HDS, $d=0.810$).
• 중간 효과: 상세화 깊이, 감정, TTR, 도메인 밀도, 그리고 EFP ($d \approx 0.57–0.77$).
• 작은 효과: 언급량 (단어 수, $d=0.457$).
  불평등의 분포는 오른쪽으로 치우쳐 있었으며, 이는 평균 불평등은 중간 정도였지만 특정 인구통계학적 쌍에서 극심한 불평등이 나타났음을 의미합니다.

4.2 인구통계학적 축 (RQ2)

불평등은 인구통계학적 축에 따라 달라졌지만 단일한 일관된 피해 패턴을 따르지는 않았습니다:

• 종교: 특히 상세화 깊이와 어휘 복잡성에서 가장 높은 평균 불평등 ($d=0.822$) 을 보였으나, 이 축의 표본 크기는 작았습니다 ($n=40$).
• 방향성: 불평등의 방향은 일관되지 않았습니다. 예를 들어, 무슬림 이름의 지원자는 기독교 이름의 지원자보다 훨씬 짧고 덜 상세한 설명을 받았습니다. 반면, 여성 지원자는 남성 지원자보다 더 길고 상세한 설명을 받았지만, 이는 더 긍정적인 감정과 상관관계가 없었습니다.

4.3 모델 변동성 (RQ3)

모델 선택은 불평등의 크기와 강하게 연관되었습니다:

• Qwen3 32B는 가장 높은 불평등을 보였으며, 언급량 불평등은 LLaMA 3.3 70B 보다 5.9 배 더 컸습니다. 동일한 시나리오에서 한 인구통계학적 그룹에게는 최소한의 출력을 생성하는 반면 다른 그룹에게는 상세한 응답을 생성하는 경우가 빈번했습니다.
• GPT-OSS 120B는 특히 법적 도메인에서 EFP 대리 지표에서 가장 높은 불평등을 보였으며, 이는 특정 그룹에 대해 의사결정 변화에 대한 설명의 민감도가 낮았음을 시사합니다.
• GPT-4.1 과 LLaMA 3.3 70B는 가장 공정한 모델로 4 위와 5 위를 차지했으나, 여전히 통계적으로 유의미한 불평등을 보였습니다.

4.4 프롬프팅을 통한 완화 (RQ4)

Qwen3 32B 와 GPT-OSS 120B 에 대해 두 가지 프롬프트 개입 ("Blind" 및 "Fairness") 이 테스트되었습니다:

• EFP 대리 지표: 두 개입 모두 EFP 불평등을 크게 감소시켰습니다 (78–95%). 그러나 저자들은 이것이 모호하다고 지적합니다. 더 일관된 의사결정 민감도를 나타낼 수도 있고, 단순히 균일하게 일반적인 설명을 생성한 것일 수도 있기 때문입니다.
• 스타일 차원: 어떤 개입도 언급량, 감정, 유보, 또는 어휘 복잡성의 유의미한 감소를 낳지 않았습니다. 일부 경우 불평등이 증가하기도 했습니다 (통계적으로 유의미하지는 않음).
• 결론: 프롬프팅만으로는 스타일적 설명 불평등을 해결하기에 부족합니다.

5. 중요성과 주장

본 논문은 설명 공정성이 의사결정 공정성과 구별되는, 측정 가능하며 법적 결과를 초래하는 AI 안전의 고유한 차원이라고 주장합니다.

• 규제적 함의: 연구 결과에 따르면 조직들은 EU AI 법의 "문자" (설명 제공) 는 충족시키면서도 그 "정신" (동일한 품질과 접근성을 가진 설명 제공) 은 충족시키지 못할 수 있습니다. EFT 는 2026 년 집행 시한 이전에 이러한 비대칭성을 감지할 수 있는 재현 가능한 블랙박스 감사 프레임워크를 제공합니다.
• 배포 지침: 본 연구는 모델 선택을 가장 높은 효과를 가진 개입으로 식별합니다. 실무자들은 단순한 프롬프트 전략이 스타일적 불평등을 해결할 수 없으며, 대신 이러한 격차를 해소하려면 훈련 수준 개입 (예: 대조적으로 균형 잡힌 데이터 또는 표적 파인튜닝) 이 필요할 것이라고 조언받아야 합니다.
• 한계: 저자들은 EFP 가 인간 검증을 필요로 하는 휴리스틱 대리 지표임을 명시적으로 밝히고 있으며, 연구는 인간이 평가한 기준 진실 (ground truth) 없이 자동화된 지표에 의존하며, 이름 치환 설계는 특정 인구통계학적 속성에 대한 인과적 귀속이 아닌 상관 신호를 포착한다고 명시합니다.

요약하자면, 본 논문은 LLM 이 인구통계학적 프레임에 기반하여 의사결정을 체계적으로 다르게 정당화하며, 이러한 불평등은 모델과 도메인에 걸쳐 견고하며, 배포 수준 프롬프팅을 통해 쉽게 수정될 수 없어 훈련 수준 개선과 엄격한 자동 감사를 필요로 함을 입증합니다.