기술 요약: LLM 공정성 평가를 위한 표준화 시험 점수가 아닌 현장 행동 평가

문제 제기

현재 대규모 언어 모델 (LLM) 의 공정성을 평가하는 패러다임은 표준화된 시험 질문 - 답변 벤치마크에 크게 의존하고 있습니다. 이 접근법에서는 인종, 성별, 연령과 같은 민감한 속성을 언급하는 질문으로 모델을 탐지하고, 그 답변에서 집계된 편향 점수를 도출합니다. 저자들은 이 패러다임이 구조적으로 신뢰할 수 없다고 주장합니다.

실증 분석에 따르면, 공정성 문제 자체와 완전히 직교하는 표면적 프롬프트 구성 선택 (예: 답변 선택지의 형식 (문자 vs 불릿) 이나 JSON 출력 필드의 순서 (답변 우선 vs 근거 우선)) 이 공정성 점수의 변동을 지배합니다. 이러한 임의적 선택들은 다음과 같은 영향을 미칠 수 있습니다:

1. 디코딩 확률적 요인을 통제한 후에도 점수 변동의 대부분을 설명합니다.
2. 공정성 결론의 방향과 크기를 모두 변경할 수 있습니다 (예: 한 프롬프트 형식에서는 한 방향으로 편향된 것으로 나타나고, 다른 형식에서는 편향되지 않거나 반대 방향으로 편향된 것으로 나타나는 경우).
3. 모델 간 순위에서 심각한 불일치를 유발합니다. 즉, 모델의 상대적 위치가 내재적 모델 행동이 아닌 프롬프트 형식에 따라 극적으로 변동합니다.

결과적으로, 표준화된 시험 패러다임은 진정한 공정성 신호와 측정 아티팩트 (artifact) 를 구분하지 못해, "서류상으로는 공정하지만 현실에서는 편향된" 평가로 이어질 수 있습니다.

방법론: MAC-Fairness

이러한 한계를 해결하기 위해 저자들은 MAC-Fairness를 제안합니다. 이는 정적 질문 - 답변에서 현장 행동 측정으로 평가 초점을 이동시키는 다중 에이전트 대화 프레임워크입니다.

핵심 프레임워크

• 측정 도구로서의 대화: 모델을 시험 응시자로 취급하는 대신, 이 프레임워크는 다중 라운드 대화를 측정 도구로 사용합니다. 표준화된 시험 질문은 직접적인 평가 지표가 아니라 대화를 시작하는 "대화 시드"로만 재사용됩니다.
• 에이전트 구성: 에이전트는 동일한 기본 모델에서 인스턴스화되지만 특정 속성으로 구성됩니다:
  • 인구통계학적 속성: 사회적 범주 (예: 흑인, 백인, 고령자, 청년).
  • 페르소나: 직업적 역할 (예: 의사, 교사).
  • 인스턴스화: 에이전트가 그 사람 자체 ("인간") 인지 그 사람을 보조하는지 ("AI").
  • 기준 에이전트: 인구통계학적 속성과 페르소나가 없으며 AI 로 인스턴스화된 통제 에이전트.
• 실험 설계:
  • 자기 관점: 기준 에이전트와 상호작용할 때 에이전트의 할당된 정체성이 입장 유지도 (초기 입장을 유지하는 빈도) 에 미치는 영향을 조사합니다.
  • 타자 관점: 동료의 노출된 정체성에 따라 에이전트의 수용성 (입장을 바꾸려는 의지) 이 어떻게 변하는지 조사합니다.
  • 통제된 변이: 800 만 개의 대화 기록을 통해 프롬프트 구조, 정체성 할당, 공개 조건 (노출된 동료 vs 익명 동료) 을 체계적으로 변형합니다.

행동 지표

주요 지표는 **이동률 ($\lambda$)**로, 이전 불일치 조건 하에서 에이전트가 동료의 이전 답변과 일치하도록 선택한 답변을 변경할 확률로 정의됩니다.

• 입장 유지도: 정체성 에이전트가 기준 에이전트의 입장으로 이동하지 않는 빈도로 측정됩니다.
• 동료 수용성: 동료의 정체성이 노출되었을 때, 기준 에이전트가 정체성 에이전트의 입장으로 이동하는 빈도로 측정됩니다.

주요 결과

1. 표준화된 시험 패러다임의 불안정성

3B 에서 70B 파라미터에 이르는 11 개의 오픈 가중치 모델과 두 가지 주요 벤치마크 (BBQ 및 Difference-Awareness) 에 대한 평가는 구조적 불안정성을 확인했습니다:

• 변동성 지배: 프롬프트 구성 선택이 점수 변동의 상당 부분 ($\eta^2$) 을 설명했으며, 베냐민 - 호크버그 (Benjamini-Hochberg) 보정 후에도 많은 결과가 통계적으로 유의미하게 남았습니다.
• 방향성 전환: GLM 4.7 Flash 와 같은 모델의 경우, 단일 카테고리 내 극단적 편향 점수 간의 비율이 57 배에 달했습니다. 여러 카테고리에서는 프롬프트 형식에 따라 모델이 반대 방향으로 편향된 것으로 나타나는 "부호 반전"이 관찰되었습니다.
• 순위 불일치: 모델 순위는 매우 불안정했습니다. 모델은 표면적 프롬프트 변이만으로 최상위에서 최하위까지 전체 순위 범위를 이동할 수 있었습니다.

2. 안정적인 현장 행동 서명

표준화된 시험의 변동성과 대조적으로, MAC-Fairness 는 서로 다른 벤치마크 (BBQ, Discrim-Eval, Difference-Awareness) 에서 재현되는 안정적이고 모델 고유의 행동 패턴을 드러냈습니다:

• 자기 관점 (입장 유지도):

  • 인구통계학적 할당이 고집을 증가시킴: 어떤 인구통계학적 정체성 (예: 흑인, 백인, 고령자) 이든 할당하는 것은 null 인구통계학적 할당에 비해 일반적으로 입장 유지도를 증가시켰습니다 (에이전트를 더 "고집 세게" 만듦).
  • 소외 계층의 비대칭성: 소외된 인구통계학적 속성 (흑인, 고령자, 여성) 을 할당받은 에이전트는 여러 모델과 벤치마크에서 짝을 이룬 상대 (백인, 청년, 남성) 보다 일관되게 더 높은 입장 유지도를 보였습니다. 이 효과는 Ministral 3 와 Qwen3 모델에서 특히 두드러졌습니다.
  • 인스턴스화 효과: 인종 관련 효과는 "인간"과 "AI" 인스턴스화 모두에서 지속되었으나, 연령 관련 효과는 주로 "인간" 인스턴스화에서 관찰되었습니다.

• 타자 관점 (동료 수용성):

  • 차별적 수용성: 기준 에이전트의 수용성은 노출된 정체성에 따라 달라졌습니다. "백인" 대비 "흑인" 또는 "남성" 대비 "여성"을 노출하는 것은 특정 모델 (특히 GLM 4.7 Flash) 에서 기준 에이전트의 수용성을 증가시켰습니다.
  • 인스턴스화에 의한 조절: 정체성 노출의 효과는 동료가 "인간"으로 인스턴스화되었는지 "AI"로 인스턴스화되었는지에 따라 조절되었습니다. 예를 들어, Phi-4 Mini 에서 동료가 "고령자"로 노출되었을 때 인간 인스턴스화는 수용성을 약화시켰습니다.
  • 정체성 vs Null: 자기 관점과 달리, 단순히 어떤 인구통계학적 정체성이든 노출하는 것은 null 노출에 비해 수용성을 일관되게 변화시키지 않았습니다. 정체성의 존재 여부보다 구체적인 인구통계학적 내용이 더 중요했습니다.

중요성과 주장

이 논문은 LLM 공정성 평가를 표준화된 시험 점수가 아닌 현장 대화 행동을 통해 수행해야 한다고 주장합니다.

• 패러다임 전환: 저자들은 프롬프트 아티팩트에 취약한 정적, 점수 기반 평가에서 벗어나 동적 행동 상호작용을 통해 공정성을 포착하는 프레임워크로의 이동을 주장합니다.
• 일반화 가능성: 식별된 행동 서명 (예: 소외된 정체성에 대한 증가된 유지도) 은 다른 공정성 목표, 질문 구조, 방법론을 가진 벤치마크 전반에 걸쳐 안정적이라고 주장됩니다. 이러한 벤치마크 간 일관성은 이러한 패턴이 특정 평가 설계의 아티팩트가 아니라 모델의 내재적 행동 특성을 반영함을 시사합니다.
• 측정 타당성: 대화 자체를 도구로 취급함으로써 MAC-Fairness 는 정체성이 자연스러운 상호작용에 통합되었을 때 모델이 어떻게 행동하는지에 대한 더 근본적이고 신뢰할 수 있는 평가를 제공하며, 표준화된 시험 패러다임이 제공할 수 없는 증거를 제시합니다.

이 연구는 기존 점수를 대체할 새로운 "공정성 점수"를 제안하는 것이 아니라, 현재 평가 프로토콜에 내재된 노이즈에 강건한 안정적인 행동 패턴을 식별하기 위한 방법론적 전환을 제안합니다.