Status Association Does Not Reliably Predict Decision Leakage

기술 요약: 상태 연관성은 의사결정 유출을 신뢰성 있게 예측하지 못함

문제 정의
대규모 언어 모델(LLM)의 편향 평가는 두 가지 구별되는 현상, 즉 사회적 연관성의 인코딩(잠재적 지식)과 이러한 연관성이 결과적인 의사결정에 나타나는 현상(행동적 유출)을 자주 혼동한다. 기존 문헌은 모델이 사회적 고정관념을 인코딩하고 있다는 증거로부터 모델이 해당 고정관념에 따라 결과를 변경할 것이라는 주장으로 너무 빠르게 비약하는 경향이 있다. 본 논문은 구성 타당성 문제, 즉 정당한 증거가 일정하게 유지될 때 강력한 "연관성 점수"가 "의사결정 유출"(사회적 신호에 따른 결과의 변화)을 신뢰성 있게 예측하는지 여부를 다룬다. 본 연구는 연관성과 행동이 경험적으로 구별되는 별개의 구성 개념이며, 각각 별도로 측정되어야 한다고 상정한다.

방법론
본 연구는 칠레 성씨를 사회경제적 프로브(probe)로 사용하는 통제된 다중 모델 실험 설계를 채택하였다. 칠레 성씨 네트워크는 산티아고의 사회경제적 클러스터링과 도시 격리 패턴을 부호화하고 있어, 이진법적 범주를 벗어나 사회적 지위를 나타내는 문화 특수적이고 비이진적인 대리 지표 역할을 한다.

• 실험 설계: 연구진은 8개의 동결된 모델 제공자 셀(GPT-5.4, Claude Sonnet 5, Gemini 3.6, DeepSeek V3.2, Qwen 3.7, Mistral Medium 3.5, Llama 4 Maverick 포함)을 대상으로 각각 1,032개의 프롬프트를 평가하여, 총 8,256개의 검증된 1차 응답을 확보하였다.
• 자극물: 설계에는 30개의 동결된 성씨 프로브가 사용되었다: 10개의 엘리트 계층 코드 성씨, 10개의 일반 빈도 성씨, 그리고 10개의 희귀 빈도 대조군(단순 희귀성을 지위 효과와 구분하기 위함). 이들은 네 가지 의사결정 영역(학술 선발, 전문직 채용, 연구 펠로우십 선발, 법률 지원 접수)에 걸친 192개의 결정론적 합성 프로필과 결합된다.
• 측정 도구:
  1. 잠재적 연관성(Latent Association): "강제적(forced)" 도구(상태 결과에 대한 확률 질량 할당을 요구함)와 "기권 허용(abstention-permitted)" 도구(추론을 거부할 수 있도록 허용함)를 통해 측정된다.
  2. 의사결정 유출(Decision Leakage): 동일한 기저 증거 프로필에 대해 엘리트 코드 조건과 일반 빈도 조건 간의 쌍을 이룬 점수 차이로 측정된다.
• 통계적 접근: 본 연구는 실질적으로 작은 효과를 통계적 검정력이 부족한 영가설과 구분하기 위해 사전 선언된 ±0.10 표준 편차의 마진을 사용하는 등가 검정(equivalence testing)을 사용한다. 또한 모델 수준 및 동결된 성씨-쌍-모델 수준에서 연관성 강도와 의사결정 유출 사이의 상관관계를 테스트한다.

주요 결과

• 강력한 잠재적 연관성: 7개의 모델이 일반 성씨에 비해 엘리트 코드 성씨에 더 높은 고위층 확률 질량을 할당하였다. 8개 모델 모두 희귀 빈도 대조군에 비해 엘리트 성씨에 더 높은 질량을 보였다. 연관성의 크기는 모델마다 크게 달랐다 (예: Gemini 3.6 Flash의 경우 +62.10 포인트, GPT-5.4 Nano의 경우 +6.00 포인트).
• 최소한의 의사결정 유출: 강력한 잠재적 연관성에도 불구하고, 결과적인 의사결정으로의 전이는 미미했다. 5개 모델(Claude Sonnet 5, DeepSeek V3.2, Gemini 3.6 Flash, Mistral Medium 3.5, Qwen 3.7 Max)은 사전 선언된 등가 기준을 충족하였으며, -0.021에서 +0.031 표준 편차 사이의 의사결정 효과를 보였다. 나머지 모델들은 통계적으로 탐지 가능한 엘리트 우위나 실질적 등가 경계 근처의 효과를 보이지 않았다.
• 구성 개념의 해리(Dissociation): 잠재적 연관성의 강도와 의사결정 유출의 크기 사이에는 신뢰할 만한 상관관계가 없었다.
  • 모델 수준 상관관계: $r = 0.201$ ($p = 0.633$).
  • 성씨-쌍-모델 수준 상관관계: $r = 0.065$ ($p = 0.565$).
  • 주목할 점은, 가장 강력한 잠재적 연관성을 보인 모델들(예: Gemini 3.6 Flash, Claude Sonnet 5)조차 의사결정 효과는 사실상 제로와 구별되지 않을 정도로 나타났다.

주요 기여

1. 전이 간극의 경험적 객관화: 본 논문은 "연관성"에서 "의사결정"으로의 전환을 명시적인 경험적 대상으로 만들어, 정당한 증거가 존재할 때 모델이 고정관념을 인코딩하면서도 의사결정을 변경하지 않을 수 있음을 입증한다.
2. 문화적으로 근거한 테스트 베드: 서구 중심적인 인구통계학적 범주를 넘어 문화 특수적인 사회적 지식을 테스트하기 위해, 일반 및 희귀 빈도 대조군을 포함한 칠레 성씨 테스트 베드를 도입하였다.
3. 방법론적 구별: 본 연구는 강제적 잠재 연관성, 표현된 추론(기권 포함), 그리고 결과적인 의사결정 유출을 구분하는 증거의 계층 구조를 체계화한다. 이는 이들이 하나의 지표로 통합되어서는 안 되는 별개의 행동 표면임을 보여준다.
4. 재현성: 8,256개의 1차 관측치를 재현하는 데 필요한 동결된 도구, 제공자 출처, 정확한 프롬프트 매니페스트를 공개한다.

의의 및 주장
본 논문의 핵심 주장은 측정의 해리이다: 잠재적 사회적 연관성과 결과적 처우는 경험적으로 구별되는 구성 개념이다. 본 연구는 편향을 평가하려면 표현적 점수로부터 의사결정 차별을 추론하는 것이 아니라, 연관성에서 행동으로의 전환을 직접 측정해야 한다고 주장한다.

저자는 연관성 프로브를 의사결정 차별의 증거로 취급하는 것이 다운스트림 효과를 상당히 과장할 수 있다고 단언한다. 표상적 해악(고정관념의 인코딩)은 여전히 유효한 관심사이지만, 이것이 반드시 배분적 해악(편향된 결정)을 의미하는 것은 아니다. 따라서 본 논문은 벤치마크가 실제로 측정하는 수준으로 주장을 엄격히 제한하는 벤치마크 설계로의 전환을 촉구한다. 만약 연관성 측정값과 의사결정 감사가 서로 다르다면(본 연구의 문화적 설정에서 그러했듯이), 평가자는 직접적인 행동 증거 없이 모델의 "편향 점수"가 실제 세계의 차별적 행동을 예측한다고 주장하는 것을 자제해야 한다. 본 연구는 결론적으로, 테스트된 동결 조건 하에서 연관성 강도는 일치하는 의사결정 차이를 예측하는 데 있어 열악한 예측 변수라고 밝힌다.