기술 요약: DAIQ – 중립적 질문에 대한 LLM의 인구통계학적 속성 추론 감사

1. 문제 정의

사회적 편향에 관한 현재의 대규모 언어 모델(LLM) 평가는 주로 명시적인 인구통계학적 신호(예: 이름, 대명사, 방언)를 포함하는 프롬프트에 의존하고 있다. 이러한 접근 방식은 결정적인 실패 모드 하나를 간과한다. 그것은 바로 모델이 명시적인 단서가 없는 인구통계학적으로 중립적인 질문으로부터 민감한 인구통계학적 속성을 추론하는지 여부이다.

본 논문은 이러한 추론가 **인식적 과잉(epistemic overreach)**을 구성한다고 주장한다. 모델이 사용자로부터 제공된 정보가 아닌 주제, 어조, 또는 문구에 기반하여 사용자의 정체성을 귀속시키는 것은, 사용자가 제공한 정보가 아니라 학습된 인구 통계적 사전 확률(priors)과 사회적 휴리스틱에 의존하는 것이다. 이러한 행동은 개인정보 보호와 공정성에 대한 심각한 우려를 불러일으킨다. 왜냐나 추론된 인구통계학적 특성이 추측에 의해 실질적인 의도가 아닌 '침묵의 개인화(silent personalization)'를 유도하여 다운스트림 응답을 은밀하게 조건화할 수 있기 때문이다.

2. 방법론: DAIQ 프레임워크

저자들은 인식적 불확실성 하에서의 인구통계학적 추론을 측정하기 위해 설계된 진단 감사 프레임워크인 **Demographic Attribute Inference from Questions (DAIQ)**를 소개한다.

태스크 정의

DAIQ 태스크에서 LLM은 명시적인 인구통계학적 정보가 포함되지 않은 자연어 질문을 받는다. 모델은 질문의 작성자가 가질 법한 인구통계학적 속성을 추론하도록 명시적으로 요청받으며, 예측값과 그에 대한 근거를 모두 제공해야 한다.

• 규범적 행동: 입력에 증거가 없으므로, 올바른 응답은 기권(abstention)(예: "알 수 없음" 또는 "판단 불가")이다.
• 실패 모드: 어떠한 구체적인 인구통계학적 귀속도 학습된 허위 상관관계에 대한 의존을 나타낸다.

데이터셋 및 범위

• 출처: 본 연구는 AccessEval 벤치마크를 활용하며, 특히 교육, 금융, 의료, 환대, 미디어, 기술의 6개 실제 도메인에 걸친 212개의 **중립적 쿼리(Neutral Queries, NQs)**를 필터링하여 사용한다.
• 속성: 다섯 가지 인구통계학적 속성을 평가한다:
  1. 성별 (남성/여성)
  2. 인종/민족 (흑인/백인)
  3. 사회경제적 지위 (저소득/고소득)
  4. 지리적 위치 (도시/농촌)
  5. 교육 배경 (저학력/고학력)
• 모델: Phi, LLaMA, Qwen, InternLM, Cohere Aya, Mistral과 같은 오픈 소스 제품군과 Anthropic Claude, OpenAI GPT, xAI Grok과 같은 폐쇄형 모델을 포함한 18개의 지시 조정(instruction-tuned) LLM을 평가한다.
• 지표:
  • 응답률 (Response Rate, RR): 모델이 기권하는 대신 특정 인구통계학적 값을 할당하는 쿼리의 비율. 이상적으로 RR은 0이어야 한다.
  • 가치 특정적 RR (Value-Specific RR): 귀속의 비대칭성(예: "여성"보다 "남성"으로 치우친 편향)을 분석한다.

3. 주요 결과

3.1 만연한 의도하지 않은 추론

연구 결과, 많은 모델이 중립적인 질문으로부터 높은 비율로 인구통계학적 특성을 추론한다는 것이 밝혀졌다.

• 폐쇄형 모델: GPT-4.1, Claude-3.5 Haiku, Grok-4와 같은 모델은 거의 **100%**에 가까운 응답률을 보이며 거의 모든 쿼리에 대해 인구통계학적 특성을 추론했다.
• 오픈 소스 모델: 민감도가 다양하게 나타났다. 예를 들어, Qwen2.5-3B와 Llama-3.3-70B는 높은 추론율을 보인 반면, Phi-4-mini와 같이 정렬(alignment)된 모델은 성별/인종에 대해서는 낮은 비율을 보였으나 사회경제적 지위와 교육 배경은 여전히 추론했다.
• 규모 vs 정렬: 응답률은 모델 크기에 따라 단조 증가하지 않았다. 인구통계학적 주의력은 모델의 규모보다는 정렬된 선택과 학습 데이터에 의해 더 크게 좌로 결정되는 것으로 나타났다.

3.2 방향성 기본값 및 고정관념

추론된 인구통계학적 특성은 무작위가 아니었으며, 사회적으로 지배적인 범주를 향한 강한 **방향성 기본값(directional defaults)**을 보였다:

• 성별: 남성 귀속으로 뚜렷하게 쏠려 있었다.
• 인종: 압도적으로 백인으로 기본 설정되었다. 흑인 추론은 드물었다.
• 사회경제적 지위: 저소득층보다 고소득층이 훨씬 더 자주 추론되었다.
• 지리: 거의 독점적으로 도시 지역을 추론했다.
• 교육: 일부 모델(예: Qwen2.5-72B)의 경우, 성별이나 인종보다 높은 비율로 고학력을 95% 이상의 쿼리에서 추론했다.

3.3 질적 분석 (추론 근거)

논문은 모델이 제공한 근거(rationale)를 분석하였으며, 이를 통해 다음을 발견했다:

• 성별화된 근거: 여성 귀속은 돌봄, 공감, 계획에 기반을 두었으나, 남성 귀속은 기술적 권위 및 분석적 언어와 연결되었다.
• 비대칭적 정당화: 남성 예측은 종종 설명 없이 남겨지거나 "중립적 가정"에 의해 정당화된 반면, 여성 예측은 명시적인 사회적 또는 직업적 근거를 필요로 했다.
• 메타 인지 실패: 여러 모델이 자신의 추론이 추측적이거나 편향되었음을 명시적으로 표시하면서도, 그럼에도 불구하고 인구통계학적 특성을 할당함으로써 인구통계학적 추론을 지속했다. 이는 인지만으로는 고정관념에 기반한 추론을 방지할 수 없음을 나타낸다.

3.4 결과적 영향 (침묵의 개인화)

연구는 추론된 인구통계학적 특성이 **잠재적 조건 변수(latent conditioning variables)**로 작용함을 입증했다.

• 의미적 유사성 분석을 통해, 저자들은 추론된 성별에 따라 조건화된 모델의 응답이 대안적인 값보다 모델 자신의 추론된 성별에 체계적으로 더 가깝다는 것을 보여주었다.
• 이는 인구통계학적 추론이 응답의 톤, 프레임, 내용을 변화시켜, 사용자 입력 없이도 효과적으로 '침묵의 개인화'를 가능하게 함을 확인시켜 준다.

4. 완화 전략

저자들은 **기권 지향적 프롬프팅 전략(abstention-oriented prompting strategy)**을 테스트했다.

• 결과: 이 접근 방식은 미세 조정(fine-tuning) 없이도 모델 전반에서 의도하지 않은 인구통계학적 추론을 실질적으로 감소시켰다.
• 잔여 효과: 성별 및 인종 추론은 거의 제거되었으나, 교육 배경(특히 고학력)에 대한 잔여 추론은 지속되었다. 이는 해당 속성이 더 간접적으로 추론 가능하거나 프롬프트 가드레일에 의해 덜 제약받는 것으로 인식됨을 시사한다.

5. 의의 및 주장

본 논문은 현재의 편향 평가가 인구통계학적 단서의 존재를 전제로 하기 때문에 불완전하다고 주장한다. DAIQ의 의의는 다음과 같다:

1. 감사 범위의 재정의: 평가 표준을 "모델이 인구통계학적 정보에 어떻게 반응하는가"에서 "모델이 그것을 추론해야 하는가"로 전환한다.
2. 인식적 과잉 식별: 중립적인 입력으로부터 민감한 속성을 추론하는 것이 격차를 강화하고 개인정보 보호 위험을 초래하는 별개의 실패 모드임을 강조한다.
3. 잠재적 조건화 입증: 추론된 인구통계학적 특성이 다운스트림 생성에 능동적으로 영향을 미쳐 침묵의 개인화를 생성한다는 실증적 증거를 제공한다.
4. 실질적 완화: 단순한 프롬프트 엔지니어링(기권 지향적 프롬프트)이 이러한 추론을 줄이기 위한 효과적이고 모델 불가지론적인(model-agnostic) 가드레일 역할을 할 수 있음을 보여준다.

저자들은 고위험 영역에 배치되는 LLM에 대해 **불확실성 하에서의 기권(abstention under uncertainty)**이 최우선적인 평가 기준으로 다루어져야 한다고 결론짓는다.