기술 요약: 언어 모델은 누가 유능하다고 생각하는가? 직업적 편향에 대한 기계론적 분석

1. 문제 정의

대규모 언어 모델(LM)이 행동적 편향 평가를 통과하는 경우가 많지만, 이것이 근본적인 인구통계학적 연관성을 진정으로 학습하지 않은 것인지, 아니면 단지 그 표현을 억제하는 법을 배운 것인지는 여전히 불분명하다. 기존 연구에 따르면, 모델의 출력이 겉보기에 무해하더라도 잠재적 표현(latent representations) 내에는 인구통계학적 특징(예: 성별, 인종, 사회경제적 지위)과 사회적 역할 사이의 연관성이 인코딩될 수 있다.

현재의 평가 방법은 주로 행동적 지표(관찰 가능한 출력)에 의존하며, 이는 모델의 내부 추론에 인코딩된 잠재적 편향을 감지하는 데 실패할 수 있다. 본 연구는 인구통계학적 속성이 실제 개인의 역량과는 인과적으로 무관함에도 불구하고, 해당 사용자의 전문성에 대한 모델의 내부 표현에 영향을 미칠 수 있다고 가정한다. 핵심 문제는 모델의 "사고 과정"(내부 표현)과 "언어"(관찰 가능한 출력) 사이의 잠로 인한 괴리이며, 여기서 행동적 지표는 공정함을 시사하지만 내부 메커니즘은 여전히 편향되어 있을 수 있다.

2. 방법론

2.1 인과적 프레임워크

저자들은 직업적 편향을 두 가지 구별되는 측정 지점으로 분해하는 인과적 프레임워크를 제안한다:

1. 내부 표현 ($E$): 사용자의 역량에 대한 모델의 잠재적 표현.
2. 관찰 가능한 행동 ($L$): 모델의 생성 출력, 특히 언어적 복잡성(읽기 수준)으로 측정됨.

이 프레임워크는 편향을 무관한 인구통계학적 속성(성별, 인종, 사회경제적 지위)이 내부 역량 표현에 미치는 인과적 영향으로 정의한다. 본 연구는 직업, 교육, 연령을 인과적으로 유의미한 요인으로 취급하고, 인종, 성별, 사회경제적 지위를 인과적으로 무관한 요인으로 취급하는 인과 그래프를 활용한다.

2.2 데이터 구축

• 전문가 질문 데이터셋 ($D_P$): 20개 직업(미국 노동통계국 선정)에 걸친 2,000개의 직업 특화 질문 데이터셋. 질문은 다양한 전문성 수준(견습생부터 베테랑까지)을 포괄하도록 GPT-5를 사용하여 생성되었다.
• 채용 과업: 모델에게 이력서를 제시하고 예/아니오 채용 결정을 내리도록 하는 표준 채용 평가의 수정 버전. 이력서는 이름을 통해 성별과 인종을 인코딩하도록 수정되었다.

2.3 스티어링 벡터 도출

모델의 전문성을 정량화하기 위해, 저자들은 차이-평균(difference-in-means) 접근 방식을 사용하여 **스티어링 벡터 ($e$)**를 구축한다:

• 전문가 집단 ($R^+$): 높은 역량을 나타내는 프롬프트 (예: "나는 이 주제를 수년간 깊이 있게 연구해 왔다").
• 초보자 집단 ($R^-$): 낮은 역량을 나타내는 프롬프트 (예: "나는 이제 막 이 주제를 배우기 시작했다").
• 벡터 계산: 전문성 벡터는 전문가 집단과 초보자 집단의 평균 은닉 표현의 차이다:
  $$e = \frac{1}{|R^+|} \sum_{h \in R^+} h - \frac{1}{|R^-|} \sum_{h \in R^-} h$$
• 전문성 점수 ($E$): 컨텍스트의 최종 토큰 표현을 단위 전문성 벡터에 투영한 스칼라 값.

2.4 행동 지표

관찰 가능한 편향을 측정하기 위해, 저자들은 일련의 읽기 수준 지표 앙상블을 사용한다:

• Flesch–Kincaid Grade Level (FKGL): 텍스트를 이해하는 데 필요한 학교 학년을 추정함.
• Dale–Chall Readability Score (DCRS): 고급 어휘를 기반으로 난이도를 측정함.
• 복합 점수 ($L$): FKGL와 DCRS의 평균.

2.5 실험 설정

실험은 세 가지 인스트럭션 튜닝된 오픈 웨이트 모델인 Gemma-2-2B, Gemma-2-9B, Llama-3-8B를 대상으로 수행되었다.

• 개입(Intervention): 저자들은 인과적 매개(causal mediation)를 검증하기 위해 특정 중간 레이어에서 전문성 벡터 ($e$)를 은닉 표현에 더하는 스티어링을 적용한다 ($\tilde{h}_l = h_l + \alpha e$).
• 프롬프트 변형: 인구통계학적 변수(예: "나는 [인구통계학적 속성]이다")와 인과적 변수(예: "나는 [직업]이다")를 격리하기 위해 프롬프트가 구성되었다.

3. 주요 기여

1. 직업적 편향을 위한 인과적 프레임워크: 사용자의 능력에 대한 내부 표현과 관찰 가능한 모델 행동을 분리하여 편향을 평가하는 새로운 방법론.
2. 스티어링 벡터의 운용: "사용자 전문성"에 대한 특정 스티어링 벡터의 도출. 저자들은 이러한 벡터에 개입하는 것이 질의응답 및 채용 과업 모두에서 모델 행동에 인과적인 영향을 미친다는 것을 입증하였다.
3. 잠재적 편향의 탐지: 행동적 지표(읽기 수준이나 채용률 등)가 차이를 보이지 않을 때조차 내부 전문성 표현에는 인구통계학적 속성이 영향을 미친다는 실증적 증거 제시.

4. 주요 결과

4.1 전문성의 인과적 매개

스티어링 실험은 전문성 벡터 ($e$)가 모델 행동을 인과적으로 매개함을 확인했다.

• 읽기 수준: 양의 스티어링 ($\alpha > 0$)을 통해 전문성 점수를 높이면 모델 출력의 읽기 수준 ($L$)이 유의미하게 증가했다. 음의 스티어링은 복잡성을 감소시켰다. 이는 Gemma-2-9B와 Llama-3-8B 모두에서 나타났다.
• 채용 결정: 전문성 벡터를 통한 스티어링은 채용률을 유의미하게 변화시켰다. 채용 특화 벡터 ($e_H$) 또한 도출되었으며, 이는 모델이 채용 결정을 내릴 때 전문성 표현에 매우 민ک감하게 반응함을 보여주었다.

4.2 사용자 컨텍스트에 대한 민감도

• 관련성: 모델의 내부 전문성 점수 ($E$)는 사용자 컨텍스트에 관련 직업(인과적 요인)이 포함되었을 때 무관한 직업과 비교하여 올바르게 증가했다.
• 인구통계학적 영향: 다른 모든 조건이 동일할 때, 인구통계학적 정보(예: 인종, 성별, 소득)만 변경해도 전문성 표현 ($E$)의 크기가 유의미하게 변했다.
  • 예시: Gemma-2-2B는 히스패닉 및 아시아인보다 백인 및 흑인 인구통계학적 그룹에 더 높은 전문성 점수를 할당했다. Gemma-2-9B는 저소득층, 히스패닉, 흑인 인구통계학적 그룹에 대해 더 높은 점수를 보였다.

4.3 표현적 편향과 행동적 편향의 괴리

연구는 내부 표현과 관찰 가능한 출력 사이의 결정적인 괴리를 발견했다:

• 잠재적 vs 관찰 가능: $E$(전문성 점수)는 인구통계학적 그룹(인종, 성별과 같은 인과적으로 무관한 요인 포함) 간에 체계적인 차이를 보였으나, $L$(읽기 수준)은 그렇지 않은 경우가 많았다.
• 행동 지표에 의한 과소평가: 행동적 평가는 잠재 공간에 명확히 존재하는 격차를 감지하는 데 실패했다. 예를 들어, 인종과 성별 효과는 $E$에서는 잠재적으로 존재했으나 $L$에서는 거의 보이지 않았다.
• 사회경제적 지위의 예외: 사회경제적 지위는 $E$와 $L$ 모두에서 편향이 관찰된 예외적인 경우로, 일부 편향은 행동적으로 나타나는 반면 다른 편향은 잠재 상태로 남는다는 것을 시사한다.

4.4 채용 과업 결과

채용 과업에서 채용률(예/아니오)은 유의미한 인구통계학적 격차를 보이지 않았으나(행동적 공정성), 합격 및 불합격 후보자의 내부 전문성 점수 ($E$)는 인구통계학적 그룹에 따라 달랐다. 이는 모델의 의사결정 과정이 최종 출력은 중립적으로 보일지라도 편향된 내부 표현에 의존하고 있음을 나타낸다.

5. 의의 및 주장

본 논문은 언어 모델의 공정성을 평가하는 데 있어 행동적 측정은 필요조건이지만 충분조건은 아니다라고 주장한다. 이 연구의 주요 의의는 다음과 같다:

1. 잠재적 편향은 행동적 출력과 독립적으로 존재한다: 모델은 사후 학습(post-training) 방법을 통해 최종 텍스트 생성에서 이러한 편향을 성공적으로 억제했더라도, 내부 추론 메커니즘에 인구통계학적 편향을 인코딩할 수 있다.
2. 표현적 지표는 숨겨진 실패 모드를 드러낸다: 출력 기반 평가(읽기 수준이나 채용률 등)에만 의존하는 것은 모델의 공정성에 대해 잘못된 안도감을 줄 수 있다.
3. 기계론적 개입이 가능하다: 전문성 벡터를 도출하고 스티어링할 수 있는 능력은 이러한 편향이 모델의 활성화 공간 내 특정 방향에 기계론적으로 근거하고 있음을 입증하며, 이는 편향이 사용자 출력으로 표출되기 전에 탐지하고 완화할 수 있는 잠재적 경로를 제공한다.

저자들은 강건한 평가 프레임워크가 언어 모델의 메커니즘을 완전히 이해하고 해결하기 위해 행동적 평가와 함께 **표현적 평가(representational evaluations)**를 통합해야 한다고 결론짓는다. 또한, 이러한 방법들이 공정성 연구에 도움을 주지만, 모델 행동을 조작하기 위한 악용의 위험도 수반하므로 도구의 악의적 사용을 방지하기 위해 관련 도구는 공개하지 않는다고 경고한다.