기술적 요약: 누가 지지했는가? 언어 모델의 전문성 수준별 권위 편향 측정

문제 제기

이전 연구들은 대규모 언어 모델 (LLM) 이 제안, 힌트, 지지에 취약하다는 점을 입증했으나, 출처의 신뢰성이 미치는 구체적인 영향은 아직 충분히 탐구되지 않았습니다. 기존 편향 연구들은 주로 인구통계학적 속성 (성별, 인종) 이나 구조적 편향 (위치, 길이) 에 초점을 맞추는 경향이 있습니다. 그러나 LLM 이 출처의 인식된 전문적 지위에 기반한 지지를 어떻게 처리하는지는 명확하지 않습니다. 구체적으로 본 논문은 모델이 자신의 내부 추론 능력을 잠재적으로 무시하고라도 고위험 인격체에 의존하는 체계적인 권위 편향을 보이는지, 즉 잘못된 정보를 제공하는 고위 인격체에게도 경청하는지 조사합니다.

방법론

저자들은 수학 (AQUA-RAT), 법률 (LEXam), 의학 (MedMCQA, MedQA) 추론 과제를 아우르는 네 가지 데이터셋에 걸쳐 포괄적인 평가를 수행했습니다.

실험 설계

1. 인격체와 전문성 계층: '전문가 대 비전문가'라는 이분법적 설정 대신, 각 도메인에 대해 4 단계 전문성 계층을 활용했습니다:
   • 과학: 고등학생 → 학부생 → 대학원생 → 교수.
   • 의학: 1 학년 학생 → 3 학년 학생 → 수석 레지던트 → 전문의 (Board-Certified Physician).
   • 법률: 학부생 → 3 학년 학생 → 법률 조력자 (Law Clerk) → 시니어 법률 고문.
2. 프롬프트 변형: 각 객관식 문제 (MCQ) 에 대해 아홉 가지 프롬프트 변형이 생성되었습니다:
   • 기준선: 지지 없음.
   • 올바른 지지: 인격체가 정답을 지지함.
   • 잘못된 지지: 인격체가 오답을 지지함.
   • 지지 형식은 최소한으로 유지되었습니다 (예: "[인격체] 가 답이 [X] 라고 생각합니다"). 이는 언어적 스타일이나 정당화에서 출처의 정체성 효과를 분리하기 위함입니다.
3. 평가된 모델: 본 연구는 추론 모델 (DeepSeek-R1, Phi-4-Reasoning, Qwen3-4B-Thinking 등) 과 비추론 모델 (LLaMA-3.1, Gemma-2/3, Mistral-7B 등) 을 포함한 11 개의 모델을 테스트했습니다.
4. 지표:
   • 델타 정확도 ($\Delta$Acc): 기준선 정확도에서의 편차.
   • 델타 엔트로피 ($\Delta$H): 신뢰도 변화 (낮은 엔트로피 = 높은 신뢰도).
   • 강건성율 (RR): 지지에도 불구하고 모델의 출력이 변하지 않는 비율.

기작적 개입 (조향 벡터)

권위 편향이 표면적인 키워드 트리거가 아니라 내부적으로 인코딩된 것인지 확인하기 위해 저자들은 **조향 벡터 (steering vector)**를 구축했습니다.

• 구축: 인격체 레이블 없이 최고 (예: 교수) 와 최저 (예: 고등학생) 전문성 계층의 언어적 스타일로 작성된 사실적으로 올바른 답변들의 데이터셋을 생성했습니다.
• 벡터 계산: 조향 벡터 ($v_{auth}$) 는 고전문성 스타일과 저전문성 스타일 간의 잔류 스트림 (residual stream) 활성화 평균 차이로 계산되었습니다.
• 개입: 이 벡터는 추론 중 모델의 활성화에서 빼어, 오해의 소지가 있는 지지에 대한 취약성이 감소할 수 있는지 테스트했습니다.

주요 결과

1. 계층적 취약성

결과는 출처의 전문성과 모델 행동 사이에 명확한 **단조 관계 (monotonic relationship)**를 보여줍니다:

• 올바른 지지: 지지자의 전문성 수준이 높아질수록 정확도 향상 폭이 커집니다.
• 잘못된 지지: 전문성 수준이 높을수록 정확도 저하와 오답에 대한 신뢰도가 현저히 증가합니다.
• 추론 모델: 예상과 달리, 체인 오브 씽킹 (chain-of-thought) 기능을 갖춘 모델들 (예: DeepSeek-R1) 은 면역이 없습니다. 고위 권위자 (예: 전문의) 에 의해 오도될 때 상당한 정확도 저하와 오류에 대한 신뢰도 증가를 보입니다.

2. 오류에 대한 신뢰

고전문성 잘못된 지지는 **확신 있는 오류 (confident errors)**를 유발합니다. 예를 들어, 전문의가 MedQA 의 오답을 지지했을 때, DeepSeek-R1 은 엔트로피가 유의미하게 감소 ($\Delta H = -0.261$) 하여 모델이 잘못된 답변에 대해 더 확신하게 되었음을 보여줍니다.

3. 도메인 변이

• 수학적 추론: 객관적인 작업임에도 불구하고 가장 낮은 강건성율을 보여 높은 취약성을 시사합니다.
• 의학적 추론: 답변 변경에 대한 저항력이 더 높았으며, 이는 의학적 주의에 관한 도메인별 훈련을 반영한 것일 수 있습니다.

4. 기작적 발견

조향 벡터 실험은 권위 편향이 모델의 잔류 스트림 내에서 기작적으로 인코딩되어 있음을 입증했습니다.

• 추론 중 "전문성" 벡터 ($v_{auth}$) 를 빼는 것은 오해의 소지가 있는 고위 권위 지지를 받았을 때 모델의 정확도를 기준선 수준으로 일관되게 회복시켰습니다.
• 이는 편향이 명시적인 사회적 정체성 표지 (인격체 레이블) 와 암묵적인 언어적 스타일 모두에 걸쳐 일반화되는 견고한 내부 전문성 표현과 연관되어 있음을 확인시켜 줍니다.

기여와 의의

본 논문은 세 가지 주요 기여를 합니다:

1. 권위 편향의 세밀한 분석: 이분법적 권위 개념을 넘어, 모델의 취약성이 지지자의 인식된 계급에 따라 규모화되는 계층적 패턴을 입증합니다.
2. 추론 모델의 취약성: 추론 강화 모델이 사회적 조작에 강건하다는 가정을 도전하며, 고위 지위의 잘못된 지지에도 불구하고 궤도에서 벗어날 수 있음을 보여줍니다.
3. 기작적 완화: 권위 편향이 잔류 스트림에서 선형적으로 인코딩된 기능임을 입증합니다. 해당 조향 벡터를 빼면 모델은 편향에서 벗어나도록 유도될 수 있으며, 전문가가 오해의 소지가 있는 정보를 제공할 때도 성능을 향상시킬 수 있습니다.

의의와 한계

저자들은 이 작업이 의미적 정확성보다 출처의 신뢰성을 우선시하는 현재 LLM 의 치명적인 취약점을 드러낸다고 주장합니다. 이 편향은 적대적 맥락 (예: 사회 공학 공격) 에서 악용될 수 있지만, 가중치 수정 없이 추론 시 활성화 조향을 통해 완화될 수도 있습니다.

논문은 다음과 같은 한계를 인정합니다:

• 실험은 32B 파라미터까지의 오픈소스 모델로 제한되었으며, 최첨단 모델은 다르게 행동할 수 있습니다.
• 연구는 네 가지 도메인 (수학, 법률, 의학) 만을 다루었습니다.
• 지지 형식은 단순화되었습니다 (단일 진술) 그리고 정교한 현실 세계의 허위 정보를 고려하지 않았습니다.
• 조향 벡터의 계층별 분석은 예비적이며, 중간 계층에서의 효과성을 확인했지만 체계적인 제거 실험 (ablation) 이나 희소 오토인코더 (SAE) 특성 분석은 부족합니다.