기술 요약: LLM의 조건부 인지 편향 (Conditional Cognitive Biases in LLMs)

문제 정의

지시어 튜닝(Instruction-tuned)된 대규모 언어 모델(LLM)은 법률 추론, 의료 트리아지(triage), 금융 자문과 같은 고위험 영역에서 의사결정 지원 도구로 점점 더 많이 배치되고 있다. 기존 연구는 제로샷(zero-shot) 평가 하에서의 인지 편향(예: 프레이밍, 앵커링, 확증 편향)을 광범위하게 규명해 왔으나, 이러한 벤치마크는 편향을 맥락 독립적인 속성으로 취급한다. 실제 배포 환경에서 모델의 응답은 이전 대화 턴(conversational turns)에 의해 조건화된다. 편향된 사용자 턴은 혼란스러운 인과적 경로를 도입한다. 즉, 입력 형식을 제로샷에서 대화형(지시어 튜닝 조건 활성화)으로 변화시키는 동시에, 모델의 정렬(alignment) 학습과 상호작용하는 특정 의미론적 콘텐츠를 도입한다. 기존 문헌은 LLM의 편향 표현 변화가 단순한 사용자 턴의 존재 때문인지, 아니면 해당 턴 내의 특정 인지 편향 콘텐츠 때문인지를 분리하여 설명하지 못하고 있다.

방법론

이러 괄인적 경로를 격리하기 위해, 저자들은 8개의 최첨단 지시어 튜닝 LLM(GPT-4o, Claude-3.5-Haiku, Llama-3.1 변체, DeepSeek-V3 포함)을 대상으로 평가하는 새로운 3조건 실험 프레임워크를 도입한다.

실험 설계

각 시나리오와 대상 편향에 대해, LLM은 다음 세 가지 별도의 조건 하에서 평가된다:

1. 제로샷 ($m_\emptyset$): 결정 프롬프트가 사전 맥락 없이 제시됨.
2. 중립적 사용자 턴 ($m_n$): 편향이 없는 사용자 턴이 결정 프롬프트 앞에 위치하며, 이를 통해 콘텐츠를 일정하게 유지하면서 형식 변화(대화형 vs 제로샷)의 효과만을 격리함.
3. 편향된 사용자 턴 ($m_b$): 특정 인지 편향을 명시적으로 표현하는 사용자 턴이 결정 프로ンプ트 앞에 위치함.

효과 분해 (Effect Decomposition)

연구는 편향 변조의 메커즘을 분리하기 위해 세 가지 추정량(estimands)을 정의한다:

• 존재 효과 ($\Delta_n = |m_n| - |m_\emptyset|$): 중립적 콘텐츠를 가진 대화형 형식으로의 전환(제로샷에서 멀티 턴 대화로의 이동)이 미치는 영향을 격리한다.
• 콘텐츠 효과 ($\delta = |m_b| - |m_n|$): 대화 형식을 동일하게 유지하면서, 사용자 턴 내의 특정 편향 콘텐츠가 미치는 영향을 격리한다.
• 총 효과 ($\Delta_b = |m_b| - |m_\emptyset| = \Delta_n + \delta$): 제로샷 베이스라인 대비 순(net) 편향 표현의 변화량.

데이터셋 및 검증

저자들은 $9 \times 9$ 행렬(9개의 대상 LLM 편향 $\times$ 9개의 인간 턴 편향)의 81개 셀 전체에 걸쳐 24,300개의 전문가 검증을 거친 사용자 프롬프트로 구성된 자극 뱅크를 구축하였다.

• 편향 선택: Malberg 등(2025)의 확립된 벤치마크를 기반으로 앵커링(Anchoring), 가용성 휴리스틱(Availability Heuristic), 밴드왜건 효과(Bandwagon Effect), 확증 편향(Confirmation Bias), 프레이밍 효과(Framing Effect), 내집단 편향(In-Group Bias), 손실 회피(Loss Aversion), 계획 오류(Planning Fallacy), 현상 유지 편향(Status Quo Bias)의 9가지 편향을 선정하였다.
• 품질 관리: 3개 모델의 LLM-as-judge 배심원단(GPT-4o-Mini, Claude-3.5-Haiku, Gemini)이 네 가지 기준(대상 등급, 순수성(타 편향과의 구별성), 자연스러움, 블라인드 식별 정확도)에 따라 모든 사용자 턴을 검증하였다.
• 인과적 식별: 연구는 단순한 상관관계를 넘어 인과적 증거를 제공하기 위해 이중차분법(DiD), 성향 점수 매칭(PSM), 합성 통제 방법(SCM)을 사용한다.

주요 결과

1. 편향된 턴은 체계적으로 편향을 증가시킨다 (총 효과)

8개 모델 중 6개에서, 편향된 사용자 턴을 도입하면 제로샷 베이스라인에 비해 LLM의 편향 표현 크기가 증가한다 ($\bar{\Delta}_b > 0$, 범위 +0.022 ~ +0.051).

• GPT-4o는 두 가지 기저 메커니즘이 서로 상쇄되는 예외적인 경우이다 ($\bar{\Delta}_b \approx 0$).
• Claude-3.5-Haiku는 강한 음(-)의 존재 효과에 의해 음(-)의 총 효과를 보인다 ($\bar{\Delta}_b = -0.064$).

2. 존재 효과가 편향을 팽창시킨다

사용자 턴의 존재 자체(중립적인 턴이라 할지라도)는 8개 모델 중 7개에서 측정된 편향을 유의미하게 증가시킨다 ($\Delta_n$ 범위 +0.019 ~ +0.086). 이는 제로샷 벤치마크가 대화형 편향을 체계적으로 과소평가하고 있음을 시사한다.

• 예외: Claude-3.5-Haiku는 음(-)의 존재 효과($\Delta_n = -0.101$)를 보이는데, 이는 대화 모드에서 편향을 억제하는 Constitutional AI 정렬과 일치한다.
• 상관관계: 높은 능력(MMLU로 측정)을 가진 모델일수록 존재 효과에 의한 팽창이 작게 나타난다.

3. 콘텐츠 효과는 종종 편향을 억제한다

가설과 달리, 중립적 턴을 편향된 턴으로 교체했을 때 6개 모델에서 편향의 크기가 감소했다 ($\delta < 0$).

• 이러한 "대조 억제(contrast suppression)"는 명시적인 편향 단서가 정렬 관련 저항을 유발하여 더 규범적인 완성을 이끌어낸다는 것을 시사한다.
• 예외: DeepSeek-V3와 Claude-3.5-Haiku는 양(+)의 콘텐츠 효과를 보인다. 저자들은 이를 맥락 내 신호를 억제하기보다 증폭하는 숙의적 정렬 전략(Chain-of-Thought RLFT 및 Constitutional AI)의 결과로 본다.

4. 구조와 유도 가능성의 결합

$9 \times 9$ 편향 결합 행렬 분석 결과는 다음과 같다:

• 행 구조의 지배력: 대상 편향이 변조되는 민감도는 특정 인간 편향 유형이 아니라, 대상이 되는 편향 자체에 의해 결정된다.
• 대각선 우위 없음: "동일 편향 전염"(즉, 인간이 편향 X를 표현할 때 모델이 다른 편향보다 편향 X를 더 선택적으로 유도함)의 증거는 없다.
• 계획 오류 (Planning Fallacy): 이는 8개 모델 모두에서 보편적으로 유도 가능한 것으로 확인된 유일한 대상 편향이다. 이는 계획 오류의 표현(낙관주의/과소평가)이 암묵적이며, 정렬 억제 단서를 트리거할 가능성이 낮기 때문인 것으로 보인다.
• 억제 가능한 편향들: 밴드왜건 효과와 가용성 휴리스틱은 맥락 내 편향된 턴에 의해 일관되게 억제된다.

의의 및 주장

본 논문은 제로샷 편향 벤치마크가 대화형 편향을 체계적으로 과소평가한다고 주장하는데, 이는 대화의 "존재 효과"를 고려하지 못하기 때문이다. 본 연구는 다음을 입증한다:

1. 맥락의 중요성: 다회차 대화에 참여하는 행위 자체가 제로샷 프롬프트와 비교했을 때 모델의 편향 표현 프로필을 변화시킨다.
2. 정렬은 레시피 의존적이다: 콘텐츠 효과(억제 vs 증폭)의 방향은 특정 정렬 레시피(예: 표준 RLHF vs Constitutional AI vs Chain-of-Thought RLFT)에 의해 결정된다.
3. 보편적 유도 가능성: 대부분의 편향은 명시적 단서에 의해 억제되지만, 계획 오류는 다양한 모델 아키텍처와 훈련 파이프라인 전반에서 견고하게 유도 가능하다.

저자들은 안전 평가 및 편향 감사 프로토콜이 정렬 레시피에 따라 계층화되어야 하며, 실제 배포 조건을 정확히 반영하기 위해 선행되는 대화 턴을 반드시 포함해야 한다고 결론짓는다. 저자들은 향로 연구를 지원하기 위해 프레임워크, 코드베이스 및 24,300개의 아이템 데이터셋을 공개한다.