기술 요약: 언어 모델의 의사결정 과정에서 나타나는 수사적 불일치(Rhetorical Misalignment) 특성 규명

문제 정의

대규모 언어 모델(LLM)이 고위험 인간-AI 의사결정(예: 임상 진단)에 필수적인 요소로 자리 잡음에 따라, 이들의 출력이 인간의 인지 편향을 증폭시키는지 이해하는 것이 매우 중요해졌다. 기존 연구들이 LLM 내부의 내재적 편향이나 출력의 사실적 정확성에 집중해 온 것과 달리, 본 논문은 별개의 실패 모드인 **수사적 불alignment(rhetorical misalignment)**를 식별한다.

수사적 불일치는 LLM이 사실적으로 정확한 정보를 보유하고 있음에도 불구하고, 부적절한 수사적 제시 형식을 사용하여 인간의 최적스럽지 못한 결정을 유도하는 현상을 의미한다. 저자들은 행동 경제학 및 인지 심리학(Tversky and Kahneman, 1974; 1981)에 근거하여, 정보의 언어적 프레이밍(예: 이득보다 손실을 강조하거나 특정 단서에 앵커링하는 것)이 합리적인 베이즈 최적값(Bayesian optimum)으로부터 인간의 의사결정을 체계적으로 이탈시켜, 근본적인 데이터가 올바른 경우에도 해로운 결과를 초래할 수 있다고 상정한다.

방법론

본 논문은 인간 대상 실험과 확장 가능한 이론 기반의 계산 프레임워크를 결합한 이중 방법론을 채택한다.

1. 인간 대상 실증 연구

• 데이터셋: 저자들은 미국 의사 국가 고시(USMLE) Step 1, 2, 3를 다루는 363개의 객관식 질문 세트를 큐레이션하였다. 텍스트 기반의 일관성을 보장하기 위해 이미지 해석이 필요한 문항은 제외하였다.
• 참가자: 의료 교육을 받았거나 임상 경험이 있다고 자가 보고한 162명의 주석 작성자를 Prolific을 통해 모집하였으며, 총 939개의 주석을 생성하였다.
• 절차:
  1. 기초 단계(Baseline): 참가자들은 독립적으로 임상 질문에 답하고 확신도를 보고하였다.
  2. 개입(Intervention): 참가자들은 다양한 LLM(GPT-5.1, Gemini-2.5-Pro, Claude-Haiku-4.5, DeepSeek-V3.1 및 여러 Llama 변체 포함)으로부터 사전 생성된 분석 내용을 검토하였다.
  3. 수정(Revision): 참가자들은 자신의 답변과 확신도를 수정할 수 있었다.
  4. 근거(Rationale): 참가자들은 변경 사항에 대해 서술형 설명을 제공하였다.
• 측정 지표: 연구는 "유해한 비율(Harmful Rate, 정답에서 오답으로의 수정)"과 "도움이 되는 비율(Helpful Rate, 오답에서 정답으로의 수정)"을 함께 측정하였으며, 확신도 변화와 인지 편향(앵커링, 권위 편향, 손실 회피)에 대한 근거의 질적 분석을 수행하였다.

2. 이론적 프레임워크 및 계산적 측정

인간 연구를 넘어 확장 가능한 평가를 가능하게 하기 위해, 저자들은 결정 이론적 프레임워크를 개발하였다:

• 정형화: 이 문제는 인간 의사결정자가 상태 $Y$에 기초하여 행동 $A$를 선택하는 AI 보조 의사결정 환경으로 모델링된다.
  • 합리적 벤치마크 ($R^*_\ell$): AI의 정보와 언어 표현 $\ell$에 기초하여 신념을 올바르게 업데이트하는 합리적 베이심 에이전트.
  • 행동적 벤치마크 ($R_\ell$): 언어적 프레이밍 $\ell$의 영향을 받아 신념과 행동이 변화하며, 베이즈 법칙에서 벗어나 인지 편향을 보일 수 있는 행동적 에이전트.
• 불일치의 정의: 수사적 불일치는 동일한 근본 정보를 받음에도 불구하고, 행동적 에이전트의 기대 효용이 합리적 에이전트보다 낮은 경우($R_\ell < R^*_\ell$)로 정의된다.
• 시뮬레이션 파이프라인: 저자들은 LLM을 사용하여 합리적 및 행동적 의사결정자를 시뮬레이션함으로써 이 프레임워크를 구현하였다.
  • 통제된 환경: 수사적 내용과 정보 콘텐츠를 분리하기 위해, 저자들은 고성능 모델(Gemini-2.5-Pro)을 사용하여 "중립적인" 원자적 사실 주장 풀을 생성하였다. 이후 이 주장들을 대상 모델의 자연스러운 스타일(모델 표현)과 중립적인 스타일(중립 표현)로 다시 작성하였다.
  • 평가: 시뮬레이션된 에이전트들은 이러한 표현들에 노출되었다. 합리적 에이전트와 행동적 에이전트 사이의 불일치율은 수사적 불일치의 대리 지표로 사용되었다.

주요 결과

인간 연구 결과

• 유해한 결정 반전(Harmful Decision Flips): 테스트된 모든 모델에 걸쳐, LLM은 정답에서 오답으로 답변을 바꾼 평균 2.81%의 유해한 결정 반전율을 유도하였다.
• 순효과는 있으나 무시할 수 없는 해악: LLM 보조가 전반적인 정확도를 개선하기는 했으나(순 긍정적 영향), 단 하나의 모델을 제외한 모든 모델이 무시할 수 없는 해악을 유발하였다. 예를 들어, DeepSeek-V3.1은 3.7%의 유해한 비율을, Llama-3.1-Tülu-3-8B-SFT는 6.6%의 유해한 비율을 기록하였다.
• 인지 편향 메커니즘: 참가자들의 근거 분석 결과, 수정 사항은 특정 편향과 강하게 연결되어 있었다:
  • 권위 편향(Authority Bias): 가장 흔한 패턴(코딩된 사례의 58.9%)으로, 참가자들이 인지된 전문성에 의해 AI에 의존하는 현상이다.
  • 앵커링 및 손실 회피(Anchoring and Loss Aversion): 참가자들은 초기 답변이 정답이었음에도 불구하고, AI가 특정 단서를 강조(앵커링)하거나 잠재적인 부정적 결과를 강조(손실 회피)할 때 빈번하게 정답을 수정하였다.
• 사실성 vs 해악: 모델의 사실적 정확도가 수정 방향을 완전히 예측하지는 못했다. 어떤 경우에는 모델의 정답이 유해한 수정을 유도했고, 모델의 오답이 도움이 되는 수정을 유도하기도 하여, 정보 자체만큼이나 정보가 어떻게 제시되는지가 중요하다는 것을 시사하였다.

계산 시뮬레이션 결과

• 언어 유도형 격차: 정보가 일정하게 유지된 통제된 환경에서도, 시뮬레이션된 합리적 에이전트와 행동적 에이전트 사이에 상당한 불일치율이 나타났다.
• 모델 크기 상관관계: 작은 모델(예: Llama-3.1-8B)은 큰 모델(예: GPT-5.1, 1.1%)에 비해 더 큰 격차(최대 14.6% 불일치)를 보였으며, 이는 수사적 불일치가 작은 모델에서 더 두드러짐을 시사한다.
• 편향 재현: 시뮬레이션된 행동적 에이전트는 합리적 에이전트에 비해 현저히 높은 인지 편향 발생률(예: 앵커링 94%, 가용성 94%)을 보였으며, 이는 시뮬레이션이 편향 메커니즘을 포착할 수 있음을 입증한다.

핵심 기여

1. 수사적 불일치의 식별: 본 논문은 사실적으로 정렬되어 있더라도 수사적 제시를 통해 인간의 하위 최적 결정을 유도할 수 있음을 형식적으로 정의하고 실증적으로 입증하였다.
2. 결정 이론적 프레임워크: 근본 정보의 가치와 언어적 프레이밍으로 인한 효용 손실을 분리하여, 이 현상을 공식적으로 규명하였다.
3. 확장 가능한 평가 방법: 비용이 많이 들고 이질적인 인간 연구를 대신하여, 수사적 불일치를 대규모로 측정하기 위해 합리적 및 행동적 에이전트를 활용한 계산 파이프라인을 도입하였다.
4. 고위험 도메인에서의 실증적 증거: 엄격한 USMLE 기반 연구를 통해 임상 환경에서의 유해한 결정 반전 위험을 정량화하였으며, "사실적으로 정확한" 모델이 반드시 "안전한" 의사결정 지원 모델은 아님을 강조하였다.

의의 및 주장

본 논문은 고위험 도메인에서 이전에 인식되지 않았던 안전 문제를 밝혀냈다고 주장한다: 즉, 모델이 사실적으로는 정확할지라도 그 수사적 제시 방식 때문에 해를 끼칠 수 있다는 것이다.

저자들은 현재의 안전 평가가 주로 사실적 정확성이나 모델 내부의 내재적 편향에 집중하고 있어, 정보의 제시 방식이 인간의 인지적 한계와 어떻게 상호작作用하는지를 간과할 수 있다고 강조한다. 언어 사용만으로도 의사결정의 질을 저하시킬 수 있음을 입증함으로써, 본 연구는 평가 프로토콜의 변화를 촉구한다. 향-후 안전성 평가는 "수사적 정렬(rhetorical alignment)"을 고려하여, AI 시스템이 단순히 올바른 정보를 제공하는 것을 넘어, 인간의 인지 편향을 악용하여 최적스럽지 못한 행동을 유도하지 않는 방식으로 정보를 제시하도록 보장해야 한다.

저자들은 본 연구가 USMLE 스타일의 질문에 국한되어 있으며 실제 현장의 결과(예: 환자 예후)를 직접 측정하지는 않는다는 점을 인정하며 범위를 신중하게 설정하였으나, 관찰된 유해한 설득률이 추가 조사와 수사적 정렬을 개선하는 학습 알고리즘 개발을 요구할 만큼 우려스러운 수준이라고 주장한다.