기술 요약: 이성의 불꽃 (Sparks of Rationality)

문제 정의

대규모 언어 모델(LLM)은 채용, 의료, 경제 계획과 같은 고위험 영역에서 의사결정 엔진으로서 점점 더 많이 배치되고 있습니다. 고전적 합리적 선택 이론 및 기대 효용 이론(EUT)은 에이전트를 안정적인 효용 함수를 극대화하는 존재로 모델링하지만, 인간의 판단은 합리적 숙고와 감정 유발 편향(휴리스틱, 이중 프로세스 역학, 정동적 변화) 사이의 균형으로 특징지어집니다. 현재 존재하는 핵심적인 간극는 '추론' 능력을 갖춘 LLM이 인간과 유사한 형태의 합리성 및 감정 유발 편향 패턴을 보이는지 여부를 이해하는 것입니다. 또한, 정동 제어(affective steering) 방법이 추론 과정과 어떻게 상호작용하여 의사결정 행동을 변화시키는지, 그리고 이러한 모델들이 인간과 유사한 판단을 시뮬레이션하거나 규범적 일관성을 유지하도록 신뢰성 있게 유도될 수 있는지 여부도 불분명합니다.

방법론

저자들은 여러 LLM 제품군(Qwen, Llama, Olmo 변체 포함)을 두 가지 주요 차원에서 평가합니다:

1. 합리성 벤치마크: EUT에서 유도된 네 가지 정형적 합리적 선택 공리(완전성, 추이성, 연속성, 독립성)에 대한 준수 여부를 테스트합니다.
2. 의사결정 도메인: 감정이 판단을 형성하는 것으로 알려진 고전적 행동 경제학 및 사회 심리학 벤치마크를 운용하는 과업들을 통해 모델을 평가합니다. 이 도메인에는 다음이 포함됩니다:
   • 위험 및 불확실성 하의 선택: 위험 추구, 모호성 회피, 손실 회피, 소유 효과.
   • 판단 및 신념 형성: 휴리스틱 스테레오타이핑(고정관관념), 프레이밍/설득 효과.
   • 규범 집행 및 도덕적 평가: 도덕적 비난 및 법적 책임 귀속.
   • 친사회적 선호: 공정성(최후통첩 게임), 이타주의(독재자 게임), 복지 지원.

제어 메커니나즘 (Steering Mechanisms):
정동적 왜곡을 조사하기 위해, 본 연구는 두 가지 구별된 감정 제어 방법을 사용합니다:

• 문맥 내 프라이밍 (In-Context Priming, ICP): 프롬프트 내에 감정적 페르소나와 삽화를 사용하여 모델이 특정 감정을 시뮬레이션하도록 유도합니다 (예: "당신은 현재 공포를 느끼고 있습니다").
• 표상 수준 제어 (Representation-Level Steering, RLS): 모델의 은닉 상태(hidden states)에 저계수 벡터(low-rank vectors)를 주입하여 명시적인 텍스트 단서 없이 감정적 방향을 인코딩하고 내부 처리를 변경합니다.

본 연구는 '사고 모델(Thinking Models, 명시적 추론 흔적을 생성한 후 답변하는 모델)'을 '비사고 모델(Non-Thinking Models)'과 비교하며, 이들이 제어 강도(저, 중, 고)와 어떻게 상호작용하는지 분석합니다.

주요 기여

1. 추론을 통한 합리성 향상: 본 논문은 '사고(thinking)' 과정을 활성화하는 것이 모델 제품군과 규모에 관계없이 합리적 선택 공리에 대한 준수도를 일관되게 높인다는 것을 입증합니다. 사고 모델은 기대 가치(EV) 극대화로 기본 설정되며, 거의 선형적인 확률 가중치와 약한 손실 회피를 보입니다.
2. 차별적인 제어 효과: 연구는 ICP와 RLS 사이의 질적 차이를 식별합니다:
   • ICP는 인간의 행동과 일치하는 강력하고 방향성 있는 변화를 유도하지만, 조절하기 어려운 극단적인 크기를 보이는 경우가 많습니다 (예: 기대 가치와 상관없이 공포로 인해 도박 가능성을 거의 제로로 만듦). 이는 감정에 대해 추론하면서도 중립적인 숙고 스타일을 유지합니다.
   • RLS는 더 점진적이고 심리학적으로 타당한 패턴을 생성하지만(예: 기대 수익에 민감하게 반응하는 위험 회피), 신뢰도가 낮고 효과 크기가 작습니다. 이는 내부적인 톤을 변화시켜 "감정적 사고"를 유발합니다.
3. 체계적 편차: 추론이 활성화된 상태에서도 LLM은 역소유 효과(구매 가격보다 낮은 판매 가격), 거의 완전한 모호성 회피, 시간적 할인에서의 이상 현상 등 인간의 행동과는 다른 체계적인 편차를 보입니다.
4. 추론과 정동의 상호작용: 연구 결과는 합리성을 개선하는 동일한 숙고 메커니즘이 정동적 개입에 대한 민감도를 증폭시킨다는 것을 시사합니다. 추론 모델은 유도된 정동을 "합리화"할 수 있으며, 이는 특정 행동 결과를 향해 모델을 밀어붙이는 제어에 취약하게 만들 수 있습니다.

주요 결과

• 공리 준수: 사고 모델은 비사고 모델에 비해 합리성 공리에 대한 준수도가 유의미하게 높습니다. 그러나 감정 제어(ICP 및 RLS 모두)는 제어 강도와 상관관계가 있는 완만한 공리 일관성 감소를 초래합니다.
• 위험 및 불확실성:
  • 위험 추구: 중립적 사고 모델은 EV 경계선을 밀접하게 추적합니다. ICP 공포는 도박을 거의 하지 않게 만들며(과장된 위험 회피), RLS 공포는 점진적이고 인간과 정렬된 변화를 생성합니다.
  • 모호성 회피: 모델은 강한 모호성 회피를 보입니다. RLS를 통한 슬픔 제어는 이러한 회피를 줄여 중립성 쪽으로 이동시키는 반면, ICP는 종종 인간의 벤치마크를 재현하지 못하거나 회피를 증가시킵니다.
  • 손실 회피: 중립 모델은 고전적인 손실 회피를 거의 보이지 않습니다. RLS 공포는 손실 민감도를 높이지만, ICP는 종에 따라 모든 도박을 거부하게 만듭니다.
• 소유 효과: 모델은 인간의 행동과 대조적으로 일관되게 역(reversed) 소유 효과(WTA < WTP)를 나타냅니다. 감정 제어는 이 부호를 신뢰성 있게 교정하지 못합니다.
• 시간적 할인: 사고 모델은 규범적 할인과 비교하여 일관되지 않은 시간적 가치 구조를 보이며, 일부는 비단조적(non-monotonic) 행동을 보입니다.
• 도덕 및 사회적 판단:
  • 도덕적 비난: 혐오 제어는 인지된 해악과 비난 사이의 상관관계를 유지하면서 전반적인 비난을 증가시킵니 다.
  • 법적 책임: 분노 제어는 사고 기능이 활성화되었을 때 특히 인간의 패턴과 일치하게 비난과 처벌 엄격성을 높입니다.
  • 공정성/이타주의: 슬픔은 최후통첩 게임에서 불공정한 제안에 대한 거부를 증가시키고, 독재자 게임에서 이타적 기부를 증가시키며, 이는 인간 데이터와 일치합니다.
• 제어 가능성: ICP 변화는 종종 포화 상태에 이르러 프롬프트 단어 조절을 통해 완화하기 어렵습니다. RLS는 더 제어 가능하고 용량 의존적인 변화를 제공하지만, 높은 주입 강도에서는 과업 민감도를 저하시킬 수 있습니다.

의의 및 주장

본 논문은 기본 상태 및 정동적 섭동(perturbation) 하에서의 LLM 의사결정을 감사하기 위한 통제된 테스트베드로서 자신을 위치시킵니다. 주요 의의는 다음과 같습니다:

1. 안전 및 정렬: 인간 시뮬레이션을 위한 정렬(감정적 편향이 바람직할 수 있음)과 일관되고 편향 없는 의사결정을 위한 정렬(제어에 대한 취약성이 안전 문제임) 사이의 긴장을 강조합니다. 저자들은 추론 모델이 유도된 정동을 합리화할 수 있어, 고위험 워크플로우에서 조작에 취급될 수 있음을 지적합니다.
2. 평가 프레임워크: 단순한 표면적 출력을 넘어 특정 행동 메커니즘(예: EV 민감도, 확률 가중치, 효용 곡률)을 측정하는 재현 가능하고 매개변수화된 프레임워크를 제공합니다. 이를 통해 규범적 의사결정 지원을 위해 최적화된 시스템과 인간 시뮬레이션을 목적으로 하는 시스템을 구분할 수 있습니다.
3. 제어의 한한계: 본 연구는 제어가 모델의 추론 모드를 관여하지 않고 표면적인 스타일을 넘어 의사결정 행동을 신뢰성 있게 형성할 수 있다는 가설에 도전합니다. 이는 제어가 인간과 정렬된 효과를 유도할 수는 있지만, 그 효과의 크기와 안정성은 방법 및 모델 아키텍처에 따라 크게 달라짐을 시사합니다.

저자들은 추론이 합리성을 개선하지만, 그것이 자동으로 인간과 유사한 선호 표현을 부여하는 것은 아니며, 정동적 제어가 숙고와 복잡하게 상호작용하므로 결과 중심적인 의사결정 시스템에 배포하기 전 신중한 평가가 필요하다고 결론짓습니다.