Comparing Exploration-Exploitation Strategies of LLMs and Humans: Insights from Standard Multi-armed Bandit Experiments

"LLM 과 인간의 탐험–활용 전략 비교: 표준 멀티암드 밴딧 실험에서 얻은 통찰"이라는 논문에 대한 상세한 기술적 요약은 다음과 같습니다.

1. 문제 제기

이 논문은 불확실성 하의 복잡하고 순차적인 환경에서 대형 언어 모델 (LLM) 이 인간 의사결정을 신뢰할 수 있게 시뮬레이션할 수 있는지에 대한 이해의 중요한 공백을 다루고 있습니다. 구체적으로, 에이전트가 알려진 보상 옵션을 활용 (활용) 하는 것과 더 나은 결과를 낳을 수 있는 새로운 가능성을 모색 (탐험) 하는 것 사이에서 균형을 맞춰야 하는 근본적인 인지적 과제인 탐험–활용 (E&E) 트레이드오프를 조사합니다.

LLM 이 인간 행동을 시뮬레이션하기 위한 "디지털 트윈"으로 점점 더 많이 사용되고 있지만, 특히 비정상 (non-stationary) 환경에서 인간과 동일한 적응적이고 목표 지향적이며 인지적으로 기반을 둔 전략을 보이는지는 여전히 불분명합니다. 저자들은 다음과 같은 질문을 던집니다: LLM 은 인간 E&E 행동을 신뢰할 수 있게 시뮬레이션할 수 있으며, "사고" 능력 (예: 사고의 사슬, 내부 추론 흔적) 은 이러한 전략에 어떤 영향을 미칩니까?

2. 방법론

실험 설계

저자들은 인간 데이터와의 비교 가능성을 확보하기 위해 인지 과학 및 정신의학에서 널리 사용되는 두 가지 고전적인 멀티암드 밴딧 (MAB) 실험을 활용했습니다:

1. 정상 2-암드 밴딧: 각각 10 라운드로 구성된 20 회 시도의 간단한 설정입니다. 보상은 확률적이지만 정상적입니다 (고정된 평균).
2. 비정상 4-암드 밴딧: 보상 평균이 감쇠하는 가우시안 랜덤 워크 (확산 과정) 를 따르는 300 회 라운드로 구성된 복잡한 설정입니다. 이는 변화하는 환경에 대한 적응력을 테스트합니다.

에이전트 및 조건

이 연구는 세 가지 범주의 에이전트를 비교했습니다:

• 인간 참가자: 각각 45 명과 31 명의 참가자가 포함된 통제된 실험실 실험 데이터 (Gershman 2018; Chakroun et al. 2020a).
• LLM 에이전트: 두 가지 구성으로 테스트된 세 가지 상용 모델 계열 (ChatGPT, Gemini, DeepSeek):
  • 기본 모델: 표준 추론 (예: GPT-4o-mini, Gemini-2.0-flash, DeepSeek-V3).
  • 사고 모델: 명시적 추론 능력을 갖춘 모델 (예: GPT-o3-mini, Gemini-2.5-flash, DeepSeek-R1).
  • 프롬프트 변형: 기본 모델의 경우, 저자들은 사고의 사슬 (CoT) 프롬프팅 ("소리 내어 생각하기") 과 직접 답변을 비교했습니다. 사고 모델의 경우 내부 사고 모드를 전환하거나 사고 예산을 조정했습니다.
• 알고리즘적 기준: 상한 신뢰 구간 (UCB), 톰슨 샘플링 (TS), $\epsilon$-greedy 를 포함한 표준 MAB 알고리즘.

행동 모델링 및 추정

의사결정 전략을 특징짓기 위해 저자들은 인지 과학의 해석 가능한 선택 모델을 사용했습니다:

• 학습 규칙: 각 암에 대한 기대 보상 ($Q$) 과 불확실성 ($S$) 을 추정하기 위한 베이즈 학습자 (칼만 필터).
• 선택 규칙:
  • 소프트맥스 기반 모델 (SM-1, SM-2, SM-3): 무작위 탐험 ($\beta$), 지시된 탐험/불확실성 보너스 ($\phi$), 선택 고착 ($\rho$) 을 위한 매개변수를 포함합니다.
  • 프로빗 회귀: 가치 차이와 불확실성을 모델링하기 위해 2-암드 작업에 사용됨.
• 추정: 개별 이질성을 고려하면서 인구 수준의 매개변수를 추정하기 위해 계층적 베이즈 접근법이 사용되었습니다. 모델 선택은 Leave-One-Out 교차 검증 (LOO-CV) 을 통해 수행되었습니다.

3. 주요 기여

1. 복잡한 환경에서의 직접적인 인간–LLM 비교: 이전 연구가 단순한 2-암드 설정이나 알고리즘 벤치마크로 제한되었던 것과 달리, 이 작업은 일치된 실험 조건을 사용하여 정상 및 비정상 4-암드 밴딧 작업에서 LLM 과 인간을 직접 비교한 최초의 연구입니다.
2. "사고" 능력의 분리: 이 연구는 CoT 프롬프팅이 적용된 기본 모델과 내부 추론이 전환된 네이티브 "사고" 모델을 비교함으로써 추론의 영향을 체계적으로 분리합니다. 이는 단순한 성능 지표를 넘어 의사결정의 메커니즘을 분석하는 것을 넘어섭니다.
3. 행동 매개변수화: 저자들은 후회 (regret) 를 측정하는 것뿐만 아니라 LLM 행동을 확립된 인지 매개변수 ($\beta, \phi, \rho$) 에 매핑하여 LLM 이 단순히 얼마나 잘 수행하는지뿐만 아니라 어떻게 (무작위로 대 방향적으로) 탐험하는지에 대한 세밀한 분석을 가능하게 합니다.
4. 모델 오명세 분석: 저자들은 이러한 인지 모델이 인간이 아닌 에이전트 (알고리즘/LLM) 에 적용되더라도 해석 가능한 행동 서명을 추출하기 위한 유효한 "투영 프레임워크"로 작용함을 입증했습니다.

4. 주요 결과

탐험 전략

• 기본 LLM: 인간에 비해 유의미하게 높은 무작위 탐험과 낮은 지시된 탐험을 보입니다. 인간에서 관찰되는 일관된 "선택 고착" (선택 반복) 이 부족합니다.
• 사고의 영향: 사고를 활성화 (CoT 또는 내부 추론을 통해) 하면 LLM 의 행동이 인간과 유사한 패턴으로 이동합니다:
  • 정상 환경: 사고가 활성화된 LLM 은 지시된 탐험 ($\phi$) 을 크게 증가시키고 무작위 탐험 ($\beta$) 을 감소시켜, 종종 인간 수준과 일치하거나 이를 초과합니다.
  • 비정상 환경: 사고가 성능을 향상시키지만, LLM 은 여전히 변화하는 환경에 대한 인간의 적응력을 따라잡는 데 어려움을 겪습니다. 인간은 긍정적인 지시된 탐험을 유지하는 반면, LLM 은 복잡하고 변화하는 환경에서 효과적인 지시된 탐험에 실패하여 음수 또는 거의 0 에 가까운 $\phi$ 값을 보입니다.

성능 지표 (후회 및 활용)

• 정상 (2-암드): 기본 LLM 은 인간 및 알고리즘과 비교 가능한 후회 수준을 달성합니다. 사고 모델은 비슷하거나 약간 더 나은 성능을 보입니다.
• 비정상 (4-암드):
  • 인간: 변화하는 보상 구조에 대한 우수한 적응력을 보여주며 가장 낮은 누적 후회를 달성합니다.
  • 기본 LLM: 인간보다 훨씬 빠르게 후회를 누적하며, 변동성이 큰 활용률 (초기 암에 과도하게 몰입) 을 보입니다.
  • 사고 모델: 기본 모델에 비해 후회를 크게 줄여 성능을 인간 수준에 가깝게 끌어올립니다 (예: Gemini-2.5-flash 및 DeepSeek-R1), 하지만 가장 복잡한 시나리오에서는 여전히 인간의 적응력보다 뒤처집니다.

장기적 역학

• 확장된 정상 작업 (300 라운드) 에서 사고 모델은 시간이 지남에 따라 행동 매개변수를 안정화하는 반면, 기본 모델은 높은 분산을 보입니다.
• QCARE 프레임워크를 사용한 분석에 따르면, 기본 모델은 종종 "과도한 탐험" (구조적 노이즈의 감소 없음) 으로 고통받는 반면, 사고 모델은 이론적 최적치 ($\alpha \approx 0.5$) 에 더 가까운 더 나은 트레이드오프를 달성합니다.

5. 중요성 및 함의

• 인간 시뮬레이션의 한계: LLM 은 "사고"하도록 프롬프팅될 때 단순하고 정적인 환경에서 인간 E&E 전략을 모방할 수 있지만, 현재는 복잡하고 비정상적인 현실 세계 시나리오에 필요한 견고한 적응력이 부족합니다. 환경이 변할 때 목표 지향적 탐험을 유지하는 데 어려움을 겪습니다.
• 추론의 역할: 이 연구는 추론 능력 (단순한 생성 무작위성이 아님) 이 LLM 에서 개선된 E&E 전략의 주요 동력임을 실증적으로 입증합니다. 사고 흔적을 활성화하는 것은 아키텍처 변경 없이 LLM 행동을 인간과 유사한 의사결정과 정렬시키는 저비용이고 효과적인 방법입니다.
• 실용적 적용: 자동화된 의사결정 시스템 (예: 과학적 발견, 동적 자원 할당) 의 경우, 비정상 환경에서 기본 LLM 에 의존하면 최적이지 않은 결과가 초래될 수 있습니다. 그러나 명시적 추론 모듈을 통합하거나 프롬프트 엔지니어링을 수행하면 이러한 위험을 크게 완화할 수 있습니다.
• 향후 방향: 이 논문은 향후 연구가 비정상성 처리를 위해 LLM 을 미세 조정하고, "디지털 트윈"의 충실도를 높이기 위해 시뮬레이션 프롬프트에 인구통계학적/개별 변이성을 통합하는 데 초점을 맞춰야 한다고 제안합니다.

요약하자면, 이 논문은 LLM 이 인간 행동의 강력한 시뮬레이터이지만, 현재 그들의 "사고" 능력은 양날의 검임을 확립합니다. 즉, 단순한 작업에서는 격차를 메우지만, 인간 직관에 비해 복잡하고 역동적인 불확실성에 적응하는 데 근본적인 한계를 드러냅니다.