기술 요약: 대규모 언어 모델을 탐색(Explore)에 사용할 것인가, 활용(Exploit)에 사용할 것인가?

문제 정의

본 논문은 다중 팔 강도(Multi-Armed Bandits, MAB) 및 문맥적 강도(Contextual Bandits, CB) 프레임워크 내에서 탐색-활용 트레이드오프(exploration-exploitation tradeoff)가 특징인 의사결정 문제에 대한 대규모 언어 모델(LLM)의 적용을 다룹다. 기존 연구들은 주로 인컨텍스트 학습(In-context learning, 단일 프롬프트에 원시 이력과 파라미터를 제공하는 방식)을 통해 LLM이 이러한 과제를 엔드 투 엔드로 해결하는 능력을 평가하는 데 집중해 왔으나, 본 연구는 이러한 단일 구조적 접근 방식이 종종 실패한다고 주장한다. 대신, 저자들은 LLM을 "사일로(Silo)" 단위로 체계적으로 평가할 것을 제안한다. 즉, LLM의 개별적인 능력인 활용 오라클(Exploitation Oracle: 이력과 현재 문맥이 주어졌을 때 최적의 행동을 선택하는 능력)과 탐색 오라클(Exploration Oracle: 방대한 행동 공간에서 표준 밴딧 알고리즘이 처리할 수 있도록 작고 고품질인 후보군을 제 제안하는 능력)로서의 능력을 각각 평가한다.

방법론

1. 활용 오라클로서의 LLM

저자들은 다양한 LLM(GPT-3.5, GPT-4, GPT-4O, GPT-5 계열 모델, Qwen-2.5, Gemma-3, Mistral-7B, DeepSeek-R1 포함)이 (문맥, 행동, 보상) 튜플의 이력이 주어졌을 때 최적의 행동을 식별하는 능력을 평가한다.

• 과제:
  • MAB 활용: 고정된 행동 집합에서 역사적 베르누이 보상을 바탕으로 가장 높은 경험적 보상을 가진 팔(Arm)을 선택함.
  • 문맥적 밴딧(CB) 활용: 과거의 문맥과 보상이 주어졌을 때 새로운 문맥 $z_{T+1}$에 대해 최적의 팔을 선택함. 여기에는 선형 CB(기대 보상이 문맥의 선형 함수인 경우)와 비선형/텍스트 기반 CB(문맥이 의미적 설명이며 보상이 비선형 함수인 경우)가 모두 포함됨.
• 완화 조치: 컨텍스트 윈도우 제한과 추론 결함을 해결하기 위해 저자들은 다음을 테스트한다:
  • 도구 사용(Tool Use): LLM이 계산을 수행할 수 있도록 파이썬 코드 인터프리터 접근 권한을 제공함.
  • 인컨텍스트 요약(In-Context Summarization): LLM에 전달하기 전, $k$-최근접 이웃(k-nearest neighbors) 또는 $k$-평균 군집화(k-means clustering)를 통해 이력 크기를 줄임.
• 베이스라인: 성능은 단순 선형 회귀(선형 과제용) 및 무작위 추측과 비교된다.

2. 탐색 오라클로서의 LLM

저자들은 LLM이 거대하고 의미론적으로 풍부한 행동 공간을 표준 밴딧 알고리즘(UCB1)이 처리할 수 있는 관리 가능한 수준의 후보 집합으로 "이산화(Discretize)"하는 능력을 평가한다.

• 과제:
  • MovieLens: 사용자 평점을 바탕으로 방대한 카탈로그에서 영화의 하위 집합을 추천함.
    vez arXiv: 논문의 초록을 바탕으로 논문의 제목들을 제안함.
  • 철학적 Q/A: 열린 질문에 대해 다양한 답변을 생성함.
• 평가: LLM은 $K$개의 후보 행동을 생성한다. 표준 UCB1 알고리즘이 이 $K$개의 후보들에 대해 $T$ 라운드 동안 실행된다. 성능은 달성된 누적 보상(노이즈 제거됨)으로 측정된다.
• 베이스라인: 무작위 팔 선택 및 arXiv 과제의 경우 최대 한계 관련성(Maximal Marginal Relevance, MMR) 베이스라인을 사용한다.

주요 기여 및 결과

1. 활용 성능

• 모델 역량: 프런티어 추론 모델(특히 GPT-5 계열)은 소규모 MAB 퍼즐에서 완벽에 가까운 성능을 보이며 활용 과제에서 유망함을 보여준다. 그러나 비추론 모델(GPT-3.5, GPT-4)은 이력 크기($T$)와 문제 차원($d, K$)이 증가함에 따라 성능이 크게 저하되어 어려움을 겪는다.
• 완화 조치의 영향:
  • 도구 사용: 코드 인터프리터에 대한 접근은 선형 CB 과제에서 성능을 크게 향상시키며, 때로는 GPT-4가 GPT-5를 능가하게 만들기도 한다. 그러나 이는 높은 비용과 지연 시간(Latency)을 수반한다.
  • 요약: 인컨텍스트 요약($k$-nearest, $k$-means)은 큰 이력을 처리하는 데 도움이 되지만, 성능 격차를 완전히 메우지는 못한다.
• 선형 베이스라인: 중요한 발견은 완화 조치를 적용하더라도, 모든 연구된 LLM이 선형 과제에서 단순 선형 회귀 베이스라인보다 성능이 떨어진다는 점이다. 비선형/텍스트 기반 과제에서도, 보상 함수가 비선형임에도 불구하고 LLM은 선형 회귀에 의해 크게 뒤처진다.
• 비용/지연 시간: 논문은 LLM 기반 활용이 전통적인 회귀 솔버보다 수십 배 느리고 비싸다는 점을 언급한다. 예를 들어, 코드 인터프리터를 사용한 단 한 번의 실행에 6시간 이상이 소요되고 약 70달러의 비용이 들었으나, 회귀 솔버는 밀리초 단위로 실행된다.

2. 탐색 성능

• 의미론적 이점: LLM은 탐색 오라클로서 견고한 성공을 보여준다. LLM은 모든 과제 유형에서 비-LLM 베이스라인(무작위 선택 및 MovieLens의 경우 장르 기반 이산화)을 유의미하게 능가한다.
• 메커니즘: LLM은 사전 학습된 "귀납적 편향(Inductive Bias)"과 의미 이해를 활용하여 행동 공간의 고보상 영역에서 후보를 제안하며, 효과적으로 "스마트 이산화(Smart Discretization)" 메커니즘 역할을 수행한다.
• 프롬프팅 전략: 다양한 프롬프팅 전략(전체 한꺼번에 방식 vs 하나씩 방식, 다양성 강조 여부 등)은 유사한 결과를 냈으며, 이는 핵심 역량이 특정 프롬프트 엔지니어링보다는 모델 자체의 내재된 지식에 있음을 시사한다.

의의 및 주장

본 논문은 LLM을 다른 의사결정 구성 요소로부터 분리하여 고립된 상태로 체계적으로 평가함으로써, 현재의 한계와 강점에 대한 미묘한 관점을 제공한다고 주장한다:

1. 활용의 한계: 현재의 프런티어 LLM은 복잡하거나 대규모인 의사결정 과제를 위한 범용 활용 오라클로서 아직 신뢰할 만하지 않다. 이들은 단순한 통계적 방법(예: 선형 회귀)의 효율성과 정확성을 따라잡지 못하며, 과도한 지연 시간과 비용 문제를 겪는다. 저자들은 LLM의 "범용적" 지능이 커스텀 훈련이나 강력한 도구 증강 없이는 아직 최적의 통계적 의사결정으로 이어지지 않는다고 제안한다.
2. 탐색의 강점: 반대로, LLM은 탐색 오라클로서 매우 효과적이다. 의미적 의미를 이해하는 능력은 표준 알고리즘이 실패하는 거대하고 구조화되지 않은 행동 공간을 탐색할 수 있게 한다. 이는 LLM을 단독 의사결정자가 아닌, 더 큰 에이전트 프레임워크 내에서 "행동 사전 확률(Action Priors)" 또는 "후보 생성기(Proposal Generators)"로 사용하는 것을 지지한다.
3. 향 향후 전망: 저자들은 단순한 의사결정 과제를 마스터할 것이라는 LLM에 대한 "극단적인 낙관론"을 경계한다. 연구 결과는 활용 과정에서의 어려움이 예상보다 오래 지속됨을 보여준다. 제안된 발전 방향은 풍부한 텍스트 기반 행동 공간에서 LLM을 스마트 이산화를 위해 활용하되, 실제 활용 단계에서는 전통적인 알고리즘에 의존하는 것이다.

요약하자면, 본 논문은 LLM이 현재 활용에 필요한 통계적 중량 작업에는 서툴지만, 거대하고 복잡한 행동 공간에서 탐색에 필요한 의미론적 중량 작업을 수행하는 데는 독보적인 가치가 있다고 주장한다.