💬 NLP

DORA Explorer: Improving the Exploration Ability of LLMs Without Training

이 논문은 학습 없이 LLM 에이전트의 탐험 능력을 향상시키기 위해 다양한 행동 후보를 생성하고 토큰 로그 확률로 점수를 매겨 선택하는 'DORA Explorer'라는 프레임워크를 제안하며, 이를 통해 기존 방법들보다 MAB 및 텍스트 어드벤처 환경에서 우수한 성능을 입증했습니다.

원저자: Priya Gurjar, Md Farhan Ishmam, Kenneth Marino

게시일 2026-04-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Priya Gurjar, Md Farhan Ishmam, Kenneth Marino

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🧠 문제: 인공지능은 왜 '똑같은 실수'를 반복할까요?

생각해 보세요. 낯선 도시에서 길을 찾을 때, 인공지능은 보통 가장 확신 있는 길만 선택합니다.

"아, 여기가 가장 유명한 길이야. 여기로 가자!"
하지만 그 길이 막혔거나, 더 좋은 길이 옆에 있을 수도 있는데, 인공지능은 다른 길을 시도해 보지 않고 계속 그 길만 고집하다가 같은 곳에서 맴돌게 됩니다 (루프에 갇힘).

기존의 인공지능은 "창의성"을 높이기 위해 무작위성을 조금 섞어주기도 했지만 (온도 조절), 이는 마치 눈을 감고 주사위를 굴리는 것과 비슷합니다.

"아무거나 해보자!"라고 하면, 엉뚱한 말만 하거나 오히려 더 엉망이 될 뿐, 진짜 필요한 새로운 정보를 찾아내는 '탐색'은 잘 못합니다.

💡 해결책: DORA Explorer (다양한 행동을 체계적으로 골라내는 나침반)

이 논문은 인공지능에게 **"무작위로 헤매지 말고, 체계적으로 다양한 길을 시도해 보라"**는 새로운 전략을 가르쳤습니다. 이 전략의 이름은 DORA입니다.

🎭 비유: "맛있는 식당 찾기"

인공지능이 새로운 도시에서 최고의 식당을 찾아야 한다고 상상해 보세요.

기존 방식 (그리디/무작위):
- 그리디: "가장 유명한 식당 A 로 바로 가자!" (하지만 A 는 이미 문을 닫았을 수도 있음).
- 무작위: "눈을 감고 아무 식당이나 가자!" (하지만 엉뚱한 쓰레기통 옆에 있을 수도 있음).
- 결과: 좋은 식당을 찾지 못하거나, 같은 식당만 반복해서 방문하게 됩니다.
DORA 방식 (체계적인 탐색):
- 1 단계: 후보 목록 만들기 (생각하기)
  인공지능에게 "주변에 있을 만한 식당 5 개를 나열해 봐"라고 말합니다. 이때 인공지능은 자연스럽게 **다양한 후보 (A, B, C, D, E)**를 떠올립니다.
- 2 단계: 점수 매기기 (평가하기)
  각 식당에 대해 "이 식당이 맛있을 확률은 얼마나 될까?"를 계산합니다. 하지만 단순히 확률만 보는 게 아니라, **"이 식당을 가보면 새로운 정보를 얻을 수 있을까?"**도 고려합니다.
- 3 단계: 선택하기 (탐험 vs 활용)
  - 초반 (탐험 모드): 아직 정보가 부족하니, 확률이 조금 낮더라도 **새로운 식당 (B 나 C)**을 가볼 기회를 줍니다.
  - 후반 (활용 모드): 좋은 식당을 찾았다면, 이제 그 식당으로 확실하게 가도록 합니다.
- 핵심: DORA 는 언제 탐색하고 언제 확신을 가지고 행동할지 스스로 조절하는 '스마트한 나침반' 역할을 합니다.

🚀 DORA 가 뛰어난 이유

학습이 필요 없습니다 (Training-Free):
인공지능을 다시 가르칠 필요 없이, 기존에 있는 인공지능에 이 '나침반'만 끼워주면 바로 작동합니다. 마치 스마트폰에 새로운 앱을 설치하는 것처럼 쉽습니다.
함정에 빠지지 않습니다:
실험 결과, DORA 를 사용하면 인공지능이 같은 문장이나 행동을 반복하는 '함정'에서 빠져나오는 능력이 기존 방법보다 5 배에서 20 배나 좋아졌습니다.
실제 성과가 좋습니다:
- 게임 (텍스트 어드벤처): "리드 (납) 를 녹여라" 같은 미션을 해결할 때, DORA 를 쓴 인공지능은 성공률이 29% 에서 45% 로 크게 향상되었습니다.
- 복잡한 문제: 기존에 인공지능이 못 풀던 문제들도 새로운 정보를 찾아내며 해결했습니다.

📝 한 줄 요약

"인공지능이 낯선 환경에서 똑같은 실수를 반복하며 헤매지 않도록, DORA 는 '체계적으로 다양한 길을 시도하고, 언제 멈출지 판단하는' 지능적인 나침반을 제공하여 더 빠르고 정확하게 목표를 달성하게 합니다."

이 기술은 인공지능이 단순히 말만 잘하는 것을 넘어, 실제 세상에서 문제를 해결하는 '탐험가'가 되는 데 큰 도움을 줄 것으로 기대됩니다.

논문 요약: DORA Explorer (LLM 의 탐험 능력 향상, 학습 없이)

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 기반 에이전트는 순차적 의사결정 분야에서 뛰어난 추론 능력을 보여주지만, 탐험 (Exploration) 능력에 있어서는 심각한 한계를 보입니다.

핵심 문제: LLM 에이전트는 종종 반복적인 행동 패턴에 갇히거나 (Loops), 국소 최적해 (Sub-optimal solutions) 에 수렴하여 새로운 정보를 수집하지 못합니다.
기존 방법의 한계:
- Temperature Scaling: 토큰 수준의 무작위성을 도입하지만, 시퀀스 수준의 다양성을 보장하지 못하며, 오히려 일관성이나 정확도를 해칠 수 있습니다.
- 프롬프트 기법 (CoT, ToT 등): 추론 능력을 향상시키지만, 불확실성 하에서의 체계적인 탐험을 명시적으로 제어하지는 못합니다.
- 학습 기반 방법: 추가적인 학습 (Fine-tuning) 이 필요하여 적용 비용이 높고 환경에 종속적입니다.

2. 제안 방법: DORA Explorer (Methodology)

저자들은 DORA (Diversity-Oriented Ranking of Actions) 라는 학습이 필요 없는 추론 시 프레임워크를 제안합니다. 이는 LLM 이 스스로 탐험과 활용 (Exploitation) 의 균형을 조절하도록 설계되었습니다.

핵심 메커니즘:
1. 후보 행동 생성 (Candidate Generation): 에이전트가 '탐험'을 결정할 때, 단일 행동을 생성하는 대신 $n_C$ 개의 다양한 행동 후보 목록을 생성합니다. (리스트 레벨 프롬핑 활용)
2. 점수 매기기 (Scoring): 생성된 각 행동 후보에 대해 토큰 로그 확률 (Log-probabilities) 을 기반으로 점수를 산정합니다.
  - 점수 공식: $s = \alpha \cdot \tilde{\mu}(a) - (1-\alpha) \cdot \tilde{\sigma}^2(a)$
  - 여기서 $\tilde{\mu}$ 는 평균 로그 확률 (신뢰도), $\tilde{\sigma}^2$ 는 분산 (일관성) 입니다. 이는 전역적으로 확률이 높고 국소적으로 일관된 시퀀스를 선호하도록 합니다.
3. $\lambda$ 기반 샘플링 (Action Sampling): 탐험 정도를 조절하는 매개변수 $\lambda$ $λ$ 를 사용하여 후보 행동들의 확률 분포를 조절합니다.
  - 낮은 $\lambda$ : 더 많은 탐험 (다양한 행동 샘플링).
  - 높은 $\lambda$ : 더 많은 활용 (높은 점수의 행동 선택).
4. $\lambda$ 결정 전략:
  - Scheduled $\lambda$ : 시간 단계에 따라 지수적으로 증가하는 스케줄을 사용하여 초기에는 탐험을, 후기에는 활용을 강화합니다.
  - Auto-Explore: LLM 이 컨텍스트에 기반하여 $\lambda$ 값을 직접 샘플링하도록 하여 동적으로 탐험을 결정합니다.
특징: 추가 학습 (Training-free) 이 필요 없으며, 기존 LLM 파이프라인에 모듈식으로 통합 가능합니다.

3. 주요 기여 (Key Contributions)

학습 없는 탐험 프레임워크: LLM 에이전트의 탐험 능력을 향상시키기 위해 추가 학습 없이 적용 가능한 최초의 체계적인 방법론 중 하나를 제안했습니다.
토큰 수준이 아닌 시퀀스 수준의 탐험: 단순한 토큰 샘플링을 넘어, 행동 시퀀스 전체의 다양성과 일관성을 고려한 점수 매기기와 샘플링 방식을 도입했습니다.
모듈성 및 범용성: 특정 환경이나 모델에 종속되지 않으며, 다양한 LLM 과 환경에 적용 가능합니다.

4. 실험 결과 (Results)

Multi-Armed Bandit (MAB) 환경:
- UCB (Upper Confidence Bound) 와 경쟁 가능한 성능을 달성했습니다.
- 기존 온도 (Temperature) 기반 샘플링은 초기 탐험 부족 (과도한 Greedy) 또는 후기 활용 실패 (과도한 무작위성) 로 인해 실패하는 반면, DORA 는 초기에 다양한 행동을 탐색하고 후기에는 최적 행동을 집중적으로 선택하여 최적의 누적 보상을 달성했습니다.
- Thompson Sampling 보다 모든 평가 지표에서 우수한 성능을 보였습니다.
TALES (Text Adventure Learning Environment Suite):
- TextWorld, ScienceWorld, AlfWorld 등 5 가지 텍스트 기반 환경에서 실험했습니다.
- 성능 향상: Qwen2.5-7B 모델의 TextWorld 점수를 29.2% 에서 45.5% 로 크게 향상시켰습니다. Mistral Small 22B 모델에서도 74.28% 의 높은 점수를 기록했습니다.
- 루프 탈출 능력: 기존 방법들은 반복적인 행동 (Loops) 에 갇혀 회복률이 1% 미만이었으나, DORA 는 회복률을 최대 20 배까지 향상시켰습니다.
- 환경 탐색: DORA 는 다른 방법들보다 2 배 이상 많은 고유 상태 (Unique States) 를 방문하여 숨겨진 정보와 객체를 더 효과적으로 발견했습니다.

5. 의의 및 결론 (Significance)

실용성: 추가 학습 비용 없이 LLM 에이전트의 탐험 능력을 획기적으로 개선할 수 있는 실용적인 솔루션을 제공합니다.
이론적 통찰: LLM 이 단순히 토큰 확률에 의존하는 것이 아니라, 구조화된 탐색 전략을 통해 불확실성을 해결하고 더 나은 의사결정을 내릴 수 있음을 입증했습니다.
응용 가능성: 로봇공학, 게임, 과학적 발견 등 적극적인 탐험이 필요한 다양한 분야에서 LLM 에이전트의 성능을 높이는 데 기여할 것으로 기대됩니다.

이 논문은 LLM 에이전트가 "무작위성"이 아닌 "구조화된 다양성"을 통해 진정한 탐험을 수행할 수 있음을 보여주며, 추론 기반 에이전트의 한계를 극복하는 중요한 이정표가 됩니다.