💬 NLP

SELAUR: Self Evolving LLM Agent via Uncertainty-aware Rewards

이 논문은 LLM 에이전트의 내재적 불확실성을 보상 설계에 통합하여 탐구 효율성과 학습 안정성을 향상시키는 'SELAUR' 프레임워크를 제안하고, ALFWorld 와 WebShop 벤치마크에서 기존 방법보다 우수한 성과를 입증합니다.

원저자: Dengjia Zhang, Xiaoou Liu, Lu Cheng, Yaqing Wang, Kenton Murray, Hua Wei

게시일 2026-02-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Dengjia Zhang, Xiaoou Liu, Lu Cheng, Yaqing Wang, Kenton Murray, Hua Wei

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

SELAUR: 실패에서도 배우는 똑똑한 AI 비서

이 논문은 SELAUR이라는 새로운 인공지능 (AI) 학습 방법을 소개합니다. 쉽게 말해, **"AI 가 실수를 할 때조차 어떻게 하면 더 잘 배울 수 있을까?"**에 대한 해답을 제시한 연구입니다.

기존의 AI 는 주로 "정답을 맞췄다 (성공)"거나 "틀렸다 (실패)"는 결과만 보고 학습했습니다. 하지만 SELAUR 은 **"그 과정에서 AI 가 얼마나 확신했는지 (불확실성)"**를 reward(보상) 시스템에 포함시켜, 실패한 경험에서도 풍부한 정보를 끌어내도록 만들었습니다.

이 복잡한 개념을 일상적인 비유로 설명해 드릴게요.

1. 기존 방식: "결과만 보는 엄격한 선생님"

기존의 AI 학습 방식은 마치 결과만 보고 점수를 매기는 시험과 같습니다.

상황: 학생 (AI) 이 문제를 풀었습니다.
과거의 방식: 정답이면 "축하해! 100 점!"이라고 주고, 틀리면 "아이고, 0 점. 다시 해봐"라고만 합니다.
문제점: 학생이 99% 는 맞췄는데 마지막에 실수해서 0 점이라면, 그 99% 의 노력과 중간 과정의 좋은 판단들은 모두 무시됩니다. 학생은 "어디서 실수했는지"보다 "아예 다시 처음부터 시작해야지"라고 생각하게 되어 학습이 비효율적입니다.

2. SELAUR 의 핵심: "과정을 지켜보는 현명한 코치"

SELAUR 은 **불확실성 (Uncertainty)**이라는 새로운 도구를 도입했습니다. 이를 **'AI 의 마음속 확신 정도'**라고 생각하면 됩니다.

비유: AI 가 길을 찾을 때, "이 길이 맞을 거야!"라고 확신하는지, 아니면 "음... 여기가 맞을까? 저기도 한번 가볼까?"라고 고민하는지 (불확실한지) 를 계속 체크합니다.
핵심 아이디어:
1. 확신할 때: "이건 확실해!"라고 생각하며 행동했다면, 그 행동을 더 강화합니다.
2. 고민할 때 (불확실할 때): "어? 내가 여기서 망설였구나?"라고 생각하면, 그 순간을 학습의 기회로 삼습니다.
3. 실패했을 때: 비록 최종 목표는 실패했지만, "어떤 단계에서 내가 가장 헷갈렸나?"를 분석해서 그 부분을 고치면 다음엔 성공할 수 있다는 신호로 바꿉니다.

3. SELAUR 이 작동하는 3 단계 (창의적인 비유)

이 시스템은 크게 세 가지 단계로 이루어져 있습니다.

① "불확실성 측정기" (Uncertainty Estimation)

AI 가 말을 할 때 (단어를 선택할 때), 그 선택이 얼마나 흔들리는지 측정합니다.

비유: 요리사가 "이 소금 양이 맞을까?"라고 고민할 때, 손이 떨리는 정도를 재는 것과 같습니다.
- 엔트로피 (Entropy): "내가 이 요리에 대해 얼마나 많은 가능성을 고려하고 있지?" (머릿속이 복잡할수록 점수 높음)
- 최소 확신 (Least Confidence): "내가 선택한 이 재료가 정말 맞을까?" (선택 확신이 낮을수록 점수 높음)
- 마진 (Margin): "내가 선택한 재료와 두 번째로 유력한 재료 사이의 차이가 얼마나 나?" (차이가 작을수록 헷갈리는 거임)
- 이 세 가지를 합쳐서 AI 가 **"지금 가장 헷갈리는 순간"**을 찾아냅니다.

② "단계별 및 전체 과정 집계" (Aggregation)

단순히 한 순간의 흔들림만 보는 게 아니라, **한 걸음 (Step)**과 **전체 여정 (Trajectory)**을 모두 봅니다.

비유: 등산할 때, "이 계단에서 넘어질 뻔했어 (단계별)"와 "전체 산행에서 내가 가장 헷갈렸던 구간은 어디였지? (전체 여정)"를 모두 기록합니다. 특히 마지막 단계가 중요하므로, 마지막에 헷갈렸다면 더 큰 신호로 간주합니다.

③ "실패를 위한 보상 재설계" (Failure-aware Reward Reshaping)

여기가 SELAUR 의 가장 멋진 부분입니다.

기존: 실패 = 0 점 (그만해)
SELAUR: 실패 = "어디서 헷갈렸는지 알려주는 피드백"
- 만약 AI 가 길을 잃고 실패했다면, "너는 A 지점에서 너무 확신 없이 헤맸어. 다음엔 A 지점에서 더 신중하게, 혹은 다른 길을 시도해봐"라고 구체적인 조언을 줍니다.
- 결과: 실패한 경험도 "아무것도 아닌 쓰레기"가 아니라, **"다음 성공을 위한 지도"**로 변합니다.

4. 실제 효과: "함정에서 빠져나오는 지혜"

논문의 실험 결과 (ALFWorld, WebShop 같은 게임/쇼핑 환경) 에서 SELAUR 은 기존 AI 들보다 훨씬 잘했습니다.

기존 AI: 같은 실수를 반복하거나, 한 번 틀린 길에 갇혀서 빙글빙글 돌다가 포기합니다. (불확실성을 무시하고 무작정 반복)
SELAUR: "아, 내가 여기서 계속 헤매고 있구나 (불확실성 감지). 이 방법은 안 되겠어. 다른 길을 시도해봐야겠다"라고 스스로 깨닫고 방향을 바꿉니다.

요약: 왜 이것이 중요한가요?

SELAUR 은 AI 에게 **"실패는 끝이 아니라, '내가 어디를 더 공부해야 하는지' 알려주는 신호"**라고 가르칩니다.

마치 스마트한 운전 교습소처럼, 실수를 했을 때 "당신은 브레이크를 너무 늦게 밟았어요 (결과)"라고만 말하지 않고, "당신은 브레이크를 밟기 직전까지 핸들을 너무 많이 꺾어서 흔들렸어요 (과정과 불확실성 분석)"라고 알려주어, 운전자가 다음엔 더 안전하게 운전할 수 있게 도와주는 것과 같습니다.

이 기술을 통해 AI 는 더 적은 시도로도 더 똑똑해지고, 복잡한 상황에서도 실패를 두려워하지 않고 유연하게 대처할 수 있게 됩니다.

1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 이 복잡한 다단계 의사결정 에이전트로 활용되면서, 학습을 유도하는 보상 (Reward) 설계가 핵심 과제가 되었습니다. 기존 연구들은 다음과 같은 한계를 가지고 있습니다:

희소 보상 (Sparse Rewards): 대부분의 강화학습 (RL) 접근법은 최종 결과 (성공/실패) 만을 기반으로 보상을 부여하여, 중간 단계의 학습 신호를 놓칩니다.
불확실성 (Uncertainty) 의 간과: LLM 의 내재된 '불확실성' (모델의 자신감 부족) 은 중요한 학습 신호가 될 수 있음에도 불구하고, 기존 단계별 보상 설계에서는 거의 고려되지 않았습니다.
- 높은 불확실성은 탐색 (Exploration) 이 필요한 상태를 나타내며,
- 낮은 불확실성은 신뢰할 수 있는 행동을 강화해야 함을 시사합니다.
실패 경로의 낭비: 기존 방법은 실패한 궤적 (Trajectory) 에서 유용한 학습 신호를 추출하지 못하고 단순히 폐기하는 경향이 있습니다.

2. 제안 방법론 (Methodology: SELAUR)

저자들은 **SELAUR (Self Evolving LLM Agent via Uncertainty-aware Rewards)**라는 새로운 강화학습 프레임워크를 제안했습니다. 이 프레임워크는 토큰 수준의 불확실성 정보를 보상 설계에 직접 통합하여, 성공과 실패 모두에서 학습 신호를 추출합니다.

핵심 구성 요소

불확실성 추정 (Uncertainty Estimation):
- 모델의 각 디코딩 단계에서 토큰별 불확실성을 정량화하기 위해 세 가지 지표를 통합합니다:
  - 엔트로피 (Entropy): 전체 확률 분포의 퍼짐 정도 (전반적인 불확실성).
  - 최소 신뢰도 (Least Confidence): 선택된 토큰의 확률 기반 (국소적 결정 신뢰도).
  - 마진 (Margin): 상위 2 개 토큰 확률 간의 차이 (결정의 명확성).
- 이 세 가지 지표를 가중치 합으로 결합하여 통합된 토큰 수준 불확실성 ( $u_{t,j}$ ) 을 생성합니다.
단계별 및 궤적별 집계 (Step and Trajectory Aggregation):
- 단계별 (Step-level): 각 단계의 토큰 불확실성을 평균화하여 해당 단계의 불확실성 신호로 만듭니다.
- 궤적별 (Trajectory-level): 전체 궤적의 불확실성을 계산할 때, 후반부 단계가 최종 성공에 더 큰 영향을 미친다는 점을 고려하여 지수적으로 감가상각 (Exponential Discounting) 된 가중치를 부여합니다.
실패 인식 보상 재설계 (Failure-aware Reward Reshaping):
- 성공 시: 표준 보상을 적용합니다.
- 실패 시: 최종 결과가 실패하더라도, 각 단계의 불확실성 신호를 보상에 통합합니다.
  - 단계별 보상: 실패한 경우, 해당 단계의 정규화된 불확실성 값을 보상으로 추가하여 "어디에서 망설였는지"에 대한 피드백을 제공합니다.
  - 궤적별 보상: 실패 궤적 전체에 대해 불확실성 기반의 보상을 부여하여, 에이전트가 실패 경험에서도 가치 있는 학습 신호를 얻을 수 있도록 합니다.
- 이를 통해 희소한 결과 기반 보상을 밀도 높은 (Dense) 불확실성 기반 학습 신호로 변환합니다.

3. 주요 기여 (Key Contributions)

통합 불확실성 프레임워크: 엔트로피, 최소 신뢰도, 마진 등 다양한 토큰 수준 불확실성 지표를 통합하여 모델의 자신감을 더 정확하게 파악하고, 이를 밀도 높은 감독 신호 (Supervision) 로 활용합니다.
실패 인식 보상 재설계 메커니즘: 불확실성 신호를 단계별 및 궤적별 보상에 통합하여, 실패한 경험에서도 학습 신호를 추출하고 탐색 효율성과 학습 안정성을 동시에 개선합니다.
실험적 검증: ALFWorld 와 WebShop 두 가지 벤치마크에서 기존 강력한 RL 베이스라인 (PPO, RLOO, GRPO, GiGPO 등) 보다 일관되게 높은 성공률을 달성함을 입증했습니다.

4. 실험 결과 (Results)

벤치마크: ALFWorld (가정 환경 지시 수행) 및 WebShop (전자상거래 목표 기반 의사결정).
성능:
- ALFWorld: Qwen2.5-1.5B 모델 기준, SELAUR 은 평균 성공률 89.06% 를 기록하여 차기 최강인 GiGPO(88.28%) 보다 우위를 점했습니다. 7B 모델 기준에서도 96.87% 의 최고 성능을 달성했습니다.
- WebShop: 작업 점수 (Task Score) 와 성공률 (Success Rate) 모두에서 기존 방법론을 능가했습니다 (예: Qwen2.5-1.5B 기준 성공률 76.56% vs GiGPO 67.57%).
Ablation Study (분석 연구):
- 단일 불확실성 지표 (엔트로피만 등) 보다 세 가지 지표를 통합했을 때 성능이 가장 뛰어났습니다. 이는 각 지표가 서로 보완적인 역할을 하기 때문입니다.
- 엔트로피 변화: SELAUR 은 학습 후기에도 높은 엔트로피를 유지하여, 다른 방법론들보다 더 넓은 탐색 (Exploration) 을 수행함을 시각적으로 확인했습니다.
- 보상 함수 비교: 실패 시 보상을 음수로 처리하거나 성공 시 불확실성에 따라 보상을 감가상각하는 방식보다, 제안된 '불확실성 기반 보상 재설계'가 탐색과 활용 (Exploitation) 의 균형을 가장 잘 이루었습니다.
Case Study: GiGPO 는 유사한 행동을 반복하며 국소 최적점에 갇히는 반면, SELAUR 은 불확실성 신호를 통해 비생산적인 순환을 인지하고 탈출하여 올바른 경로로 전환하는 것을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 에이전트 학습에서 **불확실성 (Uncertainty)**을 단순한 노이즈가 아닌, 핵심적인 학습 신호로 재정의했습니다.

학습 안정성: 희소 보상 문제와 실패 데이터의 낭비를 해결하여 학습 안정성을 크게 향상시켰습니다.
적응성: 복잡한 상호작용 환경에서 모델이 자신의 자신감을 모니터링하고, 불확실한 상황에서 적극적으로 탐색하거나 신뢰할 수 있는 행동을 강화하도록 유도합니다.
미래 방향: 비전 (Vision) 및 멀티모달 작업으로의 확장 가능성을 제시하며, 고차원 관측 환경에서의 불확실성 처리에 대한 새로운 패러다임을 제시했습니다.

요약하자면, SELAUR 은 LLM 에이전트가 "무엇을 모르는지 (불확실성)"를 보상 시스템에 반영함으로써, 성공과 실패를 가리지 않고 더 효율적이고 강건하게 진화할 수 있게 한 혁신적인 접근법입니다.