💬 NLP

Why Do LLM Agents Fail in Exploring New Environments? A World-Modeling Perspective

이 논문은 LLM 에이전트가 강화 학습 과정에서 생소한 환경 내의 새로운 솔루션을 발견하는 능력을 상실하는 핵심 실패 모드로 '탐색 붕괴(exploration collapse)'를 식별하고, 보상을 최적화하기에 앞서 자기 경험 기반의 상태 및 전이 예측을 통한 지도 미세 조정(supervised finetuning)을 통해 에이전트를 먼저 접지(grounding)시킴으로써 성능을 향상시키는 방법론인 SPA를 제안한다.

원저자: Shiqi Chen, Tongyao Zhu, Zian Wang, Jinghan Zhang, Kangrui Wang, Ruochen Zhou, Siyang Gao, Teng Xiao, Yee Whye Teh, Junxian He, Manling Li

게시일 2026-09-10

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shiqi Chen, Tongyao Zhu, Zian Wang, Jinghan Zhang, Kangrui Wang, Ruochen Zhou, Siyang Gao, Teng Xiao, Yee Whye Teh, Junxian He, Manling Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인간처럼 생각하고 행동하며, 퍼즐을 풀거나 가상 세계를 탐험하거나, 심지어 웹 브라우저를 사용하여 정보를 찾는 것까지 가능한 컴퓨터 프로그램을 상상해 보십시오. 대규모 언 언어 모델(LLM)로 알려진 이러한 프로그램들은 인터넷의 방대한 텍스트를 학습하여 문장에서 다음에 올 단어를 예측하는 법을 배웁니다. 연구자들이 이 모델들에게 목표를 달ique하기 위해 단계를 밟아 나가는 '에이전트' 역할을 수행하도록 요청할 때, 흔히 강화 학습이라는 방법을 사용합니다. 이는 모델이 다양한 행동을 시도하고, 그 결과가 성공했는지 실패했는지에 대한 피드백을 받으며, 성공으로 이어지는 행동을 반복하도록 점진적으로 학습하는 과정입니다. 이는 기계에게 명시적으로 프로그래밍되지 않은 일을 하는 법을 가르치는 강력한 방법입니다. 그러나 이러한 에이전트들을 새롭고 익숙하지 않은 상황에 배치할 때 결정적인 문제가 발생합니다. 에이전트는 이전에 보았던 특정 퍼즐은 해결하는 법을 배울 수 있지만, 완전히 새로운 환경을 어떻게 탐색해야 할지 파악하는 데 어려움을 겪으며, 최선의 해결책을 찾는 것을 방해하는 좁은 사고방식에 갇히곤 합니다.

한 연구팀은 왜 이러한 지능형 에이전트들이 미지의 상황에 직면했을 때 실패하는지를 이해하기 위해 연구를 시작했습니다. 그들은 '탐색 붕괴(exploration collapse)'라고 부르는 특정한 현상을 발견했습니다. 간단히 말해, 에이전트가 새로운 과제를 수행하도록 훈련될 때, 종종 단 하나의 특정한 성공 경로만을 찾아내고 다른 모든 가능성은 무시하게 된다는 것입니다. 에이전트는 그 단일 경로에 너무 집중한 나머지 다양한 접근 방식을 시도하는 능력을 상실합니다. 연구진은 이를 두 가지 서로 다른 점수를 통해 측정했습니다. 하나는 에이전트의 가장 최선의 추측이 작동하는지를 추적하는 점수이고, 다른 하나는 에이전트의 여러 다양한 추측 중 어떤 것이라도 작동하는지를 추적하는 점수입니다. 익숙한 작업에서는 에이전트가 학습함에 따라 두 점수 모두 향상됩니다. 하지만 상자를 특정 목표 지점으로 밀어야 하는 격자 기반 퍼즐과 같이 새롭고 어려운 환경에서는, 단일 최선 추측에 대한 점수는 약간 상승하는 반면, 다양한 경로를 시도하는 것에 대한 점수는 실제로 하락합니다. 에이전트는 더 유연해지는 법을 배우는 대신, 잘못된 습관에 더 확신을 갖게 되는 것입니다. 이는 에이전트가 자신이 처한 새로운 세상의 규칙을 진정으로 이해하지 못하기 때문에 발생합니다. 즉, 탄탄한 기초 없이 추측만 하고 있는 것입니다.

이를 해결하기 위해 연구진은 SPA, 즉 '자기 경험 에이전트(Self-Experience Agent)'라고 불리는 새로운 훈련 방법을 개발했습니다. 에이전트에게 즉시 보상을 얻는 법을 가르치는 대신, 먼저 주변 세계를 이해하는 법을 가르쳤습니다. 연구진은 점수를 얻어야 한다는 압박 없이 에이전트가 스스로 환경을 탐색할 기회를 주었습니다. 이 단계에서 에이전트는 자신이 본 것을 설명하고, 특정 행동을 취했을 때 다음에 어떤 일이 일어날지 예측하도록 요청받았습니다. 예를 들어, 에이전트가 특정 위치에 있는 상자를 보고 그것을 밀기로 결정했다면, 먼저 상자가 어디에 있는지 말한 다음 상자가 어디로 이동하게 될지를 예측해야 했습니다. 연구진은 환경으로부터 얻은 실제의 정확한 결과를 사용하여 에이전트의 예측을 수정했으며, 이는 사실상 에이전트에게 해당 게임의 물리 법칙을 가르치는 효과를 냈습니다. 이 과정은 에이전트의 마음속에 일종의 내부 지도 또는 '세계 모델(world model)'을 구축하여, 모호한 추측이 아닌 현실에 근거한 이해를 심어주었습니다.

에이전트가 세상이 어떻게 돌아가는지에 대한 이러한 내부적 이해를 구축한 후, 연구진은 본격적으로 승리하는 법을 가르치기 위한 표준 훈련 과정을 시작했습니다. 결과는 놀라웠습니다. 상자를 목표물로 밀어야 하는 소코반(Sokoban) 퍼즐 게임 테스트에서, 표준 훈련 방식은 에이전트가 약 25%의 확률로만 성공하게 했습니다. 새로운 방식으로는 성공률이 거의 60%까지 치솟았습니다. 얼어붙은 호수가 등장하는 또 다른 퍼즐에서는 성공률이 약 22%에서 70% 이상으로 향상되었습니다. 아마도 가장 놀라운 점은, 이 방식으로 훈련된 매우 작은 규모의 컴퓨터 모델이 기존의 표준 방식으로 훈련된 훨씬 더 크고 강력한 모델을 능가할 수 있었다는 것입니다. 게임의 규칙을 먼저 학습한 이 작은 모델은, 그저 보상을 향해 추측하며 나아가려 했던 거대 모델보다 복잡한 퍼즐을 더 효과적으로 헤쳐 나갈 수 있었습니다.

연구진은 이 접근 방식이 스도쿠(Sudoku)와 같은 논리 퍼즐이나 가사 노동을 시뮬레이션한 환경 등 다른 유형의 과제에서도 작동하는지 테스트했습니다. 에이전트에게 승리하기 전에 세상의 상태를 이해하도록 가르치는 방식은 모든 경우에서 더 나은 결과를 가져왔습니다. 그들은 성공의 핵심이 단순히 더 많은 데이터나 더 큰 컴퓨터를 갖는 것이 아니라, 학습이 일어나는 순서에 있다는 것을 발견했습니다. 에이전트에게 환경의 구조를 먼저 학습하도록 강제함으로써, 에이전트는 단일하고 취약한 전략에 붕괴되는 함정을 피할 수 있었습니다. 에이전트는 자신의 행동이 가져올 결과를 이해함으로써 여러 경로를 탐색하며 선택지를 열어두는 법을 배웠습니다. 이 연구는 인공지능이 새롭고 복잡한 상황에 진정으로 적응하기 위해서는, 성공을 최적화하기 전에 현실에 대한 신뢰할 수 있는 이해를 구축해야 한다는 점을 시사합니다. 이 연구는 에이전트가 환경의 실제 메커니즘에 근거를 둘 때, 더 효과적으로 탐색하고 이전에는 도달할 수 없었던 문제를 해결할 수 있음을 보여줍니다.

기술 요약: 왜 LLM 에이전트는 새로운 환경을 탐색할 때 실패하는가? 세계 모델링(World-Modeling) 관점에서의 분석

1. 문제 정의: 미지의 환경에서의 탐색 붕괴 (Exploration Collapse)

본 논문은 LLM의 사전 학습 분포와 다른 미지의 환경에 배치된 에이전트 강화 학습(Agentic RL)에서 발생하는 결정적인 실패 모드를 식별합니다. 표준 RL은 익숙한 설정(예: ALFWorld, WebShop)에서는 단일 궤적 성공률(Pass@1)을 개선하지만, 미지의 환경(예: Sokoban, FrozenLake, Sudoku)에서는 저자들이 **탐색 붕괴(exploration collapse)**라고 명명한 현상을 유발합니다.

높은 상태 퍼플렉시티(state perplexity)를 특징으로 하는 이러한 생소한 도메인에서, 표준 RL은 훈련이 진행됨에 따라 Pass@1이 소폭 상승하더라도 Pass@k(k개의 샘플링된 궤적 중 적어도 하나가 성공할 확률)를 현저히 감소시킵니다. 이러한 괴리는 정책이 점점 더 취약해지고 있음을 나타내며, 이는 에이전트가 다양한 시도를 하거나 견고하게 일반화하는 능력을 잃은 채 좁고 착취적인(exploitative) 해결 경로로 수렴하고 있음을 의미합니다. 저자들은 이 붕패의 원인을 환경의 상태와 역학(dynamics)에 대한 접지(grounding) 부족으로 돌립니다. 즉, 에이전트가 기저에 깔린 규칙이라는 "세계 모델"을 내면화하지 못하여, 상태 파싱(state parsing)에 실패하고 효과적인 크레딧 할당(credit assignment)을 수행하지 못하는 것입니다.

2. 방법론: SPA (Self-Experience Agent)

탐색 붕괴를 완화하기 위해, 저자들은 보상을 최적화하기 전에 에이전트를 접지시키는 "탐색 후 착취(explore-then-exploit)" 프레임워크인 SPA를 제안합니다. 명시적인 세계 모델을 계획 단계에서 쿼리하는 고전적인 모델 기반 RL과 달리, SPA는 세계 모델링을 콜드 스타트 초기화로서 정책 자체에 내면화합니다.

이 프레임워크는 두 가지 주요 단계로 구성됩니다.

A. 상태 추정 (Grounding)

원시 심볼릭 상태 문자열(예: 그리드 맵)이 높은 퍼플렉시티를 갖는 분포 변화 문제를 해결하기 위해, SPA는 원시 상태 $s'_t$ 를 추상화되고 구조화된 표현인 $b_t$ 로 보강합니다.

메커니즘: 모델은 현재 상태(예: 플레이어, 박스, 목표의 좌표)에 대한 구조화된 자연어 설명을 원시 관측값과 함께 생성하도록 프롬프트됩니다.
목표: 이는 상태 퍼플렉시티를 줄이고, 생소한 심볼릭 입력을 친숙하고 해석 가능한 표현으로 변환하여 더 나은 추론을 용이하게 합니다.

B. 자기 경험 지도 학습 (Self-Experience Supervised Fine-Tuning, SFT)

RL을 수행하기 전, 에이전트는 자신의 상호작용 궤적을 사용하여 전이 역학(transition dynamics)을 학습하는 지도 학습 단계를 거칩니다.

데이터 수집: 베이스 모델은 환경을 자유롭게 탐색하며 궤적 $\tau = (s_0, o_0, a_0, \dots)$ 를 수집합니다.
세계 모델링 목적 함수: 추론 과정 중(<thought>와 </thought> 태그 사이), 모델은 현재 상태를 명시적으로 설명하고(<observation>), 다음 상태를 예측하도록(<prediction>) 프롬프트됩니다.
정답 감독 (Ground Truth Supervision): 결정적으로, 모델이 스스로 생성한 현재 및 다음 상태에 대한 믿음은 환경 시뮬레이터가 제공하는 실제 상태(ground-truth states) ( $s_t, s_{t+1}$ )로 대체됩니다. 그 후 모델은 이러한 접지된 상태와 후속 행동을 예측하도록 SFT를 통해 학습됩니다.
손실 함수: 훈련 과정에서는 상태 설명과 예측을 포함하는 추론 구간에 대해 마스크 처리된 토큰 수준의 교차 엔트로피 손실을 최소화하며, 이를 통해 에이전트에게 환경의 전이 커널 $p(s_{t+1} | s_t, a_t)$ 를 효과적으로 가르칩니다.

C. RL 훈련

이제 접지된 내부 세계 모델을 보유하게 된 SFT 훈련 모델은 표준 근사 정책 최적화(PPO)를 위한 초기값 역할을 합니다. RL 단계에서는 주 목적을 방해할 수 있는 부가적인 세계 모델링 보상을 추가하지 않고, 접지된 상태 표현을 사용하여 작업 보상을 최적화합니다.

3. 주요 기여

탐색 붕괴 진단: 본 논문은 미지의 환경에서 Pass@1과 Pass@k 사이의 괴리를 실증적으로 규명하며, 이를 일반적인 RL의 비효율성이 아닌 접지(grounding)의 실패로 식별했습니다.
SPA 프레임워크: 세계 모델링(SFT)과 보상 최적화(RL)를 분리하고, 자기 경험 데이터를 사용하여 정책을 초기화하는 단순하고 확장 가능한 레시피를 도입했습니다.
절제 연구 및 메커리즘 분석: 저자들은 통제된 연구를 통해 SPA의 성공을 이끄는 네 가지 핵심 요인을 격리했습니다.
- 접지된 상태 표현: 원시 상태를 구조화된 좌표로 추상화함.
- 명시적 전이 모델링: 단순히 행동을 배우는 것이 아니라 다음 상태를 예측함.
- 자기 경험 궤적: 충분히 강력한 탐색 정책으로부터 데이터를 수집함 (무작위 행동은 이득을 주지 못함).
- 충분한 데이터 커버리지: 충분한 전이 데이터와 형식 준수를 보장함.
3B 미만 모델에서의 성능: 이 방법은 작은 모델(예: Qwen2.5-1.5B)이 복잡한 공간 추론 작업에서 훨씬 더 큰 규모의 베이스라인(예: GPT-OSS-20B)을 크게 능가할 수 있게 합니다.

4. 실험 결과

저자들은 여러 모델 제품군(Qwen2.5, LLaMA-3.2, GPT-OSS)과 환경(Sokoban, FrozenLake, Sudoku)에 대해 SPA를 평가했습니다.

성능 향상: Qwen2.5-1.5B-Instruct 모델에서, SPA는 Sokoban 성공률(Pass@1)을 25.6%(Vanilla RL)에서 **59.8%**로, FrozenLake를 **22.1%**에서 **70.9%**로 높였습니다.
탐색 능력의 회복: Pass@k가 저하되는 Vanilla RL과 달리, SPA는 Pass@1과 Pass@k를 모두 일관되게 개선했습니다 (예: Sokoban Pass@8이 34.0%에서 69.5%로 상승).
베이틀라인과의 비교: SPA는 "상태 추정 RL"(전이 모델링이 결여된 방식) 및 VAGEN(보상 형성 방식의 세계 모델링 베이틀라인)보다 우수한 성능을 보였습니다. 저자들은 VAGEN의 온라인 보상 형성이 RL 목적 함수를 방해하는 반면, SPA의 오프라인 SFT 접근 방식은 더 깨끗한 초기화를 제공한다고 언급했습니다.
일반화: 단순한 변형(예: 4x4 FrozenLake)에서 훈련된 SPA가 더 어려운 변형(6x6)으로 성공적으로 전이됨을 보여주어 "쉬운 것에서 어려운 것으로(easy-to-hard)"의 전이를 입증했습니다. 그러나 게임 간 교차 일반화(Sokoban에서 FrozenLake로)는 여전히 어려웠으며, 이는 세계 모델이 특정 환경 패밀리에 특화되어 있음을 시사합니다.

5. 의의 및 주장

본 논문은 미지의 환경에서 에이전트 RL을 확장하는 데 있어 주요 장벽은 보상 신호의 부족이 아니라, 접지된 상태 및 전이에 대한 이해의 부족이라고 주장합니다. 보상을 최적화하기 전에 환경의 역학을 명시적으로 가르침으로써, SPA는 다양한 해결 경로를 탐색하는 에이전트의 능력을 복구합니다.

저자들은 SPA가 추론 시점에 외부 시뮬레이터로 사용되는 외부 모델이 아니라, 내부화된 사전 지식으로서 세계 모델을 사용하는 정책 중심(policy-centric) 접근 방식임을 강조합니다. 결론적으로, 자기 경험 SFT를 통해 정책을 접지하는 것은 미지의 환경에서 효과적인 RL을 위한 필수적인 전제 조건이며, 견고한 에이전트를 구축하기 위한 재현 가능한 시작점을 제공합니다.

인정된 한계점:
저자들은 현재 결과가 그리드 스타일의 상호작용 벤치마크와 소규모~중규모 오픈 웨이트 모델에 국한되어 있음을 밝힙니다. 또한 SPA가 SFT 단계에서 실제 상태(특권 정보)에 대한 접근을 필요로 하며, 이는 추가적인 인지 모듈 없이는 모든 실제 배포 환경에서 사용 가능하지 않을 수 있음을 인정합니다. 아울러, 게임 간의 교차 일반화 또한 여전히 과제로 남아 있습니다.