R-WoM: Retrieval-augmented World Model For Computer-use Agents

이 논문은 LLM 의 환각과 정적 지식 의존성으로 인한 장기 시뮬레이션 한계를 해결하기 위해 외부 튜토리얼에서 사실적 지식을 검색하여 통합한 '검색 증강 세계 모델 (R-WoM)'을 제안하고, 이를 통해 OSWorld 와 Webarena 환경에서 장기 계획 수행 능력을 크게 향상시켰음을 보여줍니다.

핵심

🚗 비유: "가상 운전 시뮬레이터"와 "실제 도로 지도"

1. 문제점: "머릿속으로만 상상하는 운전사"

기존의 AI(대형 언어 모델) 는 컴퓨터 작업을 할 때, 마치 눈을 감고 미래의 도로 상황을 상상하는 운전사와 같습니다.

• 장점: "앞에 차가 오면 브레이크를 밟아야지" 같은 기본적인 반응은 잘 합니다.
• 단점: 하지만 오래된 기억이나 상상만 믿고 운전하다 보면, 실제 도로 상황과 달라서 큰 실수를 합니다.
  • 예: "이 버튼을 누르면 파일이 저장될 거야"라고 상상했는데, 실제로는 그 버튼이 다른 기능을 하거나, 창이 사라져서 작업이 멈추는 경우입니다.
  • 이를 **할루시네이션 (환각)**이라고 하며, 복잡한 작업을 할수록 실수가 쌓여서 결국 실패하게 됩니다.

2. 해결책: R-WoM (검색 기반 세계 모델)

이 논문이 제안한 R-WoM은 이 운전사에게 **"실시간으로 업데이트된 상세 지도 (튜토리얼)"**를 주는 것과 같습니다.

• 상상만 하지 말고, 지도를 봐라: AI 가 "어떻게 해야 할까?"라고 고민할 때, 단순히 머릿속으로 상상하는 대신, **실제 사용 설명서 (튜토리얼)**를 검색해서 가져옵니다.
• 현실과 연결 (Grounding): "이 파일은 어디에 저장되나?"라고 물을 때, AI 는 "아마 데스크톱일 거야"라고 추측하는 대신, **"Chrome 브라우저 사용 설명서를 찾아보니, '파일 > 저장'을 눌러야 해"**라고 정확한 정보를 바탕으로 계획을 세웁니다.

3. R-WoM 의 핵심 작동 원리 (세 가지 단계)

이 시스템은 AI 가 작업을 시작할 때 다음과 같이 작동합니다:

1. 현실적인 검색 (검색 강화):

   • AI 가 "이메일 첨부하기"라는 작업을 하려 할 때, 단순히 "첨부"라는 단어만 검색하지 않습니다.
   • "어떤 파일 형식이 가능한지, 어디서 버튼을 눌러야 하는지" 같은 구체적인 상황을 고려해서 설명서를 찾아냅니다. (질문 다듬기 + 관련 문서 재순서 정렬)

2. 미래 시뮬레이션 (세계 모델):

   • AI 는 "내가 이 버튼을 누르면 어떻게 될까?"라고 여러 가지 시나리오를 머릿속으로 그려봅니다.
   • 이때 찾아온 설명서를 옆에 두고 시뮬레이션을 합니다. "설명서에 따르면 이 버튼을 누르면 창이 뜨고, 그다음에 파일을 선택해야 해"라고 현실에 맞게 상상합니다.

3. 최고의 선택 (비교 평가):

   • 여러 가지 시나리오 중 어떤 것이 가장 잘 될지 점수를 매깁니다.
   • 기존 방식은 "이게 성공할까? (O/X)"라고 절대적인 점수를 매겼는데, R-WoM 은 **"이 시나리오가 저 시나리오보다 더 잘될 것 같아"**라고 비교해서 가장 안전한 길을 선택합니다.

4. 왜 이것이 중요한가요? (결과)

• 오래된 기억보다 최신 정보: AI 는 훈련된 데이터 (과거 지식) 만으로는 최신 소프트웨어나 복잡한 웹사이트를 다룰 수 없습니다. R-WoM 은 실시간 설명서를 참조하므로 최신 정보에 맞춰 행동합니다.
• 긴 작업도 가능: 간단한 작업 (파일 열기) 은 잘했지만, 복잡한 작업 (파일 편집 후 저장 후 공유) 은 실패하던 AI 가, 설명서를 참고하면서 긴 과정에서도 실수를 줄이고 성공률을 크게 높였습니다.
  • 실험 결과, 기존 방식보다 최대 23.4% 까지 성능이 향상되었습니다.

🌟 한 줄 요약

"AI 가 컴퓨터를 다룰 때, 머릿속의 막연한 상상 (할루시네이션) 을 버리고, 실제 사용 설명서 (튜토리얼) 를 검색해서 현실에 맞는 계획을 세우게 한다면, 훨씬 똑똑하고 실수 없는 비서가 될 수 있다!"

이 연구는 AI 가 단순히 말을 잘하는 것을 넘어, 실제 컴퓨터 환경에서 복잡한 일을 수행하는 '실전 전문가'가 되는 데 중요한 디딤돌이 됩니다.

기술 요약

R-WOM: 컴퓨터 사용 에이전트를 위한 검색 증강 세계 모델 (Retrieval-Augmented World Model for Computer-Use Agents)

이 논문은 ICLR 2026 에 발표된 것으로, 대규모 언어 모델 (LLM) 을 기반으로 한 '세계 모델 (World Model)'이 컴퓨터 사용 에이전트 (Computer-Use Agents) 의 의사결정을 향상시킬 수 있는지에 대한 체계적인 분석과 이를 개선하기 위한 새로운 프레임워크인 **R-WoM(Retrieval-augmented World Model)**을 제안합니다.

1. 문제 정의 (Problem)

LLM 은 디지털 환경에서 에이전트가 미래 상태를 시뮬레이션하고 행동 결과를 예측하여 시행착오 (trial-and-error) 를 줄일 수 있는 세계 모델로 활용될 수 있습니다. 그러나 기존 LLM 기반 세계 모델은 다음과 같은 근본적인 한계를 가집니다:

• 할루시네이션 (Hallucination) 및 정적 지식 의존: LLM 은 훈련 데이터에 의존하는 정적 지식을 바탕으로 추론하기 때문에, 동적이고 구체적인 환경 (예: 특정 OS 또는 웹 브라우저의 최신 UI) 에 대한 정확한 시뮬레이션이 어렵습니다.
• 장기 계획 (Long-horizon Planning) 의 실패: 단기적인 상태 변화 예측에는 탁월한 성능을 보이지만, 여러 단계를 거치는 전체 절차 (full-procedure) 를 계획할 때는 오류가 누적되어 실패율이 급격히 증가합니다.
• 구체적 지식 부재: 예를 들어, 특정 소프트웨어의 최신 메뉴 구조나 파일 삽입 시 커서 위치 유지와 같은 환경 특이적 (environment-specific) 인 절차적 지식이 부족하여 실행 불가능한 행동을 생성합니다.

2. 방법론 (Methodology)

2.1 LLM 의 세계 모델 능력에 대한 탐구 (Preliminary Analysis)

저자는 LLM 의 세계 모델 능력을 평가하기 위해 세 가지 태스크를 설계했습니다:

1. 다음 상태 식별 (Next-state Identification): 현재 상태와 행동에 따른 다음 상태를 예측하는 능력.
2. 전체 절차 계획 정렬 (Full-procedure Planning Alignment): 생성된 실행 계획이 실제 환경의 절차 (튜토리얼 등) 와 일치하는지 평가.
3. 마일스톤 전환 인식 (Milestone Transition Recognition): 작업 진행에 유익한 상태 전환을 식별하여 보상을 추정하는 능력.

분석 결과: LLM 은 단기 상태 변화나 의미 있는 전환을 인식하는 데는 강점이 있었으나, 전체 절차 계획 (Full-procedure Planning) 에서는 성능이 급격히 저하되었습니다. 이는 LLM 이 장기적인 시뮬레이션에서 환경의 역학을 정확하게 모델링하는 데 한계가 있음을 시사합니다.

2.2 R-WoM 프레임워크 제안

이러한 한계를 극복하기 위해 **검색 증강 세계 모델 (R-WoM)**을 제안합니다. 핵심 아이디어는 LLM 의 시뮬레이션 과정을 외부의 사실적이고 최신의 지식 (튜토리얼, 매뉴얼) 으로 '그라운딩 (Grounding)'하는 것입니다.

• 추론 기반 RAG 파이프라인:
  • 단순한 임베딩 유사도 검색을 넘어, **쿼리 재작성 (Query Rewriting)**과 **LLM 기반 리랭킹 (Reranking)**을 통해 작업 목표에 가장 관련성 높은 튜토리얼을 정밀하게 검색합니다.
  • 검색된 튜토리얼은 세계 모델의 상태 전이 예측과 보상 추정의 조건 (Condition) 으로 사용됩니다.
• Long Chain-of-Thought (LongCoT) 시뮬레이션:
  • 기존 방법들의 반복적인 롤아웃 (iterative rollouts) 대신, Deepseek-R1 에서 영감을 받은 LongCoT 기법을 사용하여 단일 추론 시퀀스 내에서 다단계 미래 시나리오를 생성합니다. 이는 계산 효율성을 높입니다.
• 적응형 브랜칭 및 중복 제거:
  • 에이전트가 불확실할 때만 여러 행동 후보를 생성하고, 의미적으로 중복된 행동을 제거하여 불필요한 시뮬레이션 비용을 절감합니다.
• 리스트와이즈 보상 추정 (Listwise Reward Estimation):
  • 절대적인 점수 (0, 1 등) 를 매기는 대신, 생성된 여러 시뮬레이션 롤아웃 (trajectories) 을 서로 비교하여 **상대적 순위 (Relative Ranking)**를 매기는 방식을 사용합니다. 이는 절대적 보상의 편향을 줄이고 더 안정적인 행동 선택을 가능하게 합니다.

3. 주요 기여 (Key Contributions)

1. LLM 의 세계 모델 능력에 대한 체계적 분석: LLM 이 단기 동역학 이해에는 강하지만, 장기 계획 및 환경 특이적 절차 정렬에는 실패함을 실증적으로 증명했습니다.
2. R-WoM 프레임워크 개발: 외부 튜토리얼 지식을 검색하여 LLM 세계 모델을 그라운딩하는 새로운 아키텍처를 제안했습니다.
3. 실제 벤치마크에서의 검증: WebArena 와 OSWorld 에서 기존 베이스라인 대비 유의미한 성능 향상을 입증했습니다.

4. 실험 결과 (Results)

• 벤치마크: WebArena (웹 환경) 와 OSWorld (데스크톱 OS 환경) 에서 실험 수행.
• 성능 향상:
  • OSWorld: Qwen-2.5-VL-72B 기준 베이스라인 대비 21.5%, Claude-3.7-Sonnet 기준 **23.4%**의 상대적 개선.
  • WebArena: Qwen-2.5-VL-72B 기준 16.3%, Claude-3.7-Sonnet 기준 **5.6%**의 개선.
  • 특히 **장기 시뮬레이션 (Long-horizon)**에서 성능 향상이 두드러졌습니다.
• 그라운딩의 중요성: 튜토리얼이 없는 경우 (Ungrounded) 에 비해 검색된 튜토리얼을 사용한 경우 (R-WoM) 와 오라클 수준의 튜토리얼을 사용한 경우 (Oracle) 로 갈수록 성능이 선형적으로 향상되어, 정확한 절차적 지식의 제공이 장기 계획의 핵심임을 확인했습니다.
• 시뮬레이션 범위 (Imagination Horizon): R-WoM 은 3 단계 이상의 시뮬레이션에서도 성공률을 유지하는 반면, 그라운딩이 없는 모델은 2 단계 이후 성능이 급격히 떨어졌습니다.
• 튜토리얼이 부족한 상황 (Tutorial-scarce): 자체 플레이 (Self-play) 로 생성된 합성 튜토리얼을 사용하여 R-WoM 을 확장했을 때도 기존 베이스라인 대비 일관된 성능 향상을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 기반 에이전트가 복잡한 컴퓨터 사용 작업에서 장기적인 계획을 수립할 때, 단순히 모델 내부의 지식을 믿는 것이 아니라 외부 사실적 지식 (튜토리얼) 을 실시간으로 검색하여 시뮬레이션에 반영하는 것이 필수적임을 보여줍니다.

• 할루시네이션 감소: 환경 특이적 지식을 제공함으로써 실행 불가능한 행동을 방지합니다.
• 효율성: LongCoT 와 적응형 브랜칭을 통해 계산 비용을 최적화하면서도 높은 정확도를 유지합니다.
• 미래 방향: R-WoM 은 동적인 디지털 환경에서 에이전트의 신뢰성과 자율성을 높이는 새로운 패러다임을 제시하며, 향후 더 복잡한 멀티모달 환경으로 확장될 수 있는 가능성을 열었습니다.

요약하자면, R-WoM 은 LLM 의 추론 능력을 외부 지식으로 보강함으로써 컴퓨터 사용 에이전트의 장기 계획 실패 문제를 해결한 획기적인 접근법입니다.