PEARL: Self-Evolving Assistant for Time Management with Reinforcement Learning

1. 문제 정의 (Problem Definition)

현대 직장 환경에서 busy 한 전문가들은 매일 수많은 중첩된 일정 (Calendar Conflict) 을 마주하게 됩니다. 이는 참석, 재조정, 거절 등 사용자의 선호도에 기반한 반복적인 의사결정 과정을 요구합니다.

• 핵심 과제: 캘린더 충돌 해결 (Calendar Conflict Resolution). 이는 단순히 일정을 매칭하는 것을 넘어, 사용자의 장기적인 선호도 (예: 리더십 의무, 마감일 민감도, 인간관계 등) 를 추론하고 시간에 따라 진화하는 상황에 적응해야 하는 복잡한 작업입니다.
• 현황 및 한계: 기존 연구는 인간 비서에게 위임하거나 고정된 규칙을 사용했으나, 규모 확장 시 실패하거나 사용자의 선호도 변화를 따라가지 못합니다. 최근 대규모 언어 모델 (LLM) 기반 에이전트들이 등장했으나, 장기적 (Long-horizon) 상호작용에서 선호도를 지속적으로 추론하고 기억하며 일관된 결정을 내리는 능력은 매우 부족합니다.
• 연구 질문: "우리는 LLM 이 시간을 관리하고 선호도를 학습하여 장기적인 일정 충돌을 해결할 수 있다고 신뢰할 수 있는가?"

2. 벤치마크: CALCONFLICTBENCH

이 문제를 체계적으로 연구하기 위해 저자들은 새로운 벤치마크 CALCONFLICTBENCH를 제안했습니다.

• 데이터 생성 엔진: 실제 조직 구조 (연구실, 기술 기업 등) 와 역할별 (PI, CEO, 개발자 등) 선호도 원칙을 기반으로 합성 데이터를 생성합니다.
• 작업 형태: 1 년 간의 일정을 시뮬레이션하며, 라운드별로 중첩된 이벤트가 순차적으로 제공됩니다. 에이전트는 과거 결정과 피드백을 바탕으로 사용자의 선호도를 점진적으로 추론해야 합니다.
• 평가 지표:
  • 평균 오율 (Average Error Rate): 전체 라운드에서의 결정 정확도.
  • 최적 순위 거리 (Optimal Rank Distance, ORD): 제안된 이벤트 순위와 정답 순위의 차이.
  • 오율 감소율 (Error Reduction Rate): 초기 라운드 대비 후기 라운드에서의 성능 향상 정도 (선호도 학습 능력을 측정).

기존 모델의 성능: 실험 결과, Qwen-3-30B-Think 를 포함한 최첨단 LLM 들조차 평균 오율 35% 이상의 높은 실수를 보였으며, 라운드가 증가할수록 선호도 추론 능력이 개선되지 않거나 오히려 악화되는 것을 확인했습니다.

3. 제안 방법론: PEARL

저자들은 PEARL (Preference Evolving Agent with Reinforcement Learning) 을 제안하여 이 격차를 해소했습니다. PEARL 은 강화학습 (RL) 프레임워크를 기반으로 하며, 두 가지 핵심 요소를 도입합니다.

A. 외부 선호도 메모리 (Strategy Hub)

• 문제: 긴 문맥 (Long Context) 만으로는 에이전트가 과거의 선호도 단서를 반복적으로 재발견해야 하거나, 암묵적인 상태가 노이즈에 의해 왜곡될 수 있습니다.
• 해결: Strategy Hub라는 외부 메모리 모듈을 도입합니다. 이는 자연어 형태의 해석 가능한 '의사결정 전략 (Preference States)' 집합을 저장합니다.
• 작동 방식: 에이전트는 매 라운드마다 Hub 를 조회 (List) 하거나 업데이트 (Update) 하여 새로운 선호도 정보를 추출하고, 이를 다음 결정에 반영합니다. 이는 선호도 추론 (Inference) 과 실행 (Execution) 을 분리하여 안정성을 높입니다.

B. 라운드별 보상 및 커리큘럼 학습 (Round-wise Rewards & Curriculum)

• 문제: 초기 라운드에서는 선호도를 아직 파악하지 못했으므로, 단순히 정답을 맞추는 것보다 선호도를 메모리에 기록하는 것이 더 중요합니다.
• 해결: **커리큘럼 기반 보상 (Curriculum-based Reward)**을 설계합니다.
  • 초기 라운드: 선호도 추론 및 메모리 업데이트 (Strategy Hub Interaction) 에 가중치를 둡니다.
  • 후기 라운드: 추론된 선호도에 기반한 정확한 결정 (Decision Correctness) 과 순위 품질 (Ranking Quality) 에 가중치를 둡니다.
• 학습 알고리즘: GRPO (Group Relative Policy Optimization) 를 사용하여, 각 라운드별 보상을 기반으로 정책을 최적화합니다. 이는 장기적 신용 부여 (Credit Assignment) 문제를 해결합니다.

4. 주요 실험 결과 (Results)

CALCONFLICTBENCH 에서 PEARL 을 다양한 베이스라인 (Zero-shot, SFT, ReAct 등) 과 비교 평가했습니다.

• 성능 향상: PEARL 은 가장 강력한 베이스라인 대비 평균 오율 (Average Error Rate) 55% 개선을 달성했습니다.
• 오율 감소율 (ERR): PEARL 은 0.76의 오율 감소율을 기록하여, 시간이 지남에 따라 에이전트가 선호도를 학습하고 적응함을 입증했습니다. 반면, 기존 모델들은 0 에 가깝거나 음수 (-0.029 등) 를 기록하여 학습 능력이 없음을 보였습니다.
• 비교 분석:
  • 단순히 외부 메모리를 제공하는 것만으로는 (Zero-shot + StrategyHub) 성능 향상이 미미했습니다.
  • 지도 학습 (SFT) 은 최종 정확도를 일부 높였으나, 장기적인 적응 능력 (ERR 0.325) 은 PEARL (0.761) 보다 훨씬 낮았습니다.
  • 이는 강화학습을 통한 장기적 최적화가 선호도 진화 (Preference Evolution) 에 필수적임을 시사합니다.

5. 주요 기여 (Key Contributions)

1. 새로운 작업 정의: 장기적 선호도 추론이 필요한 '캘린더 충돌 해결'을 LLM 에이전트에게 새로운 도전 과제로 제시했습니다.
2. 벤치마크 구축: 합성 데이터 생성 엔진과 표준화된 평가 프로토콜을 갖춘 CALCONFLICTBENCH를 공개하여, 에이전트의 장기적 적응 능력을 체계적으로 평가할 수 있는 토대를 마련했습니다.
3. 방법론 제안: 외부 메모리 (Strategy Hub) 와 커리큘럼 기반 강화학습을 결합한 PEARL을 제안하여, 에이전트가 실시간으로 선호도를 추론하고 장기적으로 일관된 결정을 내릴 수 있도록 했습니다.

6. 의의 및 한계

• 의의: 이 연구는 LLM 이 단순한 정보 처리를 넘어, 사용자의 장기적인 선호도를 학습하고 진화하는 '자율적 비서'로 발전할 수 있음을 보여줍니다. 특히, 장기적 의사결정에서 강화학습과 명시적 메모리의 중요성을 입증했습니다.
• 한계:
  • 현재 벤치마크는 구조화된 규칙 기반 선호도를 가정하므로, 피로, 감정, 갑작스러운 상황 변화 등 비구조적이고 추상적인 인간 요소를 완전히 반영하지는 못합니다.
  • 계산 비용 제약으로 인해 모든 평가 파라미터 조합을 탐색하지는 못했습니다.
  • 현재 LLM 의 컨텍스트 윈도우 제한으로 인해 과거 20 라운드까지만 평가되었습니다.

결론적으로, PEARL 은 캘린더 관리와 같은 복잡한 장기적 의사결정 작업에서 LLM 에이전트의 신뢰성을 높이기 위한 중요한 단계로, 선호도 진화 (Preference Evolving) 를 위한 강화학습 프레임워크의 유효성을 입증했습니다.