기술 요약: PROEVENT – 능동적 에이전트를 위한 이벤트 중심 벤치마크

문제 정의

현재의 대규모 언어 모델(LLM) 기반 에이전트는 주로 명시적인 사용자 지침에 의존하는 수동적인(reactive) 성격을 띱니다. 이러한 한계는 반복적인 인간의 개입을 초래하고, 시간 민감한 정보를 놓칠 위험을 높입니다. "능동적 에이전트(proactive agents)"는 환경적 맥락을 인지하여 사용자의 요구를 예측할 것으로 기대되지만, 기존의 벤치마크들은 이벤트 중심의 보조(event-centric assistance)—즉, 진행 중인 상호작용을 바탕으로 사용자의 향후 이벤트를 식별, 추적 및 유지하는 능력—를 간과하고 있습니다.

또한, 능동적 보조의 개방적인 특성은 신뢰할 수 있는 평가에 상당한 어려움을 줍니다. 기존 벤치마크는 종종 의미론적 유사성이나 LLM이 시뮬레이션한 인간 판사(human judges)에 의존하며, 이는 객관적인 근거가 부족합니다. 다음과 같은 에이전트의 능력을 평가하는 데 있어 결정적인 공백이 존재합니다:

1. 비정형적이고 노이즈가 많은 인스턴트 메시징(IM) 채팅으로부터 사용자의 향려 이벤트를 지속적으로 추적하는 능력.
2. 보조의 타이밍(언제 행동하고 언제 기다릴 것인가)을 정확하게 결정하는 능력.
3. 복잡한 다중 스레드 환경에서 이벤트 관리 작업(삽입, 수정, 삭제)을 정확하게 수행하는 능력.

방법론: PROEVENT 벤치마크

이러한 격차를 해소하기 위해, 저자들은 진행 중인 IM 채팅으로부터 사용자의 시간표를 유지하는 능동적 에이전트를 평가하기 위해 설계된 최초의 이벤트 중심 벤치마크인 PROEVENT를 소개합니다.

1. 작업 정식화 (Task Formulation)

이 작업은 에이전트가 시간 간격 $[t-1, t]$ 내에 채팅 세트 $D_t$를 받는 이산 시간 시퀀스로 정식화됩니다. 목표는 일련의 명시적인 작업을 생성하여 사용자의 타임테이블 상태 $S_{t-1}$를 새로운 상태 $S_t$로 업데이트하는 것입니다:

• Insert (삽입): 특정 속성(시간, 장소, 참가자, 설명)을 가진 새로운 이벤트를 추가합니다.
• Update (수정): 기존 이벤트의 속성을 수정합니다.
• Delete (삭제): 이벤트를 제거합니다 (취소 처리를 위해 중요함).

에이전트는 여러 개의 동시 발생적인 채팅 스레드를 처리하고, 유의미한 정보와 노이즈를 구분해야 합니다.

2. 데이터 구축 파이프라인

PROEVENT는 현실적이고 고품질의 데이터를 합성하기 위해 엄격한 4단계 파이프라인을 활용합니다:

• 연락처 풀 구축 (Contact Pool Construction): 다양성을 확보하기 위해 특정 역할과 이벤트 유형을 가진 56개의 고유한 연락처 프로필(예: 동료, 친구)을 정의합니다.
• 채팅 합성 (Chat Synthesis): 먼저 이벤트의 실제 진화 과정(예: 시간 변경, 취소)을 기록하는 "스케줄링 궤적(scheduling trajectory)"을 생성합니다. 이 궤적은 LLM(GPT-OSS-120B)을 사용하여 다회차 대화를 생성하는 가이드 역할을 하며, 이를 통해 기저의 이벤트 타임라인과 일치하도록 보장합니다.
• 노이즈 주입 (Noise Injection): 현실 세계의 조건을 시뮬레이션하기 위해 세 가지 유형의 노이즈를 주입합니다:
  • 메시지 수준: 유의미한 메시지 사이에 끼어드는 무관한 메시지.
  • 채팅 수준: 대상 이벤트와 관련이 없는 전체 채팅.
  • 이벤트 수준: 주의를 분산시키는 과거 또는 잠정적인 이벤트.
• 시나리오 구성 (Scenario Construction): 여러 채팅을 병합하고 고정된 시간 창으로 분할하여 동시 발생적인 스레드와 주기적인 컨텍스트 수집을 시뮬레이션합니다.

최종 데이터셋은 1,249개의 고품질 채팅으로 구성되며, 7개의 이벤트 카테고리와 56개의 하위 카테고리를 아우르는 2,463개의 단일 단계 질문과 1,279개의 다단계 케이스를 생성합니다.

3. 평가 스위트 (Evaluation Suite)

본 벤치마크는 세 가지 차원에서 에이전트를 평가합니다:

• 응답 타이밍 (Response Timing): 오탐지율(False Detection Rate, FDR) (불필요할 때 행동을 트리거함)과 미탐지율(Missed Need Rate, MNR) (필요할 때 행동하지 못함)로 측정됩니다.
• 단일 단계 정확도 (Single-Step Correctness): 각 시간 단계에서의 작업에 대한 정밀도(Precision)와 재현율(Recall)입니다.
• 다단계 정확도 (Multi-Step Correctness): 이벤트 성공률(Event Success Rate, ESR) 및 **타임테이블 성공률(Timetable Success Rate, TSR)**로, 이는 여러 누적 단계 후에 완벽하게 정확한 이벤트와 전체 타임테이블의 비율을 측정합니다. 이는 서로 다른 작업 시퀀스(예: Update vs. Delete+Insert)가 동일한 최종 상태로 이어지는 모호함을 해결합니다.

주요 결과

저자들은 PROEVENT를 통해 8개의 LLM 및 파이프라인(Qwen-3, DeepSeek-V3.2, DeepSeek-R1, GPT-5.1 및 ProCoT과 같은 특화된 파이프라인 포함)을 평가했습니다.

• 성능 격차: 가장 강력한 모델들조차 고전하고 있습니다. GPT-5.1은 타임테이블 성공률(TSR)이 26.7%에 불과하여, 현재의 LLM이 신뢰할 수 있는 능동적 보조를 제공하기에는 아직 멀었음을 보여줍니다.
• 과잉 반응 편향 (Overreaction Bias): 모델들은 과잉 대응하는 체계적인 편향을 보입니다. 예를 들어, DeepSeek-V3.2는 미탐지율(MNR)이 21.9%인 반면 오탐지율(FDR)은 96.5%에 달합니다. 이들은 개입이 필요하지 않은 상황에서도 빈번하게 동작을 트리거합니다.
• 취소 처리의 어려움: 암시적인 이벤트 취소를 식별하는 것이 주요 실패 지점입니다. 일부 모델은 삭제에 대해 높은 재현율을 보이지만, 정밀도가 낮아 충분한 근거 없이 이벤트를 삭제하는 경우가 발생합니다.
• 복잡성의 영향: 협상 턴(turn) 수와 동시 발생 채팅 스레드 수가 증가함에 따라 성능이 크게 저하됩니다.
• 추론의 효과: 더 강력한 추론 능력을 갖춘 모델(예: DeepSeek-R1, ProCoT)은 실제 취소와 일시적 변경을 구별하는 데 더 나은 정밀도를 보입니다. 모델에게 행동의 필요성을 명시적으로 평가하도록 유도하는 ProCoT 파이프라인은 DeepSeek-V3.2의 FDR을 70% 감소시켰습니다.

질적 분석 및 현재 LLM의 한계

본 논문은 능동적 에이전트로 활동하는 현재 LLM의 세 가지 근본적인 결함을 식별했습니다:

1. 관점 불일치 (Perspective Misalignment): LLM은 사용자의 1인칭 관점이 아닌 3인칭 관점에서 추론하는 경우가 많습니다. 예를 들어, 사용자가 이벤트에 참석할 수 없다고 말할 때, 모델은 (사용자를 제외하는 대신) 사용자의 개인 타임테이블에서 이벤트를 삭제하는 것이 아니라 참가자 목록을 업데이트하는 식의 오류를 범합니다.
2. 암시적 지시 실패 (Implicit Instruction Failure): 모델은 명시적인 구조적 단서 없이 서사적 스타일(예: "같은 사람들을 초대해줘")에 내포된 운영 요구사항을 감지하는 데 어려움을 겪습니다.
3. 추론 결핍 (Reasoning Deficits): 약한 모델들은 시간적 추론(날짜를 요일로 변환)과 메모리 강화 추론(여러 유사한 이벤트 중 올바른 이벤트 ID 검색)에서 실패합니다.

의의 및 주장

본 논문은 PROEVENT가 인스턴트 메시징 채팅으로부터 사용자의 타임테이블을 능동적으로 유지하는 능력을 구체적으로 평가하는 최초의 벤치마크라고 주장합니다. 그 의의는 다음과 같습니다:

• 평가 격차 해소: 의미론적 유사성 지표를 넘어, 능동적 에이전트를 위한 객관적이고 정답(ground-truth)에 기반한 평가 프로토콜을 제공합니다.
• 현실적인 복잡성: 동적 상호작용, 동시 발생 스레드, 그리고 만연한 노이즈를 포착하는 데이터 생성 파이프라인을 도입했습니다. 이는 실제 배포 시 매우 중요하지만 합성 데이터셋에서는 흔히 무시되는 요소들입니다.
• 진단적 가치: 본 벤치마크는 GPT-5.1과 같은 최첨단 모델조차 과잉 기대와 이벤트 취소 및 사용자 중심 추론의 미묘한 차이를 다루는 데 어려움을 겪는다는 점을 밝혀내며, 과잉 예측 경향이 있음을 드러냅니다.

저자들은 PROEVENT가 실제 환경에서 능동적 이벤트 추적을 위한 LLM 역량 강화를 촉진하는 도전적인 벤치마크 역할을 한다고 결론지으며, 이러한 에이전트들이 신뢰할 수 있게 배치되기 위해서는 추론 및 관점 정렬(perspective alignment) 측면에서 상당한 개선이 필요함을 강조합니다.