기술 요약: ProactBench

문제 정의

현재 대규모 언어 모델 (LLM) 벤치마크는 주로 반응적 역량을 평가합니다. 즉, 모델이 명시적인 사용자 요청에 얼마나 잘 응답하는지를 측정합니다. 모델이 지시 따르기 능력에서 크게 향상되었음에도 불구하고, 중요한 대화 능력이 여전히 측정되지 않고 있습니다. 그것은 대화의 선제성입니다. 이는 사용자가 명시적으로 언급하지는 않았지만 암시한 필요를 감지하고 이에 대응하는 능력으로 정의됩니다.

기존 평가는 진정한 선제적 지원과 다음과 같은 반응적 행동 사이를 구분하지 못하는 경우가 많습니다.

• 지시 따르기: 명백한 요청에 대한 정제된 순응.
• 명확화 요청: 사용자가 이미 제공한 정보를 다시 묻는 행위.
• 일반적인 도움 제공: 실질적인 가치를 더하지 않는 표준화된 마무리 문구 (예: "필요한 것이 있으면 알려주세요").
• 아첨: 동의하지만 인식론적으로 약한 행동.

본 논문은 진정한 선제성이 모델로 하여금 공개된 세부사항에서 명시되지 않은 함의를 추론하고, 요청받지 않은 상태에서 유용한 미래 지향적 가치를 제시하도록 요구한다고 주장합니다.

방법론

ProactBench 는 타당성을 보장하기 위해 3 에이전트 아키텍처를 활용하여 세 가지 명확한 대화 단계를 걸쳐 선제성을 측정하도록 설계된 새로운 평가 프레임워크를 도입합니다.

1. 세 가지 트리거 유형

벤치마크는 선제성을 각기 다른 구체적인 rubric(평가 기준) 을 가진 단계별 트리거 유형으로 분해합니다.

• EMERGENT(1~3 턴): 대화 초기에 단 하나의 공개된 앵커 (사실적 세부사항) 로부터 명시되지 않은 필요를 추론합니다.
• CRITICAL(4~7 턴): 대화 중간에 여러 개의 공개된 앵커를 종합하여 새로운 결론을 도출합니다.
• RECOVERY(8~10 턴): 사용자가 작업 완료를 신호한 이후에, 근거 있는 미래 지향적 가치를 제시합니다. 이 단계는 모델이 종종 유용한 것처럼 들리지만 실제로는 아무런 유용한 말을 하지 않는 부분이기 때문에 중요합니다.

2. 3 에이전트 평가 아키텍처

스타일 혼란 점수, rubric 누출, 외부 맥락 오염, 정보 덤프에 대응하기 위해 벤치마크는 다음을 활용합니다.

• Planner(기획자): 대화 전략을 작성하고, 트리거가 발생하는 시점을 결정하며, 모델이 답변하기 전에 잠재적 rubric 을 확정합니다. 이는 페르소나와 시나리오를 보지만 의사소통 스타일은 보지 않습니다.
• User Agent(사용자 에이전트): Planner 의 전술적 지시를 특정 페르소나와 Communication Styles Inventory(CSI) 에서 파생된 24 가지 의사소통 스타일 중 하나에 기반하여 자연스러운 사용자 메시지로 변환합니다.
• Assistant Model(어시스턴트 모델): 오직 자연스러운 대화 기록만 수신합니다. 페르소나, rubric, 트리거 일정, 숨겨진 목표에 대해서는 무지합니다.
• Offline Judge(오프라인 심판자): 선별된 대화의 트리거 턴만 재실행하여 고정된 rubric 에 따라 응답을 평가함으로써, 모든 평가 대상 모델에 대해 동일한 맥락을 보장합니다.

3. 데이터셋 및 프로토콜

• 코퍼스: 624 개의 트리거 포인트를 포함하는 198 개의 선별된 대화.
• 변이성: 대화는 24 가지 의사소통 스타일 (표현성, 정밀성, 언어적 공격성, 질문성, 감정성, 인상 조작성이라는 6 가지 CSI 특성의 조합) 과 5 가지 생활 영역 (전문직, 스포츠, 예술, 여행, 요리) 에 걸쳐 있습니다.
• 선별: curation 모델 (Gemini-2.5-Pro) 이 rubric 이나 숨겨진 목표에 접근할 수 없는 "콜드 스타트" 고립 방식으로 대화가 생성되어, 대화 기록에 실제 어시스턴트가 자연스럽게 가질 수 있는 정보만 포함되도록 보장했습니다.
• 점수 매김: 응답은 선제적 원칙 (예: 단일 앵커 추론, 다중 앵커 종합, 또는 근거 있는 미래 가치) 을 충족하는지에 따라 Pass, Partial, Fail 로 등급이 매겨집니다.

주요 기여

1. 대화의 선제성 정의: 지시 따르기, 명확화, 일반적 도움 제공과 선제성을 구분하는 공식적 정의이며, 세 가지 단계별 트리거 유형으로 구조화되었습니다.
2. 평가 아키텍처: LLM-as-judge 평가에서 흔히 발생하는 네 가지 타당성 위협을 완화하는 정보 비대칭성을 갖춘 3 에이전트 시스템 (Planner, User Agent, Assistant) 입니다.
3. ProactBench 코퍼스: 합성 미국 페르소나를 기반으로 하고 24 가지 의사소통 스타일에 걸쳐 다양하며, 독립적인 LLM 심판자에 의해 감사된 624 개의 트리거가 포함된 198 개의 대화 공개.
4. 실증적 평가: 16 개의 최첨단 및 오픈 가중치 모델에 대한 포괄적 평가로, RECOVERY가 표준 벤치마크와 상관관계가 없는 고유한 역량임을 밝혔습니다.
5. 인간 검증: rubric 기반 선제적 응답이 비선호 (vanilla) 생성물보다 80% 의 비무승부 비교에서 선호된다는 쌍별 인간 연구를 통해, 벤치마크가 인간이 가치 있게 여기는 역량을 측정함을 확인했습니다.

결과

16 개 모델 (GPT-5.5, Claude-Opus-4.7, Qwen3.5, Llama 변형 모델 포함) 에 대한 평가는 몇 가지 주요 발견을 도출했습니다.

• RECOVERY 는 어렵고 고유합니다: RECOVERY 는 가장 어려운 트리거 유형입니다. 가장 우수한 모델 (GPT-5.5) 은 RECOVERY 트리거의 37.2% 만 통과하는 반면, 16 개 모델 중 14 개는 20% 미만을 통과합니다.
• 표준 벤치마크와의 상관관계 부재: EMERGENT 및 CRITICAL 점수는 기존 벤치마크 (GPQA, MMLU, SWE-bench 등) 와 강하게 상관관계가 있는 반면, RECOVERY 는 그렇지 않습니다. 여섯 가지 표준 벤치마크와의 평균 상관관계는 $\bar{r} = 0.51$(95% CI [0.29, 0.71]) 인 반면, 다른 유형의 경우 $\bar{r} \approx 0.83$입니다.
  • 예시: Kimi-K2.6 은 LiveCodeBench 와 SWE-bench 에서 GPT-5.5 보다 우수하지만, RECOVERY 점수는 5 배 낮습니다 (7.4% 대 37.2%).
• 정책 vs 역량: RECOVERY 성능 차이는 순수한 역량 한계보다는 정책 차이(예: 사후 학습 데이터 믹스 및 사용자 세션 피드백) 를 반영하는 것으로 보입니다. GPT-5.5 는 어려운 사용자 스타일 전반에 걸쳐 높은 RECOVERY 성능을 유지하는 "스타일 균일" 정책을 보이는 반면, 다른 강력한 모델들은 더 쉬운 스타일에 그 우위를 집중시킵니다.
• 실패 모드:
  • GPT-5.5 를 제외한 최첨단 폐쇄형 소스 모델은 주로 일반적인 마무리(정제되었지만 공허한 인사말) 를 통해 실패합니다.
  • GPT-5.5 와 작은 오픈 가중치 모델은 주로 전달물 반복(새로운 가치를 추가하지 않고 완료된 작업을 재진술) 을 통해 실패합니다.
• 인간 선호도: 통제된 연구에서 인간은 시스템 지시사항으로 RECOVERY rubric 을 사용하여 생성된 응답을 비선호 생성물보다 80% 의 경우에서 선호했으며, 비선호 응답이 이미 rubric 을 통과했음에도 불구하고 그랬습니다.

중요성 및 주장

본 논문은 ProactBench 가 현재 LLM 평가의 "맹점"을 식별한다고 주장합니다. 모델이 지시 따르기 능력이 점점 향상되고 있음에도 불구하고, 작업이 표면적으로 완료된 후 근거 있는 미래 지향적 가치를 제공하는 데는 어려움을 겪습니다.

저자들은 다음과 같이 주장합니다.

1. RECOVERY 는 새로운 평가 신호입니다: 이는 표준 추론 및 코딩 벤치마크로 약하게 예측되므로, 고유한 행동 역량을 측정함을 시사합니다.
2. 선제성은 인간이 선호합니다: ProactBench 가 정의하고 측정하는 특정 선제적 행동은 단순한 "간호사 스타일의 과도한 간섭"이 아니라, 구체적인 공개된 세부사항에 근거할 때 인간 평가자에 의해 진정으로 선호됩니다.
3. 격차는 인지적일 뿐만 아니라 행동적입니다: 모델 간 RECOVERY 성능의 변이는 현재 최첨단 모델들이 정렬 데이터에 의해 주도될 가능성이 높은 '정책' 측면에서 주도성에 차이가 있음을 시사하며, 근본적인 추론 능력 부족 때문은 아닙니다.

본 논문은 ProactBench 가 이 특정 행위를 위한 역량 탐침 (probe) 으로 기능하며, 모든 맥락에서 최대한 선제적으로 되도록 모델을 훈련시키는 대신, 언제 주도성이 환영받는지 가르치기 위한 보상 모델링 및 선호도 학습의 기반을 제공한다고 결론지었습니다.