The PROPER Approach to Proactivity: Benchmarking and Advancing Knowledge Gap Navigation

1. 문제 정의 (Problem Definition)

기존의 대화형 에이전트는 사용자의 명시적 요청에 반응하는 '질문 - 응답 (Ask-and-Respond)' 패러다임에 머물러 있습니다. 이를 넘어선 '선제적 (Proactive)' 에이전트들은 사용자의 필요를 예측하려 시도하지만, 현실에서는 다음과 같은 한계를 보입니다:

• 과도한 명확화 질문: 사용자를 귀찮게 하거나 불필요한 질문을 던짐.
• 맥락 기반 추론의 실패: 관찰 가능한 맥락만 기반으로 과도하게 추론하여 타이밍이 맞지 않거나 의도와 다른 개입을 함.
• 지식 격차 (Knowledge Gaps) 모델링 부재: 사용자가 인지하지 못하는 '알지 못하는 미지 (Unknown Unknowns)'를 체계적으로 식별하지 못해, 작업 결과가 불완전하거나 최적화되지 않음.

이러한 문제의 핵심은 사용자의 지식 격차 (Task-relevant considerations that lie outside the user's awareness) 를 명시적으로 모델링하고, 이를 적절히 개입할지 말지 보정 (Calibration) 하는 메커니즘이 없다는 점입니다.

2. 제안 방법론: PROPER 프레임워크

저자들은 선제적 도움을 사용자의 지식 격차에 대한 보정 문제 (Calibration Problem) 로 재정의하고, 이를 해결하기 위해 PROPER라는 모듈형 에이전트 아키텍처를 제안합니다. 핵심 개념은 '차원 (Dimensions)' 으로, 작업 완수에 필요한 구조화된 고려 사항들을 의미합니다.

PROPER 는 크게 세 단계로 구성됩니다:

가. 차원 생성 에이전트 (DGA: Dimension Generating Agent)

• 역할: 사용자의 명시적 입력 (쿼리, 대화 이력) 에서 명시적 차원 (Explicit Dimensions) 을 추출하고, 학습된 도메인 지식을 바탕으로 암시적 차원 (Implicit Dimensions) 을 생성합니다.
• 학습 방식: 성공적인 상호작용 데이터 (사용자 명시적 차원 + 시스템이 다룬 차원) 로 미세 조정 (Fine-tuning) 된 LLM 을 사용합니다. 이를 통해 DGA 는 사용자가 언급하지 않았지만 작업 수행에 필수적인 요소 (예: 의료 질문 시 '기저질환', 코딩 질문 시 '시간 복잡도 제약') 를 예측합니다.
• 출력: 잠재된 지식 격차를 나타내는 차원 후보군과 해당 확률 (신뢰도).

나. 사후 보정 재순위화기 (Post-hoc Calibrated Reranker)

• 역할: DGA 가 생성한 모든 차원을 무작위로 반영하는 것이 아니라, 사용자의 의도와 충돌하지 않으면서 가장 필요한 차원만 선택적으로 활성화합니다.
• 최적화 목표 (Eq. 7):
  1. 품질 (Quality): DGA 의 신뢰도가 높은 차원 우선.
  2. 명시적 요구 정렬 (Unmet Explicit Alignment): 시스템이 아직 다루지 않은 사용자의 명시적 요구와 의미적 유사성이 높은 차원 우선.
  3. 다양성 (Implicit Diversity): 선택된 차원 간의 중복을 최소화하여 포괄적인 커버리지를 확보.
• 제약: 개입의 정도를 조절하는 예산 ($k$) 을 통해 과도한 선제적 행동을 방지합니다.

다. 응답 생성 에이전트 (RGA: Response Generating Agent)

• 역할: 기본 응답 (Baseline Response) 을 바탕으로, 재순위화기를 통해 선별된 차원들을 선택적으로 통합하여 최종 응답을 생성합니다.
• 전략:
  • 사용자의 의도와 기본 응답 구조를 유지하면서, 필요한 정보만 추가합니다.
  • 암시적 차원 (지식 격차) 을 다룰 때는 맥락이 명확할 때만 포함하고, 불확실한 경우 최대 1 개의 명확화 질문만 허용합니다.
  • 도메인별 (의료, 코딩, 추천) 프롬프트를 통해 선제성의 수준을 조절합니다.

3. 주요 기여 (Key Contributions)

1. 선제성의 보정 문제 형식화: 사용자의 지식 격차에 대한 무분별한 개입이 아닌, 선택적 개입 (Selective Intervention) 을 강조하는 보정 문제로 선제적 도움을 정의했습니다.
2. 차원 기반 표현 (Dimension-based Representation): 사용자의 명시적 쿼리를 넘어선 작업 관련 고려 사항을 '차원'으로 표현하여, 지식 격차를 명시적으로 모델링할 수 있게 했습니다.
3. 모듈형 아키텍처 (PROPER): 지식 격차 발견 (DGA) 과 응답 생성 (RGA) 을 분리하여, 개인화와 선제성 사이의 균형을 잡는 구조를 제안했습니다.
4. 지식 격차 인식 평가 프레임워크: 단순 정확도가 아닌, 커버리지 (Coverage), 개입의 적절성 (Initiative Appropriateness), 의도 정렬 (Intent Alignment) 을 측정하는 새로운 평가 기준을 개발하고 적용했습니다.

4. 실험 결과 (Results)

저자들은 의료 (Medical), 코딩 (Code-Contests), 추천 (PWAB) 도메인에서 PROPER 를 평가했습니다.

• 성능 향상:
  • 단일 턱 평가: 모든 도메인에서 베이스 LLM (LLaMA-8B, Qwen-8B) 대비 최대 84% 의 승률 (Win Rate) 향상을 기록했습니다.
  • 의료 도메인: 숨겨진 위험, 제약 조건, 사용자 요구사항이 중요한 의료 분야에서 가장 큰 성능 향상을 보였습니다 (GPT-4 를 능가함).
  • 코딩 도메인: 해결책이 명확하게 정의된 작업에서는 개선 폭이 상대적으로 작았으나, 여전히 베이스 모델보다 우세했습니다.
• 구성 요소 분석 (Ablation Study):
  • DGA 를 제거할 경우 성능이 가장 크게 저하되어, 잠재적 지식 격차를 식별하는 능력이 시스템의 핵심임을 입증했습니다.
  • 재순위화기 (Reranker) 가 없으면 과도한 정보 제공으로 인해 성능이 감소했습니다.
• 다중 턱 대화 (Multi-turn): 12 개의 시뮬레이션된 다중 턱 대화에서 PROPER 는 대부분의 경우 (의료 11/12, 코딩 9/12, 쇼핑 12/12) 베이스 모델보다 선호되었습니다. 이는 시간이 지남에 따라 적절한 선제성을 유지함을 의미합니다.
• Chain-of-Thought (CoT) 대비 우위: CoT 프롬프팅을 적용한 베이스 모델보다 PROPER 가 일관되게 우수한 성능을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 선제적 AI 에이전트의 패러다임을 '반응형'에서 '지식 격차 탐색형'으로 전환시켰다는 점에서 의미가 있습니다.

• 지식 격차의 명시적 모델링: 사용자가 인지하지 못하는 '알지 못하는 미지 (Unknown Unknowns)'를 구조화된 '차원'으로 포착하여, 에이전트가 사용자의 인지적 한계를 보완할 수 있게 했습니다.
• 보정된 선제성: 무분별한 정보 제공을 지양하고, 사용자의 의도와 맥락에 맞춰 적절한 시기에 적절한 정보를 제공하는 '보정 (Calibration)' 메커니즘을 통해 사용자 신뢰와 상호작용 품질을 높였습니다.
• 실용적 적용 가능성: 의료, 쇼핑, 코딩 등 다양한 도메인에서 검증된 모듈형 구조는 실제 고위험 (High-stakes) 환경이나 복잡한 의사결정 지원 시스템에 적용 가능한 기초를 제공합니다.

결론적으로, PROPER 는 에이전트가 단순히 질문에 답하는 것을 넘어, 사용자의 지식 공백을 식별하고 보충함으로써 더 완성도 높은 작업 결과를 도출하는 새로운 방향성을 제시합니다.