기술 요약: 협력적 시뮬레이터를 넘어 (페르소나 정책)

문제 제기

대형 언어 모델 (LLM) 에이전트가 다양한 인간 사용자와 상호작용이 필요한 환경에서 점점 더 많이 배포되고 있습니다. 그러나 현재 평가 벤치마크는 LLM 기반 사용자 시뮬레이터에 크게 의존하고 있는데, 이는 치명적인 "Sim2Real(시뮬레이션에서 현실로)" 간극으로 고통받고 있습니다. 즉, 이러한 시뮬레이터는 본질적으로 협력적이고 일관되며 정보를 과도하게 제공하기 때문입니다. 반면 실제 사용자는 인내심 부족, 회의론, 모호함, 데이터 공유를 꺼리는 등 예측 불가능한 행동을 보입니다. 이러한 행동의 동질성은 시뮬레이션에서는 견고해 보이는 에이전트를 만들어내지만, 실제 세계의 의사소통 마찰에 직면하면 실패하게 만듭니다. 다양성을 도입하기 위한 기존 방법들은 종종 수동으로 제작된 페르소나나 고정된 특성 샘플링에 의존하는데, 이는 실제 인간 행동의 복잡하고 작업 기반인 분포를 포착하지 못합니다.

방법론: 페르소나 정책 (PPol)

저자들은 기존 벤치마크 작업이나 보상을 변경하지 않고 사용자 시뮬레이터에서 현실적인 행동 변이를 유도하도록 설계된 플러그 앤 플레이 제어 계층인 **페르소나 정책 (PPol)**을 소개합니다. 핵심 혁신은 페르소나 생성을 수동 프롬프트 엔지니어링이 아닌 진화적 프로그램 검색으로 프레임하는 것입니다.

1. 진화 가능한 생성기

시스템은 유전자형으로 Python 프로그램 $G$를 활용합니다. 이 프로그램은 주어진 작업 컨텍스트 $c_t$에 대해 $N$개의 페르소나 정책 집합을 생성하는 역할을 합니다. 생성 과정은 두 단계로 이루어집니다.

• 집단 생성: 프런티어 LLM 이 $N$개의 서로 다른 행동 프로파일을 공동으로 제안하며, 행동 축 (Behavioral Axes, $D$) 집합에 이진 값을 할당합니다. 이러한 축들은 "고집 세기", "산만함", "부정확함"과 같은 구체적인 행동 차원을 나타냅니다.
• 페르소나 확장: 각 프로파일은 원래 작업 목표를 유지하면서 사용자가 어떻게 의사소통하는지 (톤, 템포, 정보 공개) 규정하는 상세하고 작업 보존적인 역할극 지침 (정책 $P_\pi$) 으로 확장됩니다.

2. 다목적 최적화

생성기는 OpenEvolve(진화적 코딩 에이전트) 를 사용하여 최적화됩니다. 후보 생성기는 행동 지문(19 가지 어휘 및 상호작용 수준 특징) 에서 파생된 두 가지 주요 목표에 따라 평가됩니다.

• 인간 유사성 ($P_{human}$): 훈련된 랜덤 포레스트 판별기에 의해 측정되며, 이 판별기는 궤적이 실제 인간 데이터인지 기본 시뮬레이터 데이터인지 분류합니다.
• 행동 커버리지 ($B_{cover}$): 생성된 페르소나의 지문 분포와 실제 인간 대화의 참조 클라우드 사이의 Chamfer 거리를 사용하여 측정됩니다. 이는 집단이 단일 고정관념적 스타일로 수렴하는 것이 아니라 인간 행동의 다양한 영역을 포괄하도록 보장합니다.

적합도 점수는 이러한 지표들의 가중치 조합입니다: $M(G; T) = \lambda_h P_{human} + \lambda_b B_{cover}$.

3. 반성 기반 돌연변이

진화적 검색을 안내하기 위해 시스템은 반성 메커니즘을 사용합니다. 별도의 모델이 최상위 및 최하위 궤적의 적합도 점수와 대화 발췌문을 분석하여 자연어 비판을 생성합니다. 이러한 반성들은 "과도하게 협력적임", "부자연스러운 역할극"과 같은 구체적인 실패 모드를 식별하며, 생성기의 코드, 프롬프트, 축 정의를 정제하기 위해 돌연변이 에이전트에 피드백됩니다.

주요 기여

1. 플러그 앤 플레이 제어 계층: PPol 은 시스템 프롬프트에 동적 정책을 추가하여 표준 사용자 시뮬레이터에 현실적인 행동 다양성을 주입함으로써 기존 벤치마크 작업의 무결성을 유지합니다.
2. 자동화된 진화 프레임워크: 이 논문은 페르소나 생성을 자동화된 검색 문제로 공식화하여 수동 개입 없이 다양하고 인간과 유사한 행동을 발견하며, 정적 프로파일 샘플링을 넘어섭니다.
3. 종단간 검증: 이 프레임워크는 시뮬레이터 - 인간 간극을 축소하고, 블라인드 평가에서 인간과 구별할 수 없는 페르소나를 생성하며, 훈련에 사용될 때 에이전트의 견고성을 크게 향상시키는 것으로 검증되었습니다.

결과

저자들은 세 가지 다른 사용자 시뮬레이터 백엔드 (DeepSeek-V3.1, Qwen3-Next-80B, GPT-5.4-Mini) 를 사용하여 $\tau^2$-벤치 리테일 및 항공 분야에서 PPol 을 평가했습니다.

• 적합도 향상: 진화된 PPol 프로그램은 기본 시뮬레이터 대비 결합 적합도 점수에서 33~62% 의 절대적 향상을 달성했습니다.
• 인간 평가: 인간 주석가를 대상으로 한 블라인드 연구에서 PPol 조건부 사용자는 **80.4%**의 비율로 인간으로 평가되었으며, 실제 인간 궤적 (95.3%) 과 거의 일치하고 기본 시뮬레이터 (46.5%) 를 크게 능가했습니다.
• 행동 정렬: PPol 은 기존 시뮬레이터가 이전에 실패했던 clarification 행동 (D3) 및 오류 반응 (D4) 과 같은 상호작용 차원에서 정렬을 획기적으로 개선했습니다. 예를 들어, Qwen3 를 사용한 리테일 도메인에서 오류 반응에 대한 정렬은 23.3% 에서 76.4% 로 3 배 증가했습니다.
• 에이전트 견고성: PPol 로 생성된 상호작용으로 파인튜닝된 에이전트는 기본 시뮬레이션 상호작용만으로 훈련된 에이전트와 비교하여 회의적, 비일관적, 인내심 부족과 같은 도전적인 분포 외 사용자 특성에 대해 테스트되었을 때 작업 성공률에서 +17% 의 상대적 향상을 보였습니다.

중요성 및 주장

이 논문은 PPol 이 기본 작업이나 보상 구조의 변경 없이 시뮬레이터 기반 평가 및 훈련을 강화하는 새로운 접근법을 제공한다고 주장합니다. 수동 제작된 특성에서 실제 인간 행동 분포에 기반한 진화적 검색으로 전환함으로써, 이 프레임워크는 현재 에이전트 평가를 괴롭히는 "협력적 시뮬레이터" 편향을 해결합니다. 저자들은 에이전트가 복잡한 사회적 배포로 전환됨에 따라, 벤치마크 결과가 현실에 대한 의미 있는 대리 지표로 남도록 인간 상호작용 패턴의 전체 스펙트럼과 사용자 시뮬레이터를 정렬하는 것이 필수적이라고 주장합니다. 이 연구는 진화된 페르소나를 통한 도메인 무작위화가 실제 세계 사용자의 예측 불가능성에 대해 더 견고한 에이전트를 훈련시키기 위한 강력한 신호로 작용할 수 있음을 보여줍니다.