기술 요약: RECON: 사용자 모델링을 위한 재구성 유도 추론 합성

문제 정의

사용자 모델링은 언어 모델 (LM) 을 사용하여 과거 맥락–행동 쌍을 기반으로 행동 (예: 대화 턴) 을 예측함으로써 개별 사용자 행동을 시뮬레이션하는 것을 목표로 합니다. 최근 접근법들은 합성된 추론 흔적을 이러한 코퍼스에 추가하여 일반화 능력을 향상시키려 시도합니다. 그러나 기존 방법들은 일반적으로 **사후 합리화 (post-hoc rationalization)**에 의존하는데, 이는 모델이 맥락과 정답 행동 모두에 조건을 부여하여 추론 흔적을 생성하는 방식입니다.

저자들은 이 접근법이 사용자 모델링에 근본적으로 결함이 있다고 주장합니다. 이러한 흔적들은 관찰된 행동을 정당화하도록 보장되지만, 종종 논리적 도약이나 임의적 결정을 포함하여 근본적인 잠재적 인과적 결정 경로를 인코딩하지 못합니다. 개방형 자연어 환경에서 합리화는 특정 행동과 일관될 수 있음 (예: "목이 말라서" 오렌지 주스를 주문하는 것을 정당화) 하지만 구체적인 선택을 설명하지는 못합니다 (예: "오렌지 주스를 좋아해서" vs "물"). 결과적으로 이러한 흔적들은 사용자의 진정한 잠재적 추론 ($r^*$) 을 포착하지 못하여 하류 예측에 대한 유용성이 제한됩니다. 또한, 단순한 거부 샘플링 (올바른 행동을 생성할 때까지 추론을 생성) 은 고차원적이고 자유 형식의 자연어 공간에서는 실현 불가능합니다.

방법론: RECON

사후 합리화와 진정한 추론 사이의 간극을 해소하기 위해, 저자들은 RECON(Reconstruction-Guided Reasoning Synthesis, 재구성 유도 추론 합성) 을 제안합니다. 핵심 통찰은 유용한 추론은 단순히 사전 결정된 결과를 정당화하는 것이 아니라, 맥락에서 행동을 자연스럽게 유도해야 한다는 것입니다. RECON 은 후보 추론 흔적들을 **행동 재구성 충실도 (action reconstruction fidelity)**에 따라 평가합니다.

RECON 파이프라인은 다음과 같이 작동합니다:

1. 후보 생성: 맥락 $c$와 정답 행동 $a^*$가 주어지면, 추론 모델 $M_r$이 $N$개의 후보 추론 흔적 $\{\hat{r}_i\}$을 생성합니다. 이들은 표준 합리화와 유사하게 $(c, a^*)$에 조건을 부여하여 초기화됩니다.
2. 행동 재구성: 행동 모델 $M_a$는 정답 행동 없이 맥락 $c$와 후보 추론 흔적 $\hat{r}_i$를 프롬프트로 받아 재구성된 행동 $\hat{a}_i = M_a(c, \hat{r}_i)$를 생성합니다.
3. 점수 매기기: $\hat{r}_i$의 품질은 재구성된 행동 $\hat{a}_i$와 정답 행동 $a^*$ 간의 정합성으로 결정됩니다. 이는 LM 판정자가 스타일, 의도, 가치라는 세 가지 차원에서 평가합니다.
4. 적용: 재구성 점수는 두 가지 방식으로 활용됩니다:
   • RECON-Select(학습 불필요): 이 방법은 여러 후보를 샘플링하여 재구성 정합 점수가 가장 높은 것을 선택하여 인-컨텍스트 학습을 위한 검색 코퍼스를 보강합니다.
   • RECON-GRPO(학습 기반): 재구성 정합 점수는 그룹 상대 정책 최적화 (GRPO) 를 사용하여 추론 합성기를 훈련시키기 위한 보상 신호로 작용합니다. 여기서 추론 모델 $M_r$은 고정된 행동 모델 $M_a$에 대한 "고문" 역할을 하며, 정확한 행동 재구성을 촉진하는 추론 흔적을 생성하도록 학습합니다.

주요 기여

1. RECON 프레임워크: 사용자 모델링에서 합성된 추론을 평가하기 위해 거부 샘플링의 처리 가능한 대리 변수로 행동 재구성을 사용하는 방법론을 도입했습니다.
2. 이중 합성 전략: 학습 불필요 선택 (RECON-Select) 과 학습 기반 최적화 (RECON-GRPO) 를 통해 RECON 의 효과성을 입증했습니다.
3. 이전 가능성과 해석 가능성: RECON 을 통해 합성된 추론 흔적들이 서로 다른 모델 계열 간에 이전 가능하며, 합성 과정에서 사용된 특정 재구성 모델 이상의 사용자 모델링 성능을 향상시킨다는 증거를 제시했습니다.

실험 결과

저자들은 미국 연방대법원 구두 변론, 영국 총리 질의응답 (PMQ), 팟캐스트, Reddit 대화 등 네 가지 도메인에서 RECON 을 평가했습니다. 평가는 행동 모델이 보강된 맥락–행동 쌍을 사용하여 사용자 응답을 예측하는 검색 증강 생성 (RAG) 파이프라인을 포함했습니다.

• 기선 대비 성능: RECON-Select 는 표준 역방향 합성 (Backward Synthesis) 기선 (사후 합리화) 보다 일관되게 우수한 성과를 보였습니다.
  • Qwen3-8B를 사용할 때, RECON-Select 는 전체 승률 **54.7%**를 달성했습니다.
  • GPT-5-mini를 사용할 때, RECON-Select 는 전체 승률 **53.5%**를 달성했습니다.
  • 반면, E2E-GRPO 기선 (행동 정확도를 위해 추론과 행동을 직접 생성하도록 모델을 훈련) 은 **38.4%**의 승률로 부진한 성과를 보였으며, 이는 행동 정확도만을 최적화하는 것이 이전 가능한 추론을 산출하지 못함을 시사합니다.
• RECON 보상을 통한 학습: RECON-GRPO 를 사용하여 추론 모델을 훈련했을 때 승률이 크게 향상되어 최대 **70.0%**에 도달했습니다 (특히 PMQ 도메인에서 Qwen3-4B 와 같은 소형 모델의 경우).
• 모델 간 이전: 추론 모델과 행동 모델을 교체하는 실험 (예: GPT-5-mini 추론과 Qwen3-8B 행동 생성 사용) 에서 RECON-Select 추론 흔적들이 여전히 유용함을 보여주었으며, 승률 **52.4%**를 기록했습니다. 이는 이 방법이 모델 고유의 인공물이 아닌 잠재적 사용자 특성을 회복함을 나타냅니다.
• 차원 분석: 스타일, 의도, 가치 전반에 걸쳐 개선이 일관되게 나타났으며, 이는 RECON 이 표면적 언어 패턴뿐만 아니라 고차원 사용자 특성을 포착함을 시사합니다.

중요성과 주장

본 논문은 사용자 모델링에서 추론 합성을 위해 사후 합리화만으로는 부족하다고 주장합니다. 저자들은 유용하고 해석 가능한 추론은 행동과의 표면적 일관성이 아니라, 맥락에서 관찰된 행동을 자연스럽게 유도하는 인과적 결과에 의해 평가되어야 한다고 주장합니다.

RECON 은 이 원칙의 "처리 가능한 구체화"를 제공합니다. 행동을 성공적으로 재구성하는 추론을 우선시함으로써, 이 방법은 사용자의 잠재적 추론 과정 ($r^*$) 을 더 잘 근사하는 흔적을 생성합니다. 결과는 이 접근법이 통제된 선호도 레이블에 의존하지 않고도 노이즈가 많고 고차원인 자연어 환경에서 사용자 시뮬레이션의 충실도를 향상시켜, 더 해석 가능하고 예측력 있는 사용자 모델로 가는 길을 제시함을 시사합니다. 저자들은 재구성 단계의 계산 비용과 RECON 이 여전히 정답 행동에 조건을 부여한 합리화에 작동한다는 한계를 지적하며, 맥락에만 조건을 부여한 추론 생성을 향후 연구 방향으로 남겼습니다.