Reinforcing Human Behavior Simulation via Verbal Feedback

기술 요약: 언어적 피드백을 통한 인간 행동 시뮬레이션 강화

문제 제기
현재 인간 행동에 대한 대규모 언어 모델 (LLM) 시뮬레이터들은 체계적인 "Sim2Real(시뮬레이션에서 현실로)" 격차로 고통받고 있으며, 동질적인 출력, 불일치하는 인지적 편향, 그리고 실제 사용자와는 동떨어진 초인적인 행동을 보입니다. 주요 한계점은 학습 패러다임에 있습니다. 표준 강화 학습 (RL) 방법들 (예: RLHF, DPO, GRPO) 은 모든 피드백을 스칼라 보상 또는 이진 선호도로 압축합니다. 검증 가능한 정확성이 필요한 영역 (예: 코드, 수학) 에서는 효과적이지만, 스칼라 보상은 주관적이고 다면적이며 맥락에 의존적인 인간 행동 시뮬레이션에 필요한 뉘앙스를 포착하지 못합니다. 인간은 점수가 아닌 언어적 피드백—설명, 교정, 대화—을 통해 사회적 규범을 학습합니다. 언어적 피드백을 통합하려는 기존 접근법들은 종종 지도 학습 미세 조정 (SFT) 또는 추론 시 반성에 의존하여, RL 의 탐색 능력을 갖추지 못하거나 경험으로부터 모델 가중치를 효과적으로 업데이트하지 못합니다.

방법론: DITTO
저자들은 DITTO를 제안합니다. 이는 강화 학습 프레임워크 내에서 언어적 피드백을 1 급 신호로 취급하여 학습된 모델입니다. 핵심 혁신은 피드백 조건부 개선을 생성하고 이를 기본 정책과 함께 최적화하는 학습 루프로, 모델이 추론 시 피드백이 필요하지 않도록 가이드를 내면화할 수 있게 합니다.

주어진 프롬프트 $x$에 대한 학습 과정은 다음과 같습니다:

1. 초안 롤아웃: 정책 $\pi_\theta$가 초기 응답 $y_0$를 생성합니다.
2. 피드백 생성: LLM 심판이 $y_0$를 평가하여 스칼라 보상 $r_0$와 구조화된 언어적 피드백 $h$(신뢰성, 관계 유지, 목표 달성 등의 차원에 대한 비판과 성찰 포함) 를 생성합니다.
3. 정제된 롤아웃: 정책은 프롬프트와 피드백 ($x, h$) 을 조건으로 하여 두 번째 응답 $y_1$을 생성합니다.
4. 공동 최적화: $y_0$와 $y_1$ 모두 **그룹 상대 정책 최적화 (GRPO)**를 사용하여 최적화됩니다.
   • 원본 및 정제된 롤아웃 집합에 대해 그룹 상대 이득이 계산됩니다.
   • 기본 정책이 개선 사항에서 학습하도록 장려하기 위해 공동 그룹에 표준 클립된 GRPO 목적 함수 ($L_{group}$) 가 적용됩니다.
   • 모델이 피드백에 직접 대응하는 능력을 향상시키기 위해 피드백 조건부 롤아웃에 대해 추가 목적 함수 ($L_{fb}$) 가 적용됩니다.
   • 최종 손실은 $L = L_{group} + L_{fb}$입니다.

중요하게도, 언어적 피드백 $h$는 특권 정보로 취급됩니다. 이는 $y_1$의 생성과 정책 최적화를 안내하기 위해 학습 중에 사용되지만, 추론 시에는 필요하지 않습니다. 목표는 기본 정책이 개선된 $y_1$과 같은 "교사" 행동을 표준 생성 과정 내면화하는 것입니다.

SOUL 벤치마크
학습 및 평가를 촉진하기 위해 저자들은 SOUL(Simulation gym Of hUman-Like behavior, 인간과 유사한 행동의 시뮬레이션 체육관) 을 도입했습니다. 이는 통합된 벤치마크이자 학습 데이터 세트입니다. SOUL 은 6 가지 범주의 10 가지 작업에 대한 큐레이션된 RL 학습 분할을 제공함으로써 인간 시뮬레이션을 위한 학습 데이터 부족이라는 병목 현상을 해결합니다:

• 마음 이론: FanToM, HiToM, ToMi.
• 캐릭터 역할극: CoSER, LifeChoices.
• 사회적 기술: Sotopia.
• 학습자 시뮬레이션: Mistakes.
• 사용자 시뮬레이션: MirrorBench, UserLLM.
• 페르소나 시뮬레이션: TwinVoice.

이 세트는 판별식 (다중 선택), 생성식 (개방형 대화), 그리고 다중 턴/다중 에이전트 상호작용 포맷을 모두 포괄합니다.

주요 결과
실험은 Qwen3-8B 기본 모델을 사용하여 수행되었습니다.

• 성능: DITTO 는 SOUL 작업 전반에 걸쳐 평균 정규화 점수 0.726을 달성하여 기본 모델 대비 36% 개선을 보였습니다.
• 최첨단 모델과의 비교: DITTO 는 10 개 벤치마크 중 6 개에서 최전선 폐쇄형 소스 모델인 GPT-5.4를 능가했으며, 이는 세 가지 마음 이론 작업과 두 가지 사용자 시뮬레이션 작업을 모두 포함합니다. 또한 전문 인간 시뮬레이션 베이스라인 (예: Sotopia-RL, HER) 을 일관되게 능가했습니다.
• 애블레이션: 언어적 피드백 메커니즘은 표준 GRPO 대비 일관된 향상을 제공했으며, 특히 생성식 및 다중 턴 작업에서 가장 큰 개선이 관찰되었습니다 (예: TwinVoice 에서 +14 점, ToMi 에서 +11 점).
• 안전성: 분석 결과, 언어적 피드백이 안전 위험을 완화하는 데 도움이 되었음을 보여주었습니다. 표준 GRPO 는 최적화 과정에서 "비밀 유지" 차원에서 성능이 저하되었지만, DITTO 는 언어적 피드백에서 제공된 명시적 가이드 덕분에 비밀을 유지하는 능력을 더 잘 보존했습니다.

의의 및 주장
본 논문은 스칼라 보상을 넘어 더 풍부하고 언어적인 피드백으로 이동하는 것이 더 인간과 유사한 시뮬레이터를 학습시키는 유망한 방향이라고 주장합니다. 이 작업의 의의는 다음 세 가지 주요 기여에 있습니다:

1. 신호로서의 언어적 피드백: 언어적 피드백이 스칼라 보상에 비해 학습 속도를 향상시키고 비밀 유출과 같은 안전 위험을 줄이는 실행 가능하고 차원별 가이드를 제공함을 입증합니다.
2. DITTO 아키텍처: 피드백 조건부 롤아웃을 통해 언어적 피드백을 기본 정책으로 증류하는 방법을 도입하여, 8B 모델이 더 크고 폐쇄형 소스 모델과 맞먹거나 능가하는 상당한 성능 향상을 달성합니다.
3. SOUL 벤치마크: 다양한 작업 포맷에 걸쳐 인간과 유사한 행동을 위한 최초의 통합 학습 및 평가 환경을 제공하여, 이 분야의 중요한 학습 데이터 부족 문제를 해결합니다.

저자들은 그들의 접근 방식이 기본 정책이 풍부하고 실행 가능한 가이드를 내면화할 수 있게 하여, 언어적 피드백을 통한 강화 학습이 인간 행동 시뮬레이션에서 Sim2Real 격차를 해소하는 실현 가능한 길임을 시사한다고 결론지었습니다.