기술 요약: 의도 인식 개인화 질문 응답을 위한 강화 학습을 통한 LLM 학습

문제 정의

개인화 질문 응답 (PQA) 은 사용자의 특성에 맞는 응답을 생성하는 것을 목표로 하며, 이는 명시적인 문장 너머의 질문 뒤에 숨겨진 사용자의 근본적인 의도, 즉 암묵적인 "왜"를 응답과 정렬시키는 작업을 요구합니다. 기존 접근 방식은 다회차 대화 맥락이나 풍부한 사용자 프로필을 활용하지만, 추론 과정에서 사용자의 의도를 명시적으로 모델링하지 못하는 경우가 많습니다. 이러한 한계는 모델이 최소한의 입력으로부터 잠재적 목표를 추론하고 이를 사고 과정에 통합해야 하는 단회차 설정에서 특히 심각합니다. 현재 방법들은 일반적으로 추론 시 의도를 추론하기 위해 프롬프팅에 의존할 뿐, 이를 모델의 학습 목표나 추론 궤적에 통합하지 않으며, 의도 없는 응답의 역할을 간과하는 경향이 있어, 일관성은 있을지라도 사용자의 특정 요구와 정렬되지 않은 일반적인 출력을 초래합니다.

방법론: IAP 프레임워크

저자들은 단일 회차 질문에서 암묵적인 사용자 의도를 추론하고 이를 응답 생성 전 추론 과정에 통합하도록 대규모 언어 모델 (LLM) 을 학습시키기 위해 설계된 IAP(의도 인식 개인화, Intent Aware Personalization) 라는 강화 학습 (RL) 프레임워크를 제안합니다.

1. 구조화된 추론 스키마

IAP 는 생성 과정을 구조화하기 위해 태그 기반 스키마를 활용하여, 최종 응답이 생성되기 전에 잠재적 목표를 명시화합니다. 주어진 입력 질문 $x_i$에 대해 모델은 다음을 포함하는 구조화된 출력을 생성합니다:

• <thought>: 질문에 대한 내부 추론.
• <intent>: (예: 실용적 안내 대 감정적 지지 추구) 후보 잠재 의도에 대한 번호가 매겨진 목록.
• <thought>: 추론된 의도에 명시적으로 조건을 부여하여 응답을 계획하는 두 번째 추론 단계.
• <answer>: 최종 개인화된 응답.

2. DAPO 를 통한 최적화

이 프레임워크는 Decoupled Clip and Dynamic sAmpling Policy Optimization(DAPO) 을 사용합니다. 각 학습 인스턴스에 대해 정책은 $G$개의 롤아웃 (잠재 의도 궤적) 그룹을 샘플링합니다. 정책은 응답 궤적의 품질을 평가하는 개인화된 보상 함수를 사용하여 최적화됩니다.

3. 개인화된 보상 함수

핵심 혁신은 보상 설계에 있으며, 이는 세 가지 가중치 구성 요소로 이루어집니다:

• 개인화된 보상 ($r_{pers}$): LaMP-QA 평가 지표를 기반으로 하며, 고정된 LLM 판정자 (Qwen2.5-32B-Instruct) 를 사용하여 사용자별 평가 항목 (예: 근본적인 요구와 목표에 대한 대응) 에 대해 생성된 응답을 점수화합니다.
• 대조적 의도 없는 보상 ($r_{contrast}$): 일반적인 생성을 억제하기 위해, 프레임워크는 고정된 참조 모델을 사용하여 의도 없는 응답($\bar{y}_i$) 을 생성합니다. 이 보상은 정책의 의도 인식 응답이 BERTScore 를 통해 의도 없는 응답과 의미적으로 유사하거나 개인화 품질 측면에서 이를 능가하지 못할 경우 패널티를 부과합니다. 이는 모델이 비맥락화 기준선과 출력을 구별하도록 강제합니다.
• 의도 길이 정규화 ($r_{length}$): <intent> 태그 내의 간결한 표현을 장려하기 위해 장황한 의도 설명을 억제하는 패널티 항입니다.

총 보상은 다음과 같이 계산됩니다:
$$r_{i,g} = \lambda_1 r_{pers} - \lambda_2 r_{contrast} - \lambda_3 r_{length}$$

주요 기여

1. IAP 프레임워크: 추론 시 프롬프팅에만 의존하는 것이 아니라, 태그 기반 스키마를 통해 단일 회차 입력에서 암묵적인 사용자 의도를 추론하고 이를 추론 과정에 통합하도록 LLM 을 학습시키는 RL 기반 프레임워크 도입.
2. 대조적 보상 메커니즘: 학습 중 의도 인식 응답과 의도 없는 기준선을 명시적으로 대조하는 보상 함수 개발. 이 설계는 일반적인 생성을 억제하고 모델이 사용자 의도에 민감한 출력을 생성하도록 유도합니다.
3. 포괄적인 평가: LaMP-QA 벤치마크에서 여섯 개의 LLM(Qwen2.5, Gemma3, Mistral-Small) 을 대상으로 한 광범위한 평가를 통해 강력한 기준선 대비 일관된 개선을 입증.

실험 결과

저자들은 예술 및 엔터테인먼트, 라이프스타일 및 개인 개발, 사회 및 문화라는 세 가지 도메인을 포함하는 LaMP-QA 데이터셋에서 IAP 를 평가했습니다.

• 성능 향상: IAP 는 비개인화, 암묵적 의도 개인화 (CoT 프롬프팅), 명시적 의도 개인화, 그리고 지도 미세 조정 (SFT) 을 포함한 모든 기준선보다 일관되게 우수한 성능을 보였습니다.
• 정량적 개선: 여섯 개의 모델 전반에 걸쳐 IAP 는 가장 강력한 경쟁자 대비 평균 매크로 점수에서 약 **7.5%**의 개선을 달성했습니다.
• 통계적 유의성: 거의 모든 모델과 도메인에서 개선은 통계적으로 유의미했습니다 ($p < 0.01$).
• 애블레이션 연구:
  • 의도 품질: 추론된 <intent> 를 의도 없음이나 무작위 의도로 대체하면 성능이 크게 저하되어, 추론된 의도 신호의 품질이 중요함을 확인했습니다.
  • 대조적 보상: 의도 없는 대조적 보상을 제거하면 일관된 성능 저하가 발생하여, 일반적인 응답에 대한 패널티의 필요성을 입증했습니다.
  • 의도 수: 추론된 의도의 수가 적을 때 (1~2 개) 성능이 가장 높았으며, 이는 과도한 의도 생성이 응답 품질을 복잡하게 만들 수 있음을 시사합니다.
  • 그룹 크기: 인스턴스당 5 개의 롤아웃 그룹 크기가 정책 최적화를 위한 최적의 균형을 제공했습니다.

중요성과 주장

본 논문은 학습 목표 내에서 암묵적인 사용자 의도를 직접 모델링하는 것이 PQA 를 위한 유망한 방향이라고 주장합니다. 결과는 다음과 같이 시사합니다:

• 의도를 외부 단서나 프롬프트로 취급하는 것보다 모델의 사고 과정에 통합하는 것 (태그 기반 스키마를 통해) 이 더 효과적입니다.
• 대조적 학습은 맥락상 일관성 있는 응답이 아닌 진정으로 개인화된 응답을 생성하도록 모델을 학습시키는 데 필수적입니다.
• 이 프레임워크는 풍부한 대화 이력이 없는 단회차 설정에서도 효과적이며, 의도 모델링과 실용적인 단일 회차 개인화 QA 간의 격차를 해소합니다.

저자들은 IAP 가 LLM 을 성공적으로 훈련시켜 사용자의 암묵적인 "왜"를 명시적으로 모델링함으로써, 근본적인 사용자 목표와 더 잘 정렬된 응답을 생성한다고 결론지었습니다.