기술 요약: 장문형 개인화 질의응답을 위한 사고의 경로 (Pathways of Thoughts)

문제 정의

본 논문은 개인화된 질의응답(Personalized Question Answering, QA), 특히 장문 콘텐츠 생성 맥락에서의 과제를 다룹니다. 개인화는 검색 및 추천 분야에서 활발히 연구되어 왔으나, QA 분야에서는 다음과 같은 두 가지 주요 어려움으로 인해 아직 미개척 영역으로 남아 있습니다:

1. 노이즈가 있는 컨텍스트로부터의 추론: 사용자의 선호도는 대개 암시적이며, 길고 노이즈가 많으며 구조화되지 않은 사용자 프로필(예: 과거 질문 및 내러티브)로부터 추론되어야 합니다.
2. 사용자 기대치와의 정렬: 사실적으로 정확한 응답이라 할지라도, 사용자의 특정 배경, 학습 스타일 또는 선호도와 일치하지 않는다면 만족을 줄 수 없습니다.

기존 방식들은 종종 사용자 데이터로 대규모 언어 모델(LLM)을 미세 조정(Fine-tuning)하는 데 의존합니다. 그러나 많은 LLM은 파라미터가 고정된 블랙박스 형태이며, 미세 조정에는 개별 사용자를 위한 상당한 계산 자원과 개인 데이터가 필요하기 때문에 이는 자주 불가능한 작업입니다. 따라서 저자들은 추가적인 모델 학습 없이도 개인화를 개선할 수 있는 **추론 단계 전략(inference-stage strategies)**에 집중합니다.

방법론: 사고의 경로 (Pathways of Thoughts, PoT)

저자들은 모든 LLM에 적용 가능한 범용 추론 단계 방법론인 **사고의 경로 (PoT)**를 제안합니다. PoT는 사고 과정을 반복적인 의사결정 과정으로 모델링하여, 모델이 최종 응답을 생성하기 전에 여러 추론 궤적을 탐색할 수 있도록 합니다.

1. 마르코프 결정 과정(MDP)으로서의 사고

PoT는 응답 생성을 LLM이 **에이전트(Agent)**이자 환경(Environment) 역할을 수행하는 MDP로 공식화합니다:

• 상태 ($S$): 상태는 사용자의 질문, 사용자 프로의 결합, 그리고 지금까지 생성된 일련의 행동 및 출력값으로 구성됩니다.
• 행동 ($A$): 에이전트는 각 단계에서 사전 정의된 인지 작업 집합 중 하나를 선택합니다. 여기에는 다음이 포함됩니다:
  • 계획(Planning): 질문을 해결하기 위한 단계별 계획 생성.
  • 추론(Reasoning): 질문의 특정 측면에 대해 단계별로 생각하기.
  • 개인화/개인화하기(Personalization/Personalizing): 개인화가 필요한지 확인하고 관련 사용자 컨텍스트 추출하기.
  • 명료화(Clarifying): 질문의 모호함 식별하기.
  • 요약(Summarizing): 가용 정보를 통합하기.
  • 답변/수정/완료(Answering/Revising/Finalizing): 응답 생성, 정교화 또는 결론 도출.
• 전이(Transition): LLM은 선택된 행동을 실행하고, 새로운 출력값으로 상태를 업데이트합니다. 이 루프는 "완료(finalize)" 행동이 선택되거나 최대 단계 제한($T$)에 도달할 때까지 지속됩니다.

2. 다방향 사고 (Multi-Directional Thinking)

단일하고 잠재적으로 최적이 아닌 추론 경로에 수렴하는 것을 방지하기 위해, PoT는 $N$개의 독특한 **사고 경로(thinking pathways)**를 생성합니다. 경로의 다양성은 두 가지 메커리즘을 통해 달성됩니다:

• 초기 상태 변형 (Initial State Alteration): 계획 단계에서 서로 다른 초기 컨텍스트를 만들기 위해 사용자 프로파일의 하위 집합을 무작위로 선택합니다.
• 계획 행동 변형 (Planning Action Variation): 동일한 초기 상태로부터 다양한 전략적 개요를 생성하기 위해 '계획(plan)' 행동 시 높은 샘플링 온도(temperature)를 사용합니다.

3. 응답 집계 (Response Aggregation)

$N$개의 경로가 $N$개의 후보 응답($R_{PoT}$)을 생성하면, 시스템은 이를 하나의 최종 응답($\hat{y}_u$)으로 집계합니다. 본 논문은 두 가지 집계 전략을 비교합니다:

• Best-of-N: 추출된 사용자 선호도를 바탕으로 후보들 중 단 하나의 최선 응답을 선택합니다.
• Mixture-of-N: 모든 후보 응답의 강점을 결합하여 새로운 응답을 합성합니다. 이 방식은 다양한 관점을 통합함으로써 인간의 문제 해결 과정을 모방합니다. 본 논문은 개방형 텍스트 생성에 있어 Mixture-of-N이 더 우수한 방법임을 확인했습니다.

집계 과정은 최종 출력이 특정 사용자의 요구에 부합하도록 보장하기 위해, LLM이 **중요 측면($I_u$)**을 추출하는 중간 단계를 거쳐 가이드됩니다.

주요 기여

1. 추론 단계의 개인화: 미세 조정 없이 개인화를 강화하는 방법을 도입하여, 블랙박스 모델이나 자원이 제한된 LLM에도 적용 가능하게 했습니다.
2. MDP 기반 추론 프레임워크: LLM을 의사결정자이자 인지 작업의 실행자로 취급하여 자유 형식의 텍text 생성에 마르코프 결정 과정(MDP)을 적용했습니다.
3. 다방향 탐색: 여러 추론 궤적을 탐색하고 이를 집계함으로써, 단일 추론 경로가 놓칠 수 있는 상호 보완적인 강점들을 포착합니다.
4. 포괄적인 평가: 예술 및 엔터테인먼트, 라이프스타일 및 자기 계발, 사회 및 문화라는 세 가지 다양한 도메인을 아우르는 LaMP-QA 벤치마크를 통해 접근법을 엄격하게 테스트했습니다.

실험 결과

실험은 백본 모델으로 Gemini 1.5 Pro와 GPT-4o-mini를 사용하여 수행되었습니다.

• 성능 향상: PoT는 모든 카테고리에서 경쟁력 있는 베이스라인들을 일관되적으로 능가했습니다.
  • 가장 성능이 좋은 베이스라인(CoT 및 Best-of-32를 포함한 인컨텍스트 개인화)과 비교했을 때, PoT는 평균적으로 10.8%의 상대적 개선을 달성했습니다.
  • 단일 추론 베이스라인과 비교했을 때, PoT는 7.2%의 상대적 개선을 보였습니다.
  • 결과는 t-검정을 통해 통계적으로 유의미했습니다 ($p < 0.05$).
• 절제 연구 (Ablation Studies):
  • 경로 길이 (Pathway Length): 성능은 동작 수가 8개($T=8$)에 도달할 때까지 향상되었으나, 그 이후에는 "과잉 사고(overthinking)"로 인해 하락했습니다.
  • 경로 수 (Number of Pathways): 경로의 수($N$)가 증가함에 따라 성능이 향상되었으나, $N$이 커질수록 한계 효용이 체감되었습니다.
  • 집계 (Aggregation): Mixture-of-N이 Best-of-N보다 일관되게 우수한 성능을 보였으며, 이는 다양한 응답을 합성하는 것이 단일 승자를 선택하는 것보다 높은 품질을 산출함을 확인시켜 줍니다.
• 일반화 가능성: 이 방법은 서로 다른 백본 LLM(Gemini 1.5 Pro 및 GPT-4o-mini) 전반에서 효과적임을 입증하였으며, GPT-4o-mini에서 9.4%의 상대적 개선을 달est했습니다.
• 인간 평가: 가장 강력한 베이스라인(CoT 및 Best-of-32를 포함한 인컨텍스트 개인화)과의 사이드 바이 사이드 비교에서, 인간 평가자들은 베이스라인(19%)이나 무승부(15%)보다 훨씬 높은 **66%**의 비율로 PoT를 선호했습니다.

의의 및 주장

본 논문은 **사고의 경로(Pathways of Thoughts)**가 모델이 추론 중에 사용자 선호도를 동적으로 "생각"할 수 있게 함으로써 개인화된 QA 분야의 중요한 진전을 이루었다고 주장합니다. 저자들은 단순히 입력에 사용자 컨텍스트를 추가하는 것만으로는 불충분하며, 모델이 선호도를 도출하기 위해 노이즈가 있는 암시적 데이터 위에서 추론을 수행해야 한다고 논합니다.

사고를 다방향 프로세스로 취급함으로써, PoT는 모델이 다양한 전략(예: 명료화할지, 수정할지, 혹은 개인화할지 결정)을 탐색하고 이를 하나의 응 cohesive(응집력 있는)하고 사용자에게 부합하는 응답으로 결합할 수 있게 합니다. 저자들은 이 프레임워크를 미세 조정이 불가능한 실제 시나리오에서 사용할 수 있는 실용적인 솔루션으로 제시하며, 정보 탐색 시스템의 참여도와 만족도를 높이는 확장 가능한 방법을 제공합니다. 이 연구는 해당 프레임워크가 현재의 연구 초점인 특정 개인화 질의응답을 넘어 다른 장문 텍스트 생성 작업으로도 일반화될 수 있음을 시사합니다.