Learning to Reason for Multi-Step Retrieval of Personal Context in Personalized Question Answering

Probleemstelling

Personalisatie in Vraagbeantwoording (QA) vereist antwoorden die niet alleen accuraat zijn, maar ook aansluiten bij de achtergrond, voorkeuren en historische context van de gebruiker. Bestaande state-of-the-art methoden vertrouwen voornamelijk op Retrieval-Augmented Generation (RAG). Bij deze benadering wordt de gebruikersvraag direct gebruikt om relevante documenten uit het gebruikersprofiel op te halen, die vervolgens aan de prompt worden toegevoegd.

De auteurs stellen dat deze strategie vaak leidt tot oppervlakkige personalisatie. Effectieve personalisatie vereist namelijk:

1. Het identificeren van potentiële persoonlijke aspecten die het antwoord beïnvloeden (bijv. beroep, leeftijd, medische geschiedenis).
2. Het uitvoeren van meerdere redeneerstappen en het genereren van meerdere zoekopdrachten om deze aspecten te verkennen.
3. Het dynamisch bepalen wanneer er gezocht moet worden, wat er gezocht moet worden, en hoe deze informatie in het redeneerproces wordt verwerkt.

Bestaande methoden missen vaak de integratie van redenering en meervoudige ophaalstappen in één coherent proces.

Methodologie: PR2 Framework

Het paper introduceert PR2 (Personalized Retrieval-Augmented Reasoning), een reinforcement learning (RL) framework dat redenering en ophalen uit persoonlijke context integreert.

1. Kernarchitectuur:
PR2 gebruikt Group Relative Policy Optimization (GRPO) om een beleid (policy) te trainen dat interacteert met een externe ophaaltool (retriever) tijdens het generatieproces. Het model leert een adaptieve strategie waarbij het afwisselend redeneert (via Chain-of-Thought) en documenten ophaalt uit het gebruikersprofiel.

2. Rol-out Sampling Strategie:
Tijdens het trainen genereert het beleid voor elke vraag een groep van $G$ trajecten. Deze trajecten bestaan uit een reeks acties:

• Thinking: Redeneren in <thought> tags om de behoeften van de gebruiker te begrijpen.
• Searching: Het genereren van zoekopdrachten in <search> tags om specifieke informatie uit het gebruikersprofiel op te halen.
• Answering: Het genereren van het uiteindelijke antwoord in <answer> tags, gebruikmakend van de opgehaalde informatie.

3. Personalized Reward Modeling:
Het systeem wordt getraind met een op resultaat gebaseerde beloningsschema. Een geautomatiseerde evaluator (Qwen2.5-32B) beoordeelt het gegenereerde antwoord op basis van specifieke rubrieken (aspecten) die afgeleid zijn uit de gebruikersnarratieven. De score varieert van 0 tot 2 en wordt genormaliseerd naar [0, 1].

4. Voordelberekening (Advantage Computation) en Non-Personalized Baseline:
Een cruciale innovatie van PR2 is de integratie van een niet-gepersonaliseerde baseline in de GRPO-voordelberekening.

• Voor elke vraag wordt ook een traject gegenereerd zonder ophalen uit het profiel (alleen op basis van de input).
• De voordeelwaarde ($A_i$) wordt berekend door de persoonlijke reward te vergelijken met de niet-gepersonaliseerde reward, genormaliseerd binnen de groep.
• Doel: Dit dwingt het model om alleen te zoeken in het gebruikersprofiel als dit de kwaliteit van het antwoord daadwerkelijk verbetert ten opzichte van een standaard antwoord. Dit voorkomt overmatig of nutteloos ophalen.

Belangrijkste Bijdragen

1. Eerste Redeneermodellen voor Personalisatie: PR2 is het eerste framework dat redeneren en ophalen uit een gebruikersprofiel direct integreert voor personalisatie, in plaats van ze als gescheiden stappen te behandelen.
2. Adaptieve Ophaalstrategie: Het model leert dynamisch wanneer te stoppen met zoeken en wanneer te antwoorden, gebaseerd op de noodzaak van specifieke gebruikersinformatie.
3. GRPO met Contrastieve Baselines: Door niet-gepersonaliseerde trajecten op te nemen in de trainingscyclus, leert het model wanneer personalisatie nuttig is en wanneer het schadelijk kan zijn (bijv. door ruis).
4. Aspect-gebaseerde Evaluatie: Het gebruik van een gedetailleerde, aspect-gebaseerde reward-functie voor de training en evaluatie.

Resultaten

De experimenten zijn uitgevoerd op de LaMP-QA benchmark (domeinen: Kunst & Entertainment, Lifestyle, Maatschappij & Cultuur) met drie verschillende Large Language Models (LLMs): Qwen2.5-3B, Qwen2.5-7B en Gemma3-4B.

• Prestatieverbetering: PR2 presteert consistent beter dan sterke baselines (zoals Search-R1, PPlug, HYDRA-Adapter en PrLM).
  • Voor Qwen2.5-3B: +8,8% relatieve verbetering.
  • Voor Qwen2.5-7B: +12,0% relatieve verbetering.
  • Voor Gemma3-4B: +9,8% relatieve verbetering.
• Ablatie Studies:
  • Het verwijderen van de niet-gepersonaliseerde baseline leidt tot een significante daling in prestaties, wat aantoont dat dit een kritiek component is voor het leren van effectieve personalisatiestrategieën.
  • Het ophalen van 3 documenten (top-k=3) bleek de optimale balans te vinden tussen relevantie en ruis; minder documenten leidden tot onvoldoende context, meer documenten introduceerden ruis.
• Trainingsdynamiek: Tijdens de training neemt het aantal ophaalacties toe naarmate het model leert dat meer context nodig is voor betere antwoorden. Grotere modellen (Qwen2.5-7B) tonen een grotere capaciteit om deze extra context effectief te benutten.

Betekenis en Conclusie

Dit paper markeert een verschuiving in personalisatie voor QA: van statische ophaalstrategieën naar adaptieve, redenerende agents die begrijpen wanneer en hoe ze persoonlijke context moeten gebruiken. PR2 bewijst dat het combineren van redeneren en ophalen onder een gepersonaliseerde beloningsfunctie leidt tot aanzienlijk betere, op de gebruiker afgestemde antwoorden. De open-source implementatie en de robuuste resultaten op meerdere modellen maken PR2 een belangrijke stap vooruit in de ontwikkeling van persoonlijke AI-assistenten.