Technische Samenvatting: Pathways of Thoughts voor Long-form Gepersonaliseerde Beantwoording van Vragen

Probleemformulering

Het artikel behandelt de uitdaging van Gepersonaliseerde Beantwoording van Vragen (QA), specifiek in de context van langere tekstgeneratie (long-form content generation). Hoewel personalisatie goed bestudeerd is binnen zoeken en aanbevelingen, blijft het onderbelicht in QA vanwege twee primaire moeilijkheden:

1. Inferentie uit Ruisende Context: Gebruikersvoorkeuren zijn vaak impliciet en moeten worden afgeleid uit lange, ruisende en ongestructureerde gebruikersprofielen (bijv. eerdere vragen en narratieven).
2. Afstemming op Gebruikersverwachtingen: Een antwoord dat feitelijk accuraat is, kan nog steeds niet voldoen aan de verwachtingen van een gebruiker als het niet overeenkomt met hun specifieke achtergrond, leerstijl of voorkeuren.

Huidige benaderingen vertrouwen vaak op het fine-tunen van Large Language Models (LLMs) met gebruikersgegevens. Dit is echter vaak onhaalbaar omdat veel LLM's black boxes zijn met bevroren parameters, en fine-tuning vereist aanzienlijke computationele middelen en persoonlijke gegevens van individuele gebruikers. Daarom richten de auteurs zich op inferentie-fase strategieën die personalisatie kunnen verbeteren zonder aanvullende modeltraining te vereisen.

Methodologie: Pathways of Thoughts (PoT)

De auteurs stellen Pathways of Thoughts (PoT) voor, een generieke inferentie-fase methode die toepasbaar is op elke LLM. PoT modelleert het denkproces als een iteratief besluitvormingsproces, waardoor het model meerdere redeneertrajecten kan verkennen voordat het een definitief antwoord genereert.

1. Denken als een Markov Decision Process (MDP)

PoT formaliseert de generatie van een antwoord als een MDP waarbij de LLM fungeert als zowel de agent als de omgeving:

• Toestand ($S$): De toestand bestaat uit de concatenatie van de vraag van de gebruiker, het gebruikersprofiel en de sequentie van acties en outputs die tot nu toe zijn gegenereerd.
• Acties ($A$): De agent selecteert in elke stap uit een vooraf gedefinieerde set cognitieve operaties. Deze omvatten:
  • Planning: Het genereren van een stapsgewijs plan om de vraag aan te pakken.
  • Reasoning (Redeneren): Stap voor stap nadenken over specifieke aspecten van de vraag.
  • Personalization/Personalizing (Personalisatie/Personaliseren): Controleren of personalisatie nodig is en relevante gebruikerscontext extraheren.
  • Clarifying (Verduidelijken): Ambiguïteiten in de vraag identificeren.
  • Summarizing (Samenvatten): Beschikbare informatie consolideren.
  • Answering/Revising/Finalizing (Antwoorden/Herzien/Finaliseren): Het antwoord genereren, verfijnen of afronden.
• Transitie: De LLM voert de geselecteerde actie uit en werkt de toestand bij met de nieuwe output. Deze lus gaat door totdat een "finalize" actie wordt gekozen of een maximale staplimiet ($T$) is bereikt.

2. Multi-directioneel Denken

Om te voorkomen dat het proces convergeert naar één enkel, potentieel suboptimaal redeneepad, genereert PoT $N$ verschillende denktrajecten (thinking pathways). Diversiteit in deze trajecten wordt bereikt door twee mechanismen:

• Initial State Alteration (Wijziging van de initiële toestand): Het willekeurig selecteren van subsets van het gebruikersprofiel om verschillende initiële contexten te creëren voor de planningsfase.
• Planning Action Variation (Variatie in de planningsactie): Het gebruik van een hogere sampling temperature tijdens de "plan" actie om diverse strategische contouren te generen vanuit dezelfde initiële toestand.

3. Respons Aggregatie

Zodra $N$ trajecten $N$ kandidaat-antwoorden ($R_{PoT}$) hebben geproduceerd, aggregeert het systeem deze tot één definitief antwoord ($\hat{y}_u$). Het artikel vergelijkt twee aggregatiestrategieën:

• Best-of-N: De LLM selecteert het beste enkele antwoord uit de kandidaten op basis van geëxtraheerde gebruikersvoorkeuren.
• Mixture-of-N: De LLM synthetiseert een nieuw antwoord door de sterke punten van alle kandidaat-antwoorden te combineren. Deze aanpak bootst menselijke probleemoplossing na door diverse perspectieven te integreren. Het artikel identificeert Mixture-of-N als de superieure methode voor open-ended tekstgeneratie.

Het aggregatieproces wordt gestuurd door een tussenstap waarbij de LLM belangrijke aspecten ($I_u$) extraheert uit het gebruikersprofiel om ervoor te zorgen dat de uiteindelijke output aansluit bij de specifieke behoeften van de gebruiker.

Belangrijkste Bijdragen

1. Inference-Stage Personalization: Het artikel introduceert een methode om personalisatie te verbeteren zonder fine-tuning, wat het toepasbaar maakt voor black-box of middelenbeperkte LLM's.
2. MDP-gebaseerd Redeneerframework: Het past Markov Decision Processes aan voor vrije tekstgeneratie, waarbij de LLM zowel de beslisser als de uitvoerder van cognitieve operaties is.
3. Multi-directionele Exploratie: Door meerdere redeneertrajecten te verkennen en te aggregeren, legt de methode complementaire sterke punten vast die een enkel redeneepad mogelijk zou missen.
4. Uitgebreide Evaluatie: De aanpak is rigoureus getest op de LaMP-QA benchmark, over drie diverse domeinen: Kunst & Entertainment, Lifestyle & Persoonlijke Ontwikkeling, en Samenleving & Cultuur.

Experimentele Resultaten

Experimenten werden uitgevoerd met Gemini 1.5 Pro en GPT-4o-mini als backbone modellen.

• Prestatiewinst: PoT presteerde consistent beter dan concurrerende baselines in alle categorieën.
  • Vergeleken met de best presterende baseline (In-Context Personalization met CoT en Best-of-32), behaalde PoT een gemiddelde relatieve verbetering van 10,8%.
  • Vergeleken met single-inference baselines liet PoT een relatieve verbetering zien van 7,2%.
  • De resultaten waren statistisch significant ($p < 0,05$) via t-testen.
• Ablatie-studies:
  • Pathway Lengte: De prestaties verbeterden met het aantal acties tot een limiet van 8 ($T=8$); hierna nam de prestatie af door "overthinking".
  • Aantal Pathways: Het verhogen van het aantal pathways ($N$) verbeterde de prestaties, hoewel er sprake was van afnemende meeropbrengsten naarmate $N$ groot werd.
  • Aggregatie: Mixture-of-N presteerde consequent beter dan Best-of-N, wat bevestigt dat het synthetiseren van diverse antwoorden een hogere kwaliteit oplevert dan het selecteren van een enkele winnaar.
• Generaliseerbaarheid: De methode toonde effectiviteit aan over verschillende backbone LLM's (Gemini 1.5 Pro en GPT-4o-mini), waarbij een relatieve verbetering van 9,4% werd behaald met GPT-4o-mini.
• Menselijke Evaluatie: In een side-by-side vergelijking met de sterkste baseline (In-Context Personalization w/ CoT & Best-of-32), gaven menselijke annotatoren in 66% van de gevallen de voorkeur aan PoT, vergeleken met 19% voor de baseline en 15% gelijkwaardigheid.

Betekenis en Claims

Het artikel claimt dat Pathways of Thoughts een significante vooruitgang vormt in gepersonaliseerde QA door modellen in staat te stellen om tijdens de inferentie dynamisch over gebruikersvoorkeuren na te denken. De auteurs stellen dat het simpelweg aanvullen van de input met gebruikerscontext onvoldoende is; in plaats daarvan moeten modellen redeneren over ruisende, impliciete data om voorkeuren af te leiden.

Door denken te behandelen als een multidirectioneel proces, stelt PoT het model in staat om diverse strategieën te verkennen (bijv. beslissen of men moet verduidelijken, herzien of personaliseren) en deze te combineren tot een samenhangend, op de gebruiker afgestemd antwoord. De auteurs positioneren dit als een praktische oplossing voor real-world scenario's waar fine-tuning onmogelijk is, en bieden een schaalbare manier om betrokkenheid en tevredenheid in informatiezoekende systemen te verbeteren. Het werk suggereert dat het framework generaliseerbaar is buiten QA naar andere taken voor long-form tekstgeneratie, hoewel de huidige studie zich specifiek richt op gepersonaliseerde beantwoording van vragen.