Learning to Reason for Multi-Step Retrieval of Personal Context in Personalized Question Answering

1. Problemstellung

Das Ziel personalisierter Frage-Antwort-Systeme (QA) ist es, Antworten zu generieren, die nicht nur faktisch korrekt, sondern auch stark an den Hintergrund, die Präferenzen und den historischen Kontext des Nutzers angepasst sind.

• Aktueller Stand: Der aktuelle Stand der Technik (State-of-the-Art) stützt sich primär auf Retrieval-Augmented Generation (RAG). Dabei wird der Benutzeranfrage direkt genutzt, um relevante Dokumente aus dem Nutzerprofil zu suchen und diese als Kontext an das Prompt anzuhängen.
• Limitierung: Diese herkömmlichen Ansätze führen oft nur zu einer oberflächlichen Personalisierung. Sie erkennen nicht, welche spezifischen Aspekte des Nutzerprofils für die Beantwortung einer komplexen Frage relevant sind, und führen keine tiefgehende Schlussfolgerung (Reasoning) durch, um diese Aspekte zu identifizieren.
• Herausforderung: Eine effektive Personalisierung erfordert oft mehrstufiges Abfragen (Multi-Step Querying) und logisches Schlussfolgern. Beispielsweise erfordert die Frage „Wie kann man am besten abnehmen?" nicht nur eine Suche nach allgemeinen Tipps, sondern die Identifizierung spezifischer Nutzerdaten wie Beruf (für Aktivitätsniveau), Alter oder medizinische Vorgeschichte, was oft mehrere Suchschritte und eine adaptive Strategie erfordert.

2. Methodik: PR2 (Personalized Retrieval-Augmented Reasoning)

Die Autoren stellen PR2 vor, ein Reinforcement-Learning (RL)-Framework, das Suchvorgänge (Retrieval) direkt in den Denkprozess (Reasoning) des Large Language Models (LLM) integriert.

• Kernkonzept: PR2 lernt adaptive Strategien, um zu entscheiden:
  1. Wann soll gesucht werden?
  2. Welche Informationen sollen aus dem Profil abgerufen werden?
  3. Wie sollen diese Informationen in die Zwischenschritte der Argumentation integriert werden?
• Optimierungsalgorithmus (GRPO): Das Framework nutzt Group Relative Policy Optimization (GRPO). Im Gegensatz zu herkömmlichen RL-Ansätzen, die einen separaten Wertfunktion-Modell (Critic) benötigen, optimiert GRPO die Policy basierend auf relativen Vergleichen innerhalb einer Gruppe von generierten Trajektorien.
• Rollout-Sampling: Für jede Trainingsinstanz generiert das Modell eine Gruppe von $G$ personalisierten Trajektorien. Diese Trajektorien können Aktionen wie „Nachdenken" (in <thought>-Tags), „Suchen" (Generieren von Suchanfragen in <search>-Tags) und „Antworten" (in <answer>-Tags) beinhalten.
• Personalisierte Reward-Funktion: Die Belohnung wird nicht nur auf der Qualität der Antwort basierend, sondern auf der Erfüllung spezifischer, nutzerspezifischer Kriterien (Rubriken). Ein automatischer Judge (Qwen2.5-32B) bewertet, wie gut die Antwort die im Nutzerprofil enthaltenen Aspekte (z. B. Einschränkungen, Vorlieben) adressiert.
• Einbeziehung einer Nicht-personalisierten Baseline: Ein entscheidender technischer Aspekt ist die Einführung einer nicht-personalisierten Baseline (ohne Abruf aus dem Profil).
  • Das Advantage-Signal wird so berechnet, dass es den Unterschied zwischen personalisierten Trajektorien und der nicht-personalisierten Baseline berücksichtigt.
  • Formel für den Advantage: $A_i = \frac{r_i - r_{no-per} - \mu}{\sigma}$.
  • Ziel: Das Modell lernt, nur dann aus dem Profil zu suchen, wenn dies die Antwortqualität im Vergleich zur reinen Generierung tatsächlich verbessert. Dies verhindert unnötige Suchen und das „Overfitting" auf Rauschen im Profil.

3. Hauptbeiträge

1. Integration von Reasoning und Retrieval: PR2 ist eines der ersten Frameworks, das Retrieval nicht als separaten Vorverarbeitungsschritt, sondern als dynamischen Teil des Reasoning-Prozesses modelliert.
2. Adaptive Personalisierungsstrategie: Das Modell lernt durch RL, wann und was gesucht werden muss, anstatt statische Suchanfragen zu verwenden.
3. Neuer Optimierungsansatz: Die Anwendung von GRPO mit einer spezifischen Reward-Funktion, die personalisierte Rubriken nutzt, sowie die Einbeziehung einer nicht-personalisierten Baseline zur Stabilisierung des Lernprozesses.
4. Open Source: Der Code wurde zur Reproduzierbarkeit veröffentlicht.

4. Ergebnisse

Die Experimente wurden auf dem LaMP-QA-Benchmark durchgeführt, der drei Domänen abdeckt: Kunst & Unterhaltung, Lebensstil & Persönliche Entwicklung sowie Gesellschaft & Kultur. Es wurden drei verschiedene LLMs (Qwen2.5-3B, Qwen2.5-7B, Gemma3-4B) getestet.

• Leistungssteigerung: PR2 übertrifft konsistent starke Baselines (einschließlich RAG-Personalization, PPlug, HYDRA-Adapter und PrLM).
  • Qwen2.5-3B: +8,8 % relative Verbesserung gegenüber dem besten Baseline-Modell.
  • Qwen2.5-7B: +12,0 % relative Verbesserung.
  • Gemma3-4B: +9,8 % relative Verbesserung.
• Statistische Signifikanz: Die Verbesserungen sind über alle Domänen hinweg statistisch signifikant (Bonferroni-Korrektur, $p < 0.01$).
• Ablationsstudien:
  • Der Wegfall der nicht-personalisierten Baseline führt zu einem deutlichen Leistungsabfall, was die Wichtigkeit des relativen Vergleichs für das Lernen von „Wann suchen?" unterstreicht.
  • Die optimale Anzahl der abgerufenen Dokumente liegt bei $k=3$. Weniger Dokumente führen zu unzureichendem Kontext, mehr Dokumente führen zu Rauschen.
• Training-Dynamik: Während des Trainings nimmt die Häufigkeit der Suchaktionen zu, und die Antwortlänge folgt einem Muster (Anfangs Abnahme, dann Zunahme), was darauf hindeutet, dass das Modell lernt, mehr abgerufene Informationen in längere, detailliertere und personalisierte Antworten zu integrieren.

5. Bedeutung und Fazit

Das Paper zeigt, dass die reine Kombination von Retrieval und Generation nicht ausreicht, um echte Personalisierung zu erreichen. Durch die Integration von Reasoning in den Retrieval-Prozess kann das System adaptiv entscheiden, welche Informationen relevant sind.

• Paradigmenwechsel: Statt nur „Query -> Retrieve -> Answer" zu nutzen, ermöglicht PR2 einen iterativen Zyklus von „Denken -> Suchen -> Denken -> Antworten".
• Effizienz: Durch die Lernstrategie wird vermieden, dass das Modell bei jeder Frage blind sucht, sondern es sucht gezielt nur dann, wenn der Mehrwert für die Personalisierung nachweisbar ist.
• Zukunft: Diese Arbeit legt den Grundstein für fortschrittlichere Agenten-Systeme, die komplexe, kontextabhängige Aufgaben in personalisierten Umgebungen lösen können, indem sie logisches Schlussfolgern und Informationsabruf untrennbar verbinden.