Improving Attributed Long-form Question Answering with Intent Awareness

Titel: Verbesserung der zitierten langformatigen Fragebeantwortung durch Intent-Bewusstsein (Intent Awareness)

Veröffentlicht bei: ICLR 2026
Autoren: Xinran Zhao et al. (Allen Institute for AI, Carnegie Mellon University, University of Washington)

---

1. Problemstellung

Große Sprachmodelle (LLMs) werden zunehmend eingesetzt, um umfassende, wissensintensive Berichte zu generieren (Deep Research). Obwohl diese Modelle auf einer Vielzahl akademischer Texte trainiert wurden, fehlt ihnen oft das Verständnis für die kognitiven Prozesse und Absichten (Intents), die Autoren beim Verfassen dieser Dokumente leiten.

• Das Defizit: Menschliches Schreiben ist zielgerichtet; jeder Absatz und jedes Zitat erfüllt eine spezifische Funktion (z. B. Motivation, Hintergrund, Vergleich). Diese „Intents" sind im finalen Text oft unsichtbar, wurden aber während des Schreibprozesses (z. B. beim Outline-Erstellen) aktiv genutzt.
• Die Konsequenz: LLMs lernen lediglich den Stil menschlichen Schreibens zu imitieren, modellieren aber nicht explizit den zugrunde liegenden Denkprozess. Dies führt zu Berichten, die zwar faktisch korrekt sein können, aber in der Struktur, der Argumentationskette und der Qualität der Quellenzuordnung (Attribution) oft Mängel aufweisen, insbesondere bei komplexen wissenschaftlichen Aufgaben.

2. Methodik: Intent-Aware Writing Framework

Die Autoren schlagen ein Framework vor, das die Modellierung von Absichten in zwei Ebenen integriert: Absatz-Ebene und Zitations-Ebene.

A. Repräsentation von Intents

Anstatt nur den Text zu generieren, wird das Modell aufgefordert, Absichten explizit als strukturierte Tags mit einer natürlichen Sprachbegründung (Rationale) zu erzeugen. Das Format lautet:
<begin_intent> [Intent-Typ] Begründung <end_intent>

• Paragraph Intents (Absatz-Absichten): Beschreiben die funktionale Rolle eines gesamten Absatzes im Kontext des Berichts.
  • Beispiele: Exposition (Erklärung), Definition, Argumentation, Vergleich/Kontrast, Ursache-Wirkung, Problem-Lösung.
  • Quelle: Basierend auf Diskursmodi (Song et al., 2017).
• Citation Intents (Zitations-Absichten): Erklären, warum eine spezifische Quelle in einem Satz verwendet wird.
  • Beispiele: Hintergrund (Background), Motivation, Verwendung von Daten/Methoden (Uses), Erweiterung (Extension), Vergleich, Zukunftsausblick.
  • Quelle: Basierend auf dem ACL-ARC-Framework (Jurgens et al., 2018).

B. Zwei Ansätze zur Integration

1. Inferenz (Testzeit): Das Modell wird per Prompting (Verbalized Intents) angewiesen, die Berichte direkt mit den eingebetteten Intent-Tags zu generieren. Dies dient als Test-Time-Scaling-Strategie, um das Modell zu „zwingen", vor dem Schreiben über die Struktur nachzudenken.
2. Training (Feinabstimmung):
   • Ein großes Lehrer-Modell (Teacher Model) generiert synthetische Trainingsdaten mit eingebetteten Intents.
   • Kleinere Modelle (Student Models) werden auf diesen Daten feinabgestimmt (SFT).
   • Variationen des Trainings:
     • Intent-Explicit: Die Tags bleiben im Trainingsdaten erhalten.
     • Intent-Implicit: Die Tags werden vor dem Training entfernt (das Modell lernt nur den Text, wurde aber intent-bewusst generiert).
     • Intent-Multiview: Das Training wird in mehrere Teilaufgaben zerlegt (nur Paragraph-Intents, nur Citation-Intents, etc.), um die Instruktionskomplexität zu reduzieren.

3. Schlüsselbeiträge

• Strukturiertes Schema: Entwicklung eines konsistenten, tag-basierten Schemas zur Extraktion und Repräsentation von Schreibabsichten, das auf etablierten linguistischen Theorien basiert.
• Verbesserung durch Synthetische Daten: Demonstration, dass durch Intent-Awareness generierte Daten hochwertige Trainingsdaten für kleinere Modelle liefern, die deren Leistung auf das Niveau großer Modelle heben.
• Analyse des Zitationsverhaltens: Nachweis, dass Intent-Bewusstsein die Art und Weise verändert, wie Modelle Informationen abrufen und zitieren, was zu einer besseren Transparenz und Lesbarkeit führt.
• Open Source: Veröffentlichung von Code, Daten und Modell-Checkpoints.

4. Ergebnisse

Die Experimente wurden auf drei Benchmarks für langformatige wissenschaftliche Fragebeantwortung durchgeführt: SQA-CS-V2 (AstaBench), DeepScholar Bench und ResearchQA.

• Leistungsgewinne bei großen Modellen:

  • Bei kommerziellen Großmodellen (z. B. o3, Gemini-2.5-pro, Claude Opus-4) führte die Nutzung von Intents bei der Inferenz zu einer durchschnittlichen Verbesserung von +2,9 absoluten Punkten über den Baselines.
  • Der größte Gewinn wurde bei den Zitationsmetriken (Citation Precision & Recall) erzielt (+3,7 Punkte), was auf eine deutlich bessere Quellenzuordnung hindeutet.

• Leistungsgewinne bei kleinen Modellen:

  • Kleine Modelle (z. B. Qwen3-8B, Llama3.1-8B) profitierten enorm von der Intent-aware SFT.
  • Es wurde eine durchschnittliche Verbesserung von +12,3 absoluten Punkten erreicht.
  • Die besten Varianten (insbesondere Intent-Multiview SFT) erreichten Leistungsniveaus, die mit großen Modellen wie Gemini-2.5-pro vergleichbar oder sogar besser sind.

• Verhaltensanalyse:

  • Modelle mit Intent-Bewusstsein nutzen einen höheren Anteil der bereitgestellten Suchergebnisse (Retrieved Candidates), ohne dabei an Präzision zu verlieren.
  • Die Überlappung der verwendeten Zitationen zwischen kleinen (finetuned) und großen Modellen nimmt signifikant zu.
  • Die Verteilung der Intent-Typen nähert sich menschlichen Mustern an, wobei jedoch noch eine Lücke bei „Vergleich/Kontrast" besteht.

• User Study:

  • Eine Studie mit 20 Teilnehmern zeigte, dass Intent-Labels die Lesbarkeit und Transparenz verbessern.
  • Teilnehmer konnten mit Intent-Hilfen besser einschätzen, ob ein Absatz oder eine Zitation für ihre Informationsbedürfnisse relevant ist (Durchschnittswerte von ~4,4 vs. ~3,6 bei der Baseline).

5. Bedeutung und Fazit

Das Paper zeigt, dass die explizite Modellierung des menschlichen Schreibprozesses – insbesondere der oft unsichtbaren Absichten – ein entscheidender Hebel ist, um die Qualität von LLM-generierten Berichten zu steigern.

• Für die Praxis: Die Methode ist „Plug-and-Play" kompatibel und kann bestehende RAG-Architekturen (Retrieval-Augmented Generation) verbessern, ohne die zugrunde liegende Retrieval-Infrastruktur zu ändern.
• Für die Forschung: Es bietet einen neuen Ansatz zur Evaluation von Modellen, der über reine Faktenprüfung hinausgeht und die Struktur und Argumentationslogik bewertet.
• Skalierbarkeit: Die Fähigkeit, durch Intent-Awareness kleine Modelle auf das Niveau von State-of-the-Art-Modellen zu heben, ist besonders relevant für den Einsatz in ressourcenbeschränkten Umgebungen.

Zusammenfassend demonstriert die Arbeit, dass das Einbeziehen von Elementen des menschlichen Schreibprozesses, die in den Trainingsdaten oft fehlen, die Fähigkeit von Sprachmodellen zur Generierung von zuverlässigen, gut strukturierten und zitierfähigen wissenschaftlichen Berichten signifikant verbessert.