💬 NLP

Derivation Prompting: A Logic-Based Method for Improving Retrieval-Augmented Generation

Dieser Beitrag stellt Derivation Prompting vor, eine neuartige logikbasierte Prompting-Technik für Retrieval-Augmented Generation, die interpretierbare Derivationsbäume konstruiert, um Halluzinationen und fehlerhaftes Schlussfolgern bei wissensintensiven Aufgaben systematisch zu reduzieren.

Ursprüngliche Autoren: Ignacio Sastre, Guillermo Moncecchi, Aiala Rosá

Veröffentlicht 2026-05-15

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ignacio Sastre, Guillermo Moncecchi, Aiala Rosá

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine sehr kluge, gut informierte Bibliothekarin (die KI), die hervorragend Fragen beantworten kann, aber manchmal Dinge erfindet oder verwirrt ist, wenn die Antwort nicht sofort offensichtlich ist. Dies ist ein häufiges Problem bei aktuellen KI-Modellen, insbesondere wenn sie aufgefordert werden, spezifische Fragen basierend auf einem Haufen von Dokumenten zu beantworten.

Dieser Artikel stellt eine neue Art vor, mit dieser Bibliothekarin zu sprechen, die als Derivations-Prompting bezeichnet wird. Anstatt nur zu fragen: „Was ist die Antwort?" und auf das Beste zu hoffen, lehren die Autoren die Bibliothekarin, die Antwort schrittweise aufzubauen, wie beim Lösen eines Rätsels oder beim Beweisen eines mathematischen Problems.

So funktioniert es, aufgeteilt in einfache Konzepte:

1. Das Problem: Die „halluzinierende" Bibliothekarin

Normalerweise, wenn Sie einer KI eine Frage stellen, greift sie ein paar relevante Seiten aus einem Buch heraus und versucht, sofort eine Antwort zu formulieren. Manchmal liegt sie richtig. Aber oft könnte sie „halluzinieren" – das heißt, sie behauptet selbstbewusst etwas, das tatsächlich nicht im Buch steht, oder sie vermischt Fakten. Es ist wie ein Schüler, der die Antwort bei einer Prüfung rät, weil er glaubt, sie zu wissen, anstatt das Lehrbuch zu konsultieren.

2. Die Lösung: Aufbau eines „Logikbaums"

Die Autoren schlagen eine neue Methode vor, die von logischen Beweisen inspiriert ist. Stellen Sie sich vor, Sie bauen einen Baum.

Die Wurzeln: Dies sind die Fakten, die Sie in den Dokumenten gefunden haben (die „Hypothesen").
Die Äste: Dies sind die Schritte, die Sie unternehmen, um diese Fakten zu verbinden.
Die Früchte: Dies ist die endgültige Antwort.

Anstatt direkt zur Frucht zu springen, wird die KI gezwungen, zuerst die Äste wachsen zu lassen. Sie muss eine bestimmte Reihe von Regeln (wie ein Rezept) befolgen, um die Fakten zu kombinieren.

3. Die Regeln: Das „Werkzeugkasten" der KI

Der Artikel definiert eine kleine Menge an „Zügen", die die KI machen kann, ähnlich wie Züge in einem Brettspiel. Zum Beispiel:

Extrahieren: „Nehmen Sie diesen spezifischen Satz aus dem Dokument."
Kombinieren: „Nehmen Sie Fakt A und Fakt B und setzen Sie sie zusammen."
Verfeinern: „Formulieren Sie diesen Fakt um, damit er besser zur Frage passt, aber ändern Sie nicht die Bedeutung."
KeineInfo: „Wenn keine der Fakten hilft, geben Sie zu, dass Sie es nicht wissen."

Die KI muss eine Regel auswählen, sie auf die Fakten anwenden und das Ergebnis niederschreiben. Dann betrachtet sie dieses Ergebnis und entscheidet: „Ist dies die endgültige Antwort? Wenn nicht, muss ich eine weitere Regel auf dieses neue Ergebnis anwenden."

4. Warum dies hilft: Die „Baustelle"-Analogie

Stellen Sie sich eine normale KI-Antwort wie einen Bauunternehmer vor, der einfach eine Mauer hochzieht und hofft, dass sie steht. Wenn die Mauer schief ist, wissen Sie nicht, warum, bis sie einstürzt.

Derivations-Prompting ist wie ein Bauunternehmer, der Ihnen die Baupläne und das schrittweise Bau-Tagebuch zeigen muss.

Interpretierbarkeit: Da die KI einen „Baum" von Schritten aufbaut, können Sie in die mittleren Äste schauen und sagen: „Warten Sie, Sie haben diese beiden Fakten falsch kombiniert" oder „Sie haben hier einen Fakt erfunden." Es ist viel einfacher, den Fehler zu erkennen, weil der Pfad sichtbar ist.
Kontrolle: Indem die KI gezwungen wird, Regeln zu befolgen, ist es weniger wahrscheinlich, dass sie abschweift und Dinge erfindet. Es ist wie eine strenge Checkliste für die KI; sie kann keine Schritte überspringen oder neue erfinden.

5. Was sie herausfanden

Die Autoren testeten dies an einem realen Problem: Beantwortung von Studentenfragen zu universitären Verwaltungsregeln. Sie verglichen drei Methoden:

Langer Kontext: Der KI das ganze Buch auf einmal geben.
Standard-RAG: Die übliche Methode, ein paar Seiten herauszugreifen und zu antworten.
Derivations-Prompting: Die neue schrittweise Regel-Methode.

Die Ergebnisse:

Die neue Methode reduzierte signifikant „schlechte" Antworten (Antworten, die falsch waren oder Dinge erfanden).
Sie machte die KI nicht unbedingt schneller darin, die richtige Antwort zu finden, aber sie machte die Antworten, die sie gab, viel zuverlässiger.
Sie funktionierte am besten mit einem sehr klugen KI-Modell (Claude Opus). Ein kleineres, weniger leistungsfähiges Modell (Claude Haiku) konnte die Regeln zwar befolgen, geriet aber manchmal in Sackgassen oder produzierte weniger hochwertige Antworten, was zeigt, dass die KI „intelligent genug" sein muss, um den Logik-Anweisungen zu folgen.

Das Fazit

Dieser Artikel schlägt eine Methode vor, um zu verhindern, dass die KI rät, indem sie sie zwingt, ihre Arbeit unter Verwendung einer logischen, regelbasierten Baumstruktur „vorzuzeigen". Es verwandelt die KI von einem selbstbewussten Rater in einen sorgfältigen, schrittweisen Problemlöser und macht sie viel sicherer für wichtige, faktenbasierte Fragen.

Technische Zusammenfassung: Herleitungs-Prompting für retrievalgestützte Generierung

Problemstellung
Obwohl Large Language Models (LLMs) die Beantwortung von Fragen (QA) vorangebracht haben, neigen sie weiterhin zu Halluzinationen und fehlerhaftem Schlussfolgern, insbesondere bei wissensintensiven, domänenspezifischen Aufgaben. Das Framework der retrievalgestützten Generierung (Retrieval-Augmented Generation, RAG) versucht dies zu mildern, indem es die Generierung durch das Modell auf abgerufenen Dokumenten verankert. Allerdings fehlt es bestehenden Techniken zur Verbesserung des Schlussfolgerns, wie Chain-of-Thought (CoT) und Tree of Thoughts (ToT), an expliziten Einschränkungen bezüglich der Konstruktion von Zwischenschritten des Schlussfolgerns. Dieses Fehlen einer systematischen Methodik ermöglicht es Modellen, unkontrollierte Schlussfolgerungspfade zu generieren, was zu fehlerhafter Logik und Halluzinationen führt, selbst wenn Kontext bereitgestellt wird.

Methodik: Herleitungs-Prompting
Die Autoren schlagen Derivation Prompting vor, eine neuartige Technik für den Generierungsschritt des RAG-Frameworks, inspiriert von logischen Herleitungen in der Aussagenlogik. Anstatt eine frei geformte Antwort zu generieren, konstruiert die Methode einen strukturierten „Herleitungsbaum", in dem eine Schlussfolgerung systematisch aus einer Menge initialer Hypothesen (abgerufene Dokumentenabschnitte) unter Verwendung vordefinierter Regeln abgeleitet wird.

Kernmechanismus: Der Prozess behandelt abgerufene Abschnitte als eine Menge von Hypothesen $\{h_1, \dots, h_n\}$ . Dem LLM wird die Aufgabe gestellt, eine Reihe von Regeln in natürlicher Sprache anzuwenden, um diese Hypothesen zu transformieren oder zu kombinieren, um eine Schlussfolgerung $c$ abzuleiten, die die Anfrage $q$ beantwortet.
Regelsatz: Die Methode verwendet einen spezifischen Satz von Regeln, die in natürlicher Sprache definiert sind, darunter:
- Extract: Isolieren eines spezifischen Teils einer Hypothese.
- Concat: Kombinieren unabhängiger Hypothesen.
- Instantiate: Generalisieren einer Hypothese auf einen bestimmten Fall.
- Compose: Zusammenführen von Hypothesen, die ein gemeinsames Element teilen.
- Refine: Anpassen einer Hypothese an die Anfrage, ohne die Semantik zu verändern.
- NoInfo: Explizites Feststellen, wenn Hypothesen die notwendige Information nicht enthalten.
Algorithmische Ausführung: Der Prozess ist iterativ. Das LLM entscheidet, welche Regel anzuwenden ist, wählt die relevanten Hypothesen aus und generiert eine neue Schlussfolgerung. Ist die Schlussfolgerung nicht die endgültige Antwort, wird sie zur Hypothesenliste für nachfolgende Schritte hinzugefügt.
Implementierungsstrategien: Die Autoren evaluierten zwei Implementierungsansätze:
1. Ein-Schritt-Prompt: Isolieren jeder Regelanwendung als unabhängigen LLM-Aufruf.
2. Ganzer Herleitungs-Prompt: Verwendung einer Few-Shot-Strategie, um das LLM bei der Konstruktion des gesamten Herleitungsbaums in einem einzigen Inferenzaufruf zu leiten.
  Die Studie ergab, dass der ganze Herleitungs-Prompt erheblich recheneffizienter ist (Ersetzen von $n$ Inferenzen durch eine), während vergleichbare Ergebnisse erzielt werden.

Fallstudie und Evaluation
Die Methode wurde in einer spezifischen Domäne evaluiert: Verwaltungsinformationen für die Fakultät für Ingenieurwesen der Universidad de la República (Uruguay).

Datensatz: 135 reale Benutzeranfragen, abgeleitet aus historischen E-Mails und verarbeitet, um personenbezogene Daten zu entfernen.
Basislinien: Die Studie verglich Derivation Prompting mit:
- Standard-RAG (unter Verwendung eines Cross-Encoders für die Suche).
- Ansätzen mit langen Kontextfenstern (direktes Zuführen vollständiger Dokumente an das Modell).
Modelle: Die Experimente nutzten die Claude-3-Familie von Anthropic (Haiku und Opus).
Evaluationsmetrik: Eine automatisierte Evaluation unter Verwendung von Claude Opus als Richter, die Antworten auf einer Skala von 1–5 bewertete, basierend auf einem Bewertungsschema, das zwischen „inakzeptabel" (widersprüchlich/falsch, Scores 1–2) und „akzeptabel" (nicht widersprüchlich, Scores 3–5) unterscheidet.

Ergebnisse
Die Experimente zeigten, dass Derivation Prompting die Präzision von RAG-Systemen signifikant verbessert:

Reduktion inakzeptabler Antworten: Derivation Prompting mit Claude Opus erreichte 89,6 % akzeptable Antworten, verglichen mit 77,8 % für Standard-RAG und 76,3 % für Long-Context-Methoden. Dies stellt eine erhebliche Reduktion von Halluzinationen und widersprüchlichen Informationen dar.
Präzision vs. Recall: Während die Methode Fehler drastisch reduzierte (Scores 1 und 2), erhöhte sie nicht notwendigerweise die Anzahl hochdetaillierter Antworten (Scores 4 und 5). In vielen Fällen, in denen andere Methoden mit Halluzinationen scheiterten, identifizierte Derivation Prompting korrekt einen Mangel an Informationen (Score 3) über die NoInfo-Regel.
Modellabhängigkeit: Die Wirksamkeit der Methode korreliert mit der Modellkapazität. Während Claude Opus robust performte, zeigte das kleinere Claude-Haiku-Modell trotz Fehlerreduktion einen Rückgang bei hochwertigen Antworten (Scores 4 und 5), was darauf hindeutet, dass das Konstruieren gültiger Herleitungen erhebliche Modellkapazität erfordert.
Interpretierbarkeit: Ein zentrales Ergebnis ist, dass der Herleitungsbaum interpretierbar ist. Wenn Fehler auftreten, können sie auf spezifische Regelanwendungen zurückgeführt werden (z. B. eine Halluzination während eines Refine-Schritts), was es Benutzern ermöglicht, fehlerhaftes Schlussfolgern zu identifizieren, anstatt nur eine falsche Antwort zu erhalten.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass Derivation Prompting eine kontrollierte, interpretierbare Alternative zu bestehenden Schlussfolgerungstechniken bietet. Indem der Generierungsprozess durch eine Sequenz vordefinierter logischer Regeln erzwungen wird, schränkt die Methode die Freiheit des Modells ein, zu halluzinieren, und stellt sicher, dass Antworten auf den abgerufenen Dokumenten verankert bleiben. Die Autoren betonen, dass die Methode zwar die Präzision verbessert und inakzeptable Ausgaben reduziert, ihr Erfolg jedoch von der Fähigkeit des zugrunde liegenden LLM abhängt, die regelbasierte Logik effektiv zu verstehen und anzuwenden. Die Arbeit legt nahe, dass dieser logikbasierte Ansatz auf andere RAG-Szenarien und potenziell nicht-RAG-Aufgaben verallgemeinert werden kann, sofern geeignete Regelsätze definiert sind.