💬 NLP

RAISE: Enhancing Scientific Reasoning in LLMs via Step-by-Step Retrieval

Die Arbeit stellt RAISE vor, ein schrittweises Retrieval-augmented Framework, das durch Problemzerlegung, logische Abfragegenerierung und logische Suche wissenschaftliches Schlussfolgern in LLMs verbessert und dabei Benchmark-Ergebnisse gegenüber anderen Baselines übertrifft.

Ursprüngliche Autoren: Minhae Oh, Jeonghye Kim, Nakyung Lee, Donggeon Seo, Taeuk Kim, Jungwoo Lee

Veröffentlicht 2026-03-20

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Minhae Oh, Jeonghye Kim, Nakyung Lee, Donggeon Seo, Taeuk Kim, Jungwoo Lee

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

RAISE: Wie man KI beim wissenschaftlichen Denken „an die Hand nimmt"

Stellen Sie sich vor, Sie haben einen sehr klugen, aber etwas vergesslichen Freund (die KI), der Ihnen eine extrem schwierige Aufgabe lösen soll: Ein komplexes wissenschaftliches Rätsel aus der Chemie oder Biologie. Wenn Sie ihn einfach fragen: „Löse das!", wird er versuchen, alles aus seinem Gedächtnis zu rufen. Das Problem? Sein Gedächtnis ist veraltet, und bei solchen kniffligen Fragen macht er oft Fehler oder erfindet Fakten (das nennt man „Halluzinieren").

Bisherige Methoden haben versucht, ihm zu helfen, indem sie ihm einfach ein Buch (das Internet) in die Hand drückten. Aber das war wie, jemandem, der eine Schraube festziehen muss, einen ganzen Werkzeugkoffer zu geben, ohne zu sagen, welche Schraubenzieher er braucht. Er sucht dann oft nur nach Dingen, die ähnlich aussehen (z. B. „Schrauben"), aber nicht das Richtige finden.

RAISE ist wie ein neuer, super-organisierter Assistent, der Ihrem Freund hilft, das Problem Schritt für Schritt zu lösen. Der Name steht für Retrieval-Augmented Inference for Scientific Easoning. Hier ist, wie er funktioniert, erklärt mit einfachen Vergleichen:

1. Das Problem zerlegen (Die „Reiseplanung")

Statt das riesige, unübersichtliche Bergwerk (die Frage) auf einmal zu durchsuchen, zerlegt RAISE die Aufgabe in kleine, machbare Etappen.

Der Vergleich: Stellen Sie sich vor, Sie wollen von Berlin nach Tokio reisen. Wenn Sie nur „Berlin nach Tokio" in den Suchbalken tippen, bekommen Sie vielleicht eine Liste von Fluglinien, aber keine detaillierte Route. RAISE teilt die Reise auf: „Wie komme ich zum Flughafen?", „Welcher Flug ist der beste?", „Wie kommt man vom Zielflughafen ins Hotel?".
In der KI: Die KI bricht die große wissenschaftliche Frage in mehrere kleine Unterfragen auf.

2. Die richtigen Suchbegriffe erfinden (Die „Präzise Landkarte")

Das ist der geniale Teil. Wenn die KI eine kleine Unterfrage hat, reicht es nicht, einfach nur die Frage zu googeln. Sie muss wissen, was genau sie sucht, um logisch weiterzudenken.

Der Vergleich: Wenn Sie nach einem Rezept suchen, reicht es nicht, einfach „Kochen" zu tippen. RAISE formuliert die Suche so um: „Wie funktioniert die chemische Reaktion, wenn man Eiweiß erhitzt, damit es fest wird?". Es sucht nicht nur nach dem Thema, sondern nach dem logischen Mechanismus, der die Antwort liefert.
In der KI: Die KI nimmt die Unterfrage und formuliert eine „logische Suchanfrage". Sie fragt sich: „Welches Prinzip oder welche Regel brauche ich jetzt, um diesen kleinen Schritt zu verstehen?"

3. Die perfekte Information finden (Der „Maßgeschneiderte Fund")

Jetzt sucht die KI im riesigen Internet (wie Wikipedia) nach genau diesen Informationen.

Der Vergleich: Ein normaler Suchroboter würde Ihnen vielleicht einen Artikel über „Eier" zeigen, der nur sagt, dass Eier rot sind (falsch, aber thematisch passend). RAISE findet den Artikel, der genau erklärt, warum das Eiweiß beim Erhitzen fest wird. Es ignoriert alles, was nur oberflächlich ähnlich klingt, und holt sich nur das, was für die Logik des nächsten Schrittes nötig ist.
In der KI: Die KI holt sich Dokumente, die nicht nur zum Fachgebiet passen, sondern die logische Verbindung herstellen, die nötig ist, um die Unterfrage zu beantworten.

Warum ist das so erfolgreich?

Die Forscher haben RAISE an schwierigen Tests (wie dem GPQA, das für Doktoranden gedacht ist) getestet. Das Ergebnis war beeindruckend:

Andere Methoden scheiterten oft, weil sie entweder zu viel Unsinn aus dem Internet fischten oder die KI sich in zu vielen Details verlor.
RAISE schaffte es, die richtigen logischen Bausteine zu finden. Es ist wie ein Architekt, der nicht einfach Ziegelsteine auf einen Haufen wirft, sondern genau die Steine sucht, die für den nächsten Stockwerk passen.

Zusammenfassend:
RAISE ist wie ein genialer Tutor für eine KI. Er sagt ihr nicht nur: „Such im Internet!", sondern er sagt: „Zerlege das Problem, überlege dir genau, welches logische Prinzip du jetzt brauchst, und suche nur nach diesem Prinzip." Dadurch wird die KI viel besser darin, echte wissenschaftliche Rätsel zu lösen, statt nur plausible Antworten zu erfinden.

Es ist der Unterschied zwischen jemandem, der im Wald ziellos umherirrt, und jemandem, der einen kompassgesteuerten Pfad durch den Wald findet, um genau das Ziel zu erreichen.

1. Problemstellung

Das wissenschaftliche Reasoning (Schlussfolgern) stellt große Herausforderungen für Large Language Models (LLMs) dar. Es erfordert nicht nur komplexe, mehrstufige Denkprozesse, sondern auch tiefes Fachwissen über domänenspezifische Terminologien und die Fähigkeit, sich an aktuelle Forschungsergebnisse anzupassen.

Zwei gängige Strategien zur Bewältigung dieser Aufgaben sind:

Schrittweises Reasoning (Step-by-Step): Zerlegt komplexe Probleme in Zwischenstufen (z. B. Chain-of-Thought), nutzt jedoch oft nur das parametrisierte Wissen des Modells, was zu Halluzinationen oder veraltetem Wissen führen kann.
Retrieval-Augmented Generation (RAG): Fügt externes Wissen hinzu, um Halluzinationen zu reduzieren. Herkömmliche RAG-Ansätze scheitern jedoch oft bei wissenschaftlichen Aufgaben, da sie:
- Oft nur auf oberflächliche thematische Ähnlichkeit (Domain Similarity) statt auf logische Relevanz abzielen.
- Annahmen über kuratierte, aufgabenspezifische Korpora treffen, anstatt mit „in-the-wild"-Quellen (wie Wikipedia) zu arbeiten.
- Nicht berücksichtigen, dass jeder einzelne Schritt eines Reasoning-Prozesses unterschiedliches, spezifisches Wissen benötigt.

Die zentrale Frage ist: Wie kann man für jeden einzelnen Schritt eines wissenschaftlichen Reasoning-Prozesses die richtige externe Information aus einem unstrukturierten, offenen Korpus effizient und logisch korrekt abrufen?

2. Methodik: RAISE Framework

Die Autoren stellen RAISE (Step-by-Step Retrieval-Augmented Inference for Scientific rEasoning) vor. Dies ist ein Framework, das wissenschaftliches Reasoning durch eine feingranulare, schrittweise Abrufstrategie verbessert. Es besteht aus drei Hauptphasen:

Phase 1: Problemzerlegung (Problem Decomposition)

Das ursprüngliche Problem $x$ wird vom LLM in eine strukturierte Sequenz von Unterfragen ( $r_1, ..., r_n$ ) und entsprechenden Suchanfragen ( $q_1, ..., q_n$ ) zerlegt.

Im Gegensatz zu herkömmlichen Ansätzen, die eine einzige Suchanfrage für das gesamte Problem stellen, werden hier spezifische Suchanfragen für jeden logischen Zwischenschritt generiert.
Diese initialen Suchanfragen dienen noch nicht dem direkten Abruf, sondern als Eingabe für die nächste Phase.

Phase 2: Logische Query-Generierung (Logical Query Generation)

Dies ist der Kerninnovationsschritt. Die initialen Suchanfragen $q_i$ und die Unterfragen $r_i$ werden kombiniert, um eine logisch angereicherte Query ( $q^*_i$ ) zu generieren.

Problem: Reine Unterfragen sind oft zu spezifisch oder verrauscht; reine Suchanfragen fehlen der logische Kontext.
Lösung: Das Modell wird angewiesen, eine Query zu formulieren, die die logische Absicht und das notwendige Schlussfolgern für den jeweiligen Schritt einfängt.
Selbst wenn die generierte Query faktisch ungenau ist, zielt sie darauf ab, Passagen zu finden, die logisch relevant für die Lösung des Problems sind, anstatt nur thematisch ähnliche Texte.

Phase 3: Logischer Abruf (Logical Retrieval)

Für jede Unterfrage $r_i$ werden Dokumente aus einem offenen Korpus (z. B. Wikipedia, „in-the-wild") abgerufen.

Es wird ein Ähnlichkeitsschwellenwert ( $T$ ) verwendet, um irrelevante Dokumente herauszufiltern.
Die abgerufenen Dokumente $D_i$ werden genutzt, um die Antwort auf die Unterfrage ( $a_i$ ) zu generieren, unter Berücksichtigung des ursprünglichen Problems und der vorherigen Schritte.
Schließlich werden alle Teillösungen zu einer finalen Antwort $y$ zusammengeführt.

3. Schlüsselbeiträge

Neues Paradigma für RAG: RAISE verschiebt den Fokus von der reinen thematischen Ähnlichkeit hin zur logischen Relevanz. Es wird gezeigt, dass für wissenschaftliches Reasoning Dokumente benötigt werden, die die logischen Verbindungen zwischen den Schritten unterstützen, nicht nur Fachbegriffe definieren.
Unabhängigkeit von kuratierten Korpora: Das Framework funktioniert effektiv mit „in-the-wild"-Quellen (Wikipedia), was es für reale, komplexe Szenarien anwendbar macht, in denen keine spezialisierten Datenbanken verfügbar sind.
Logische Query-Generierung: Die Einführung einer spezifischen Phase zur Umformulierung von Suchanfragen, die den Reasoning-Kontext explizit einbeziehen, verbessert die Qualität der abgerufenen Informationen signifikant im Vergleich zu Baselines wie HyDE oder Step-Back.
Robustheit über Modellgrößen hinweg: Die Methode ist skalierbar und funktioniert sowohl mit großen Modellen (Mistral 24B) als auch mit kleineren Open-Source-Modellen (LLaMA 8B).

4. Ergebnisse

Das Framework wurde auf drei wissenschaftlichen Benchmarks evaluiert: GPQA (Graduate-level Google-Proof Q&A), SuperGPQA und MMLU.

Leistungssteigerung: RAISE übertrifft konsistent alle Baselines (einschließlich direkter Reasoning-Ansätze, CoT, CoT+RAG, Least-to-Most, Step-Back und deren RAG-Varianten).
- Auf GPQA erzielte RAISE eine Genauigkeit von 51,01 %, was einer Steigerung von +9,8 % gegenüber dem besten Baseline (HyDE mit 46,46 %) entspricht.
- Auf SuperGPQA (Science-Hard) wurde eine Steigerung von +33,3 % gegenüber dem besten Baseline erreicht.
- Der durchschnittliche Leistungsanstieg über alle Benchmarks betrug ca. 13 %.
Qualitative Analyse:
- Eine Evaluation durch „LLM-as-a-Judge" und menschliche Annotatoren zeigte, dass RAISE deutlich weniger irrelevante oder nur oberflächlich relevante Dokumente abruft.
- RAISE findet häufiger Passagen, die essentielle wissenschaftliche Mechanismen oder Prinzipien enthalten, die für die logische Herleitung notwendig sind.
Ablation Study: Eine Variante ohne Problemzerlegung (RAISE-Direct) schnitt schlechter ab, was beweist, dass die Zerlegung des Problems in Unterfragen entscheidend ist, um den Abrufprozess zu steuern und den Reasoning-Pfad zu strukturieren.

5. Bedeutung und Fazit

RAISE adressiert eine kritische Lücke in der aktuellen Forschung: Die Integration von externem Wissen in komplexe, mehrstufige Reasoning-Aufgaben. Während frühere Arbeiten oft annahmen, dass thematisch ähnliche Dokumente ausreichen, zeigt RAISE, dass für wissenschaftliche Probleme logisch abgestimmte Informationen notwendig sind.

Die Arbeit demonstriert, dass durch die Kombination von Problemzerlegung und einer intelligenten, kontextbewussten Query-Generierung LLMs in der Lage sind, auch mit unstrukturierten, offenen Datenquellen (wie Wikipedia) hochkomplexe wissenschaftliche Probleme zu lösen. Dies hat weitreichende Implikationen nicht nur für die Wissenschaft, sondern auch für andere Bereiche, die präzises, mehrstufiges logisches Schlussfolgern erfordern, wie z. B. Mathematik oder juristische Analyse. Der Code ist öffentlich verfügbar, was die Reproduzierbarkeit und Weiterentwicklung fördert.