🤖 AI

Multi-Field Hybrid Retrieval-Augmented Generation for Maritime Accident Root Cause Analysis

Dieses Paper schlägt ein Multi-Field-Hybrid-Retrieval-Augmented-Generation-Framework vor, das einen strukturierten Datensatz aus 13.329 Seeunfallberichten nutzt, um sowohl den Abruf relevanter Präzedenzfälle als auch die Qualität der automatisierten Entwurfserstellung von Ursachenanalysen im Vergleich zu Baseline-Methoden signifikant zu verbessern.

Ursprüngliche Autoren: Seongjin Kim, Sungil Kim

Veröffentlicht 2026-06-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Seongjin Kim, Sungil Kim

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Ermittler für maritime Sicherheit, der versucht, einen neuen Unfall aufzuklären. Um Ihren Job gut zu machen, müssen Sie Tausende von alten Fallakten aus den letzten 50 Jahren durchsehen, um zu sehen, wie ähnliche Unfälle früher gelöst wurden. Dies wird als Ursachenanalyse (Root Cause Analysis, RCA) bezeichnet.

Das Problem ist, dass diese alten Akten unordentlich sind. Sie sind riesig, in komplexer juristischer und technischer Sprache verfasst, und die wichtigen Hinweise sind in verschiedenen Abschnitten vergraben. Ein menschlicher Ermittler könnte Tage damit verbringen, nur diese Dateien zu lesen und abzugleichen.

Dieses Papier stellt einen neuen „KI-Assistenten für Ermittler“ vor, der darauf ausgelegt ist, diesen Prozess zu beschleunigen. So funktioniert er, einfach erklärt:

1. Das Problem: Die „Textwand“

Stellen Sie sich vor, Sie versuchen, ein bestimmtes Rezept in einer Bibliothek zu finden, in der jedes Buch eine riesige, ununterbrochene Textwand ist, die die Geschichte einer Mahlzeit, die Liste der Zutaten und das abschließende Urteil eines Richters enthält, alles vermischt. Wenn Sie nach „Feuer“ suchen, zeigt Ihnen der Computer vielleicht eine Geschichte über ein Feuer an, aber er zeigt Ihnen vielleicht auch ein Urteil über ein Feuer an, das nichts mit Ihrem aktuellen Fall zu tun hat.

In der Vergangenheit behandelten KI-Systeme diese Unfallberichte wie diese riesige Textwand. Sie wurden verwirrt, weil der „Geschichts“-Teil, der „Ursachen“-Teil und der „Strafmaß“-Teil alle miteinander vermischt waren.

2. Die Lösung: Das „Indexkarten“-System

Die Forscher nahmen 13.329 alte Unfallberichte und verwandelten sie in strukturierte „Ereigniskarten“.

Stellen Sie sich das so vor, als würde man diese riesige Textwand nehmen und sie für jeden einzelnen Fall in drei verschiedene, beschriftete Indexkarten schneiden:

Karte A (Zusammenfassung): Was ist passiert? (Die Geschichte)
Karte B (Ursachen): Warum ist es passiert? (Der technische Grund)
Karte C (Entscheidung): Was war das offizielle Urteil? (Das Ergebnis)

Durch diese Trennung kann die KI nach einer bestimmten Art von Hinweis suchen. Wenn Sie nach dem Warum suchen, warum ein Schiff gesunken ist, weiß die KI, dass sie in den „Ursachen“-Karten suchen muss und nicht in den „Geschichten“-Karten.

3. Die Suchmaschine: Der „Zwei-Beine-Wettlauf“

Um die richtigen Karten zu finden, nutzt die KI eine hybride Suchstrategie, die wie zwei verschiedene Detektive ist, die zusammenarbeiten:

Detektiv 1 (Der Keyword-Jäger): Dieser ist großartig darin, exakte Treffer zu finden, wie spezifische juristische Begriffe oder technische Codes (z. B. „Propan-Gas“). Es ist, als würde man eine Bibliothek nach dem exakten Buchtitel durchsuchen.
Detektiv 2 (Der Bedeutungs-Jäger): Dieser versteht die Idee hinter den Worten. Er weiß, dass „Schiff traf auf Felsen“ dasselbe ist wie „Schiff lief auf Riff auf“, auch wenn die Wörter unterschiedlich sind. Es ist, als würde man nach dem Plot einer Geschichte suchen.

Das System kombiniert die Ergebnisse beider Detektive. Wenn einer einen Treffer findet und der andere einen ähnlichen Treffer, stimmen sie darüber ab, welcher der beste ist. Dies stellt sicher, dass die KI nichts übersieht, nur weil die Wortwahl etwas anders war.

4. Das Ergebnis: Ein besserer Bericht

Sobald die KI die besten historischen Beispiele (die „Präzedenzfälle“) gefunden hat, nutzt sie diese, um einen neuen Bericht für den aktuellen Unfall zu schreiben.

Ohne dieses System: Versucht die KI, die Ursache nur basierend auf ihrem allgemeinen Training zu erraten. Sie könnte eine plausibel klingende, aber falsche Ursache erfinden (eine „Halluzination“), wie zum Beispiel zu raten, dass ein Feuer durch Alkoholdämpfe entstand, obwohl es eigentlich Gas war.
Mit diesem System: Die KI schaut sich die echten, historischen „Ursachen“-Karten an, die sie gefunden hat. Sie sieht, dass in ähnlichen vergangenen Fällen die Ursache „leckendes Propan“ war. Dann schreibt sie einen Bericht, der besagt: „Basierend auf ähnlichen vergangenen Fällen wurde dies wahrscheinlich durch leckendes Propan verursacht.“

Was die Zahlen sagen

Die Forscher haben dies gegen eine Standard-KI getestet, die diese speziellen Karten oder die Zwei-Detektive-Suche nicht verwendete:

Finden der richtigen Dateien: Das neue System fand relevante vergangene Fälle dreimal besser als die alte Methode.
Schreiben des Berichts: Die mit Hilfe von vergangenen Fällen geschriebenen Berichte wurden in ihrer Qualität und Genauigkeit deutlich besser bewertet. Sie neigten weniger dazu, Dinge zu erfinden, und hielten sich eher an die in der Geschichte gefundenen Fakten.

Das Fazente

Dieses Papier zeigt, dass wir, indem wir unordentliche juristische Dokumente in ordentliche, getrennte Kategorien organisieren und eine intelligente Suche verwenden, die sowohl nach exakten Wörtern als auch nach allgemeinen Bedeutungen sucht, einen KI-Assistenten bauen können, der Ermittlern hilft, Unfälle schneller und genauer aufzuklären. Es verwandelt eine chaotische Bibliothek alter Fälle in ein gut organisiertes Referenzwerkzeug, das verhindert, dass die KI rät, und sie dazu zwingt, sich auf Beweise zu stützen.

Technisches Resümee: Multi-Field Hybrid RAG zur Ursachenanalyse maritimer Unfälle

Problemstellung
Berichte über die Entscheidungspraxis bei maritimen Unfällen, wie sie etwa vom Korea Maritime Safety Tribunal (KMST) erstellt werden, enthalten entscheidende Erkenntnisse für die Ursachenanalyse (Root Cause Analysis, RCA). Die Nutzung dieser Aufzeichnungen für neue Untersuchungen ist jedoch arbeitsintensiv. Die Berichte erstrecken sich über Jahrzehnte und sind durch dichte, fragmentierte Informationen gekennzeichnet, die juristische und technische Terminologie über verschiedene Abschnitte hinweg (Ereignisberichte, kausale Begründungen und Verfügungen) vermischen. Während Large Language Models (LLMs) Potenzial für die Automatisierung der narrativen Synthese bieten, neigen sie in spezialisierten Domänen zu Halluzinationen, indem sie plausible, aber faktisch falsche Regulierungen oder kausale Mechanismen generieren. Zudem stehen Standard-RAG-Ansätze in diesem Kontext vor zwei spezifischen Herausforderungen: (1) Die Behandlung von Entscheidungsberichten als monolithische Textblöcke verwässert die feld-spezifischen Signale, die für eine präzise Abfrage notwendig sind, und (2) die Bewertung der Retrieval-Qualität im großen Maßstab ist aufgrund der hohen Kosten für die Erstellung von Experten-Relevanzlabels schwierig.

Methodik
Die Autoren schlagen ein Multi-Field Hybrid RAG-Framework vor, das für eine fallbasierte strukturierte Generierung konzipiert ist. Die Methodik besteht aus vier primären Komponenten:

Konstruktion einer strukturierten Wissensbasis:
Das System nutzt einen Datensatz von 13.329 KMST-Entscheidungsberichten (1971–2025). Die Rohdokumente werden in strukturierte „Incident Cards“ transformiert, die drei distinkte abrufbare Felder enthalten: Summary (Ereignisbeschreibung), Causes (kausale Begründung des Tribunals) und Disposition (administrative Ergebnisse). Jede Karte wird zudem mit hierarchischen L1/L2-Ursachen-Tags und Metadaten (z. B. Unfalltyp, Zuständigkeit, Jahr) angereichert. Dieser Prozess liefert etwa 37.007 abrufbare Chunks.
Regelbasierte Taxonomie-Tagging:
Um eine strukturierte Generierung ohne umfangreiche manuelle Annotation zu ermöglichen, verwenden die Autoren einen Weak-Supervision-Ansatz. Unter Verwendung von etwa 2.400 Wörterbucheinträgen und 800 Regex-Mustern ordnen sie Schlüsselwörter und Ursachen aus den Berichten einer standardisierten KMST-Ursachen-Taxonomie (L1-Gruppen und 24 L2-Faktoren) zu, wobei eine Abdeckung von 97,6 % erreicht wird.
Multi-Field Hybrid Retrieval:
Die Retrieval-Strategie nutzt einen feld-bewussten Hybrid-Ansatz. Für jedes der drei Dokumentenfelder führt das System zwei komplementäre Retriever aus:
- Sparse Retrieval (BM25): Für das exakte Keyword-Matching technischer Identifikatoren.
- Dense Retrieval (BAAI/bge-m3): Zur Erfassung semantischer Paraphrasen.
  Die Ergebnisse dieser sechs unabhängigen Rankings (3 Felder × 2 Methoden) werden mittels Reciprocal Rank Fusion (RRF) fusioniert, um eine finale Rangliste der Evidenz-Chunks zu erstellen.
Strukturierte Generierung:
Der Generator (Qwen3-Next-80B-A3B-Instruct) wird auf die Top- $k$ abgerufenen Chunks konditioniert. Er hat die Aufgabe, eine prägnante Ursachen-Narrative ( $n$ ) zu synthetisieren und das Ereignis den standardisierten Taxonomie-Tags ( $T$ ) zuzuordnen. Die Ausgabe ist auf ein striktes JSON-Schema beschränkt, wobei eine Temperatur von 0.0 verwendet wird, um die Varianz zu minimieren.

Evaluationsprotokoll
Aufgrund des Fehlens groß angelegter Experten-Relevanzlabels führen die Autoren einen metadaten-basierten Proxy-Relevanzscore ($RelScore$) ein, der auf Keyword-Ähnlichkeit, Unfalltyp, Zuständigkeit und zeitlicher Nähe basiert. Die Retrieval-Leistung wird mittels Norm-Recall@100 und nDCG@100 gemessen. Die Generierungsqualität wird über ROUGE-L, SBERT-Cosinus-Ähnlichkeit und einen LLM-as-a-judge Score (Skala 1–5) bewertet, der Kohärenz und die Fundierung (Grounding) prüft.

Wichtigste Ergebnisse

Retrieval-Leistung: Das vorgeschlagene Multi-Field Hybrid-Verfahren übertrifft die Baselines signifikant.
- Der Wechsel von der Volltext-Indizierung zur Multi-Field-Indizierung verbesserte den Norm-Recall@100 von 0,1819 auf 0,4981 (Dense).
- Der hybride Ansatz (Fusion von BM25 und Dense) erreichte die höchste Leistung mit einem Norm-Recall@100 von 0,5463 und einem nDCG von 0,7697, verglichen mit 0,1819 für den Dense-Baseline-Ansatz der Volltext-Indizierung.
- Die Einbeziehung des Feldes „Disposition“ lieferte einen signifikanten Boost, was darauf hindeutet, dass administrative Ergebnisse diskriminative Signale zur Unterscheidung kausal unterschiedlicher Fälle liefern.
Generierungsleistung: Die Fundierung des Generators in abgerufenen Präzedenzfällen verbesserte den LLM-as-a-judge Score von 3,34 auf 3,72 (+11,5 %). Während die lexikalische Überlappung (ROUGE-L) und die semantische Ähnlichkeit nur geringfügige Gewinne zeigten, liegt die qualitative Verbesserung in der faktischen Konsistenz und der Fähigkeit, spezifische Präzedenzfälle zu zitieren.
Fallstudien: In spezifischen Beispielen (z. B. Strandungen und Explosionsunfälle) erzeugte die reine LLM-Baseline halluzinierte kausale Zusammenhänge (z. B. die Zuschreibung einer Explosion auf Alkoholdämpfe aufgrund von Alkoholkonsum der Besatzung). Das vorgeschlagene Framework identifizierte korrekt die technischen Mechanismen (z. B. Zündung von Propan-Gas), indem es die spezifischen „Causes“- und „Disposition“-Felder aus den abgerufenen Präzedenzfällen nutzte.

Bedeutung und Beiträge
Das Paper behauptet, dass sein primärer Beitrag darin besteht, zu zeigen, dass field-aware RAG die Arbeitsabläufe der maritimen Sicherheitsuntersuchungen erheblich optimieren kann. Durch die Isolierung deskriptiver Narrative von technischen und rechtlichen Begründungen rekonstruiert das System die diagnostischen Denkpfade, die Experten-Ermittler nutzen. Die Studie stellt fest:

Strukturelle Ausrichtung ist entscheidend: Die Behandlung von Dokumenten als monolithische Blöcke verwässert kritische Signale; die Trennung der Felder erhöht die Retrieval-Präzision.
Hybrides Retrieval ist essenziell: Die Kombination aus Sparse- und Dense-Signalen bietet Robustheit gegenüber Vokabular-Abweichungen und bewahrt gleichzeitig die Abrufbarkeit präziser technischer Terminologie.
Validität von Evaluations-Proxies: Ein metadaten-gesteuerter Proxy-Score kann als reproduzierbare, systematische Baseline für den Vergleich von Retrieval-Strategien in spezialisierten administrativen Domänen dienen, in denen Goldstandard-Labels fehlen.

Letztlich ermöglicht das Framework eine schnellere Suche nach Präzedenzfällen und eine konsistentere, evidenzbasierte Erstellung von RCA-Berichten, wodurch das Risiko von Halluzinationen in der hochsensiblen maritimen Sicherheitsanalyse reduziert wird.