Evaluating Large Language Model Performance on International Maritime Dangerous Goods Code Compliance
Dieses Paper stellt DGEval vor, den ersten Benchmark zur Bewertung von Large Language Models hinsichtlich des International Maritime Dangerous Goods (IMDG) Code, und zeigt auf, dass Modelle zwar bei Multiple-Choice-Fragen und strukturierten Abfragen die menschliche Leistung übertreffen können, ihre Unzuverlässigkeit in sicherheitskritischen Bereichen wie Unterbringung und Trennung jedoch eine fortgesetzte menschliche Aufsicht vor dem Einsatz erforderlich macht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Der Ozean ist eine gewaltige, mächtige Kraft, und der Transport von Gütern über ihn erfordert ein strenges Regelwerk, um Schiffe, Besatzungen und die Umwelt zu schützen. Wenn Unternehmen Gefahrgut wie Chemikalien, Batterien oder entflammbare Flüssigkeiten verschiffen, müssen sie ein massives internationales Regelwerk befolgen, den International Maritime Dangerous Goods Code. Dieses Dokument ist keine einfache Liste; es ist ein komplexes Geflecht von Anweisungen, das vorschreibt, wie jeder einzelne Gegenstand klassifiziert, verpackt, etikettiert und auf einem Schiff platziert werden muss. Fehler bei der Umsetzung können zu Bränden, Explosionen oder toxischen Freisetzungen führen, die auf hoher See kaum noch zu beheben sind. Jahrzehntelang haben sich die für diese Entscheidungen verantwortlichen Fachkräfte auf ihre eigene Ausbildung und sorgfältige manuelle Prüfungen verlassen, um die Einhaltung der Vorschriften zu gewährleisten. Heute wenden sich viele dieser Fachleute jedoch einer neuen Art von Werkzeug zu: Systemen der künstlichen Intelligenz, die als Large Language Models bekannt sind. Diese Computerprogramme können Texte lesen und Fragen in menschlicher Sprache beantworten, was das Versprechen eines sofortigen Zugangs zu den tausenden Seiten an Vorschriften bietet. Doch da ein Fehler in diesem Bereich Menschenleben kosten kann, stellt sich nicht nur die Frage, ob diese Werkzeuge intelligent sind, sondern ob sie sicher genug sind, um die kritischsten Entscheidungen anzuvertrauen.
Ein Forscherteam unternahm den Versuch, diese Frage zu beantworten, indem es einen strengen Test entwickelte, der speziell auf die Sicherheit in der Seefahrt zugeschnitten ist. Sie erstellten einen Benchmark namens DGEval, der als Abschlussprüfung für künstliche Intelligenz fungiert. Der Test wurde aus realen Schulungsmaterialien erstellt, die von Fachleuten in der Schifffahrt verwendet werden, sowie aus der offiziellen Liste der Gefahrgüter. Er enthält fast 1.700 Fragen, die von der Identifizierung des korrekten Namens für eine Chemikalie bis hin zur Klärung der Frage reichen, wo ein bestimmter Behälter auf einem Schiff platziert werden kann, ohne eine Katastrophe auszulösen. Die Forscher evaluierten dreizehn verschiedene Modelle der künstlichen Intelligenz von sechs großen Technologieunternehmen. Sie testeten diese Modelle auf verschiedene Weise, indem sie sie baten, Multiple-Choice-Fragen zu beantworten, Freitext-Erklärungen zu formulieren, spezifische Daten nachzuschlagen und genau anzugeben, welcher Teil des Regelwerks die Antwort enthielt. Sie testeten auch, ob der Zugriff der Modelle auf das Internet zur Informationssuche ihre Leistung verbesserte.
Die Ergebnisse zeigten eine klare Kluft zwischen dem, was diese Modelle können, und dem, was sie nicht können. Das leistungsstärkste Modell, ein großes System von Google, konnte Multiple-Choice-Fragen häufiger korrekt beantworten als der durchschnittliche ausgebildete Fachmann. Es zeichnete sich durch das Abrufen einfacher Fakten aus, wie etwa den offiziellen Namen einer Chemikalie oder deren grundlegende Gefahrenklasse. Die Studie stellte jedoch fest, dass die Modelle in den Bereichen, die für die Sicherheit am wichtigsten sind, deutlich schwächer waren. Wenn die Fragen komplexe operative Entscheidungen betrafen – insbesondere wie inkompatible Güter zu trennen sind oder wo sie auf einem Schiff zu verstauen sind –, hatten die Modelle Schwierigkeiten. Selbst die leistungsstärksten Systeme machten in diesen Hochrisikobereichen häufig Fehler. Die Forscher entdeckten auch, dass die Modelle sehr schlecht darin waren, auf den spezifischen Abschnitt des Regelwerks hinzuweisen, in dem eine Antwort zu finden war – eine Fähigkeit, die für einen Menschen unerlässlich ist, um die Arbeit der KI zu verifizieren.
Die Studie untersuchte auch, wie verschiedene Arten von Fragen die Leistung beeinflussten. Wenn die Modelle lediglich gebeten wurden, die richtige Antwort aus einer Liste auszuwählen, schnitten sie recht gut ab. Wenn sie jedoch gebeten wurden, eine Antwort aus dem Stegreifen zu generieren, ohne dass Optionen zur Auswahl standen, sank ihre Genauigkeit. Dies deutet darauf hin, dass die Modelle gut darin sind, korrekte Informationen zu erkennen, wenn ihnen diese präsentiert werden, aber weniger zuverlässig darin, diese Informationen eigenständig zu produzieren. Die Forscher fanden heraus, dass der Zugriff der Modelle auf das Internet zur Suche nach Antworten ihnen half, wenn es um das Nachschlagen spezifischer Daten ging, dies jedoch nicht bei komplexen Denkaufgaben half. Interessanterweise war ein Modell, das speziell auf maritime Vorschriften trainiert worden war, nicht besser als ein Standardmodell für allgemeine Zwecke, was darauf hindeutet, dass es nicht ausreicht, einfach mehr Texte über Schiffe zu den Trainingsdaten hinzuzufügen, um das Problem zu lösen.
Die vielleicht wichtigste Erkenntnis war, dass die Modelle inkonsistent waren. Ein System konnte einen einfachen Fakt richtig angeben, aber an einer sicherheitskritischen Regel scheitern, die einen Brand verhindern könnte. Die Forscher stellten fest, dass die Modelle oft die Beantwortung von Fragen über gefährliche Substanzen wie Sprengstoffe oder giftige Gase verweigerten, indem sie legitime Sicherheitsanfragen so behandelten, als handele es sich um schädliche Anfragen. Diese Unfähigkeit, zwischen einer Sicherheitsfrage und einer Sicherheitsbedrohung zu unterscheiden, bedeutet, dass diese Werkzeuge derzeit für die gefährlichsten Teile des Jobs unzuverlässig sind. Die Studie kam zu dem Schluss, dass diese KI-Werkzeuge zwar nützlich sein können, um Fachleuten beim schnellen Auffinden von Informationen zu helfen, aber noch nicht bereit sind, eigenständig Sicherheitsentscheidungen zu treffen. Die Forscher betonten, dass die menschliche Aufsicht unverzichtbar bleibt. Ein Fachmann muss die Arbeit der KI immer gegen das offizielle Regelwerk prüfen, bevor er eine endgültige Entscheidung trifft. Die Studie ist kein einmaliges Urteil, sondern ein Instrument zur kontinuierlichen Sicherheitsüberprüfung, das die Branche daran erinnert, dass diese Computersysteme ständig getestet werden müssen, während sie sich weiterentwickeln, um sicherzustellen, dass sie nicht versagen, wenn es darauf ankommt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.