Evaluating Large Language Model Performance on International Maritime Dangerous Goods Code Compliance
Dit artikel introduceert DGEval, de eerste benchmark voor het beoordelen van Large Language Models op de International Maritime Dangerous Goods (IMDG) Code, waarbij wordt onthuld dat hoewel modellen menselijke prestaties kunnen overtreffen bij meerkeuzevragen en gestructureerde zoekopdrachten, hun onbetrouwbaarheid in veiligheidskritische gebieden zoals opslag en scheiding voortdurende menselijk toezicht noodzakelijk maakt vóór implementatie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
De oceaan is een enorme, krachtige kracht, en het vervoeren van goederen over deze wateren vereist een strikte set regels om schepen, bemanningen en het milieu veilig te houden. Wanneer bedrijven gevaarlijke stoffen zoals chemicaliën, batterijen of ontvlambare vloeistoffen verschepen, moeten ze een enorme internationale regelset volgen die de International Maritime Dangerous Goods Code wordt genoemd. Dit document is geen eenvoudige lijst; het is een complex web van instructies dat bepaalt hoe elk item moet worden geclassificeerd, verpakt, gelabeld en op een schip moet worden geplaatst. Het fout doen ervan kan leiden tot brand, explosies of giftige vrijkomsten die bijna onmogelijk te herstellen zijn zodra een schip op zee is. Decennialang hebben de mensen die verantwoordelijk zijn voor deze beslissingen vertrouwd op hun eigen training en zorgvuldige handmatige controles om naleving te garanderen. Vandaag de dag wenden veel van deze professionals zich echter tot een nieuw soort hulpmiddel: kunstmatige intelligentiesystemen die bekend staan als large language models. Deze computerprogramma's kunnen menselijke taal lezen en vragen beantwoorden, wat de belofte inhoudt van directe toegang tot de duizenden pagina's aan regelgeving. Maar omdat een fout in dit vakgebied levens kan kosten, is de vraag niet alleen of deze tools slim genoeg zijn, maar of ze veilig genoeg zijn om te vertrouwen met de meest kritieke beslissingen.
Een team van onderzoekers zette zich in om deze vraag te beantwoorden door een rigoureuze test te bouwen die specifiek is ontworpen voor maritieme veiligheid. Ze creëerden een benchmark genaamd DGEval, die fungeert als een eindexamen voor kunstmatige intelligentie. De test werd gebouwd op basis van echte trainingsmaterialen die door maritieme professionals worden gebruikt en de officiële lijst van gevaarlijke goederen. Het bevat bijna 1.700 vragen die alles dekken, van het identificeren van de juiste naam voor een chemische stof tot het uitzoeken waar een specifieke container geplaatst kan worden op een schip zonder een ramp te veroorzaken. De onderzoekers evalueerden dertien verschillende kunstmatige intelligentiemodellen van zes grote technologiebedrijven. Ze testten deze modellen op verschillende manieren, waarbij ze hen vroegen meerkeuzevragen te beantwoorden, vrije tekstverklaringen te schrijven, specifieke gegevens op te zoeken en precies aan te geven welk deel van de regelset de basis vormde voor het antwoord. Ze testten ook of het geven van toegang tot het internet voor het zoeken naar informatie de modellen hielp om beter te presteren.
De resultaten toonden een duidelijke kloof tussen wat deze modellen wel en niet kunnen. Het best presterende model, een groot systeem van Google, was in staat om meer vaak correcte antwoorden te geven op meerkeuzevragen dan de gemiddelde getrainde menselijke professional. Het blonk uit in het ophalen van eenvoudige feiten, zoals de officiële naam van een chemische stof of de basis gevarenklasse. Echter, de studie toonde aan dat de modellen aanzienlijk zwakker waren op de gebieden die het belangrijkst zijn voor de veiligheid. Wanneer de vragen complexe operationele beslissingen betroffen—met name hoe incompatibele goederen te scheiden of waar ze op een vaartuig te stouwen—struikelden de modellen. Zelfs de best presterende systemen maakten frequente fouten in deze risicovolle gebieden. De onderzoekers ontdekten ook dat de modellen er slecht in waren om aan te wijzen welke specifieke sectie van de regelset de bron van een antwoord bevatte, een vaardigheid die essentieel is voor een mens om het werk van de AI te verifiëren.
De studie keek ook naar hoe verschillende soorten vragen de prestaties beïnvloedden. Wanneer de modellen simpelweg de juiste keuze uit een lijst moesten maken, presteerden ze redelijk goed. Maar wanneer ze werden gevraagd om een antwoord vanuit het niets te genereren zonder enige opties om uit te kiezen, daalde hun nauwkeurigheid. Dit suggereert dat de modellen goed zijn in het herkennen van correcte informatie wanneer deze aan hen wordt gepresenteerd, maar dat ze minder betrouwbaar zijn in het zelfstandig produceren van die informatie. De onderzoekers ontdekten dat het geven van toegang tot het internet om naar antwoorden te zoeken de modellen aanzienlijk hielp bij het opzoeken van specifieke gegevens, maar dat dit hen niet hielp bij complexe redeneertaken. Interessant genoeg presteerde een model dat specifiek was getraind op maritieme regelgeving niet beter dan een standaard, algemeen doelgericht model, wat aangeeft dat het simpelweg toevoegen van meer tekst over schepen aan de trainingsdata niet voldoende is om het probleem op te lossen.
Misschien wel de belangrijkste bevinding was dat de modellen inconsistent waren. Een systeem kan een eenvoudig feit goed krijgen, maar falen op een veiligheidskritische regel die een brand zou kunnen voorkomen. De onderzoekers merkten op dat de modellen vaak weigerden vragen te beantwoorden over gevaarlijke stoffen zoals explosieven of giftige gassen, waarbij ze legitieme veiligheidsvragen behandelden alsoals schadelijke verzoeken. Dit onvermogen om een veiligheidsvraag te onderscheiden van een veiligheidsdreiging betekent dat de tools momenteel onbetrouwbaar zijn voor de gevaarlijkste delen van het werk. De studie concludeerde dat hoewel deze kunstmatige intelligentietools nuttig kunnen zijn om professionals te helpen snel informatie te vinden, ze nog niet klaar zijn om zelfstandig veiligheidsbeslissingen te nemen. De onderzoekers benadrukten dat menselijk toezicht essentieel blijft. Een professional moet het werk van de AI altijd controleren tegen de officiële regelset voordat er een definitieve beslissing wordt genomen. De studie is niet een eenmalig oordeel, maar een instrument voor continue veiligheidsborging, dat de sector eraan herinnert dat naarmate deze computersystemen evolueren, ze constant getest moeten worden om te garanderen dat ze niet falen wanneer het er echt toe doet.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.