Evaluating Large Language Model Performance on International Maritime Dangerous Goods Code Compliance
Este artículo presenta DGEval, el primer referente para evaluar Modelos de Lenguaje Extensos en el Código Marítimo Internacional de Mercancías Peligrosas (IMDG), revelando que, si bien los modelos pueden superar a los humanos en preguntas de opción múltiple y búsquedas estructuradas, su falta de fiabilidad en áreas críticas para la seguridad, como la estiba y la segregación, hace necesaria la supervisión humana continua antes de su despliegue.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
El océano es una fuerza vasta y poderosa, y mover mercancías a través de él requiere un conjunto estricto de reglas para mantener seguros a los barcos, las tripulaciones y el medio ambiente. Cuando las empresas transportan materiales peligrosos como productos químicos, baterías o líquidos inflamables, deben seguir un enorme libro de reglas internacionales llamado Código Marítimo Internacional de Mercancías Peligrosas. Este documento no es una simple lista; es una compleja red de instrucciones que dicta cómo cada artículo debe ser clasificado, embalado, etiquetado y ubicado en un barco. Equivocarse puede provocar incendios, explosiones o liberaciones tóxicas que son casi imposibles de solucionar una vez que el barco está en alta mar. Durante décadas, las personas responsables de estas decisiones han dependido de su propia formación y de cuidadosas comprobaciones manuales para garantizar el cumplimiento. Hoy en día, sin embargo, muchos de estos profesionales están recurriendo a un nuevo tipo de herramienta: sistemas de inteligencia artificial conocidos como modelos de lenguaje extensos. Estos programas informáticos pueden leer y responder preguntas en lenguaje humano, ofreciendo la promesa de un acceso instantáneo a las miles de páginas de regulaciones. Pero debido a que un error en este campo puede costar vidas, la pregunta no es solo si estas herramientas son inteligentes, sino si son lo suficientemente seguras como para confiarles las decisiones más críticas.
Un equipo de investigadores se propuso responder a esta pregunta construyendo una prueba rigurosa diseñada específicamente para la seguridad marítima. Crearon un referente llamado DGEval, que actúa como un examen final para la inteligencia artificial. La prueba se construyó a partir de materiales de formación del mundo real utilizados por profesionales del transporte marítimo y la lista oficial de mercancías peligrosas. Contiene casi 1.700 preguntas que abarcan desde identificar el nombre correcto de un producto químico hasta determinar dónde puede colocarse un contenedor específico en un barco sin causar un desastre. Los investigadores evaluaron trece modelos diferentes de inteligencia artificial de seis grandes empresas tecnológicas. Probaron estos modelos de diversas maneras, pidiéndoles que respondieran preguntas de opción múltiple, escribieran explicaciones de texto libre, buscaran datos específicos e identificaran exactamente qué parte del libro de reglas contenía la respuesta. También probaron si dar a los modelos acceso a internet para buscar información les ayudaba a mejorar su rendimiento.
Los resultados revelaron una clara división entre lo que estos modelos pueden hacer y lo que no pueden hacer. El modelo con mejor desempeño, un sistema grande de Google, fue capaz de responder preguntas de opción múltiple correctamente con más frecuencia que el profesional humano promedio entrenado. Sobresalió en la recuperación de hechos directos, como el nombre oficial de un producto químico o su clase de peligro básica. Sin embargo, el estudio encontró que los modelos eran significativamente más débiles en las áreas que más importan para la seguridad. Cuando las preguntas involucraban decisiones operativas complejas —específicamente cómo separar bienes incompatibles o dónde estibarlos en una embarcación—, los modelos tuvieron dificultades. Incluso los sistemas de mejor rendimiento cometieron errores frecuentes en estas áreas de alto riesgo. Los investigadores también descubrieron que los modelos eran pésimos para señalar la sección específica del libro de reglas donde se podía encontrar una respuesta, una habilidad que es esencial para que un humano verifique el trabajo de la IA.
El estudio también analizó cómo diferentes tipos de preguntas afectaban el desempeño. Cuando se les pedía a los modelos que simplemente eligieran la respuesta correcta de una lista, lo hacían razonablemente bien. Pero cuando se les pedía generar una respuesta desde cero sin ninguna opción para elegir, su precisión disminuía. Esto sugiere que los modelos son buenos reconociendo la información correcta cuando se les presenta, pero son menos fiables al producir esa información por sí mismos. Los investigadores encontraron que dar a los modelos acceso a internet para buscar respuestas les ayudaba significativamente al buscar datos específicos, pero no les ayudaba con tareas de razonamiento complejo. Curiosamente, un modelo que había sido entrenado específicamente en regulaciones marítimas no funcionó mejor que un modelo estándar de propósito general, lo que indica que simplemente añadir más texto sobre barcos a los datos de entrenamiento no es suficiente para resolver el problema.
Quizás el hallazgo más importante fue que los modelos eran inconsistentes. Un sistema podía acertar un hecho simple pero fallar en una regla crítica para la seguridad que podría prevenir un incendio. Los investigadores señalaron que los modelos a menudo se negaban a responder preguntas sobre sustancias peligrosas como explosivos o gases tóxicos, tratando consultas de seguridad legítimas como si fueran solicitudes dañinas. Esta incapacidad para distinguir entre una pregunta de seguridad y una amenaza a la seguridad significa que las herramientas son actualmente poco fiables para las partes más peligrosas del trabajo. El estudio concluyó que, si bien estas herramientas de inteligencia artificial pueden ser útiles para ayudar a los profesionales a encontrar información rápidamente, aún no están listas para tomar decisiones de seguridad por sí solas. Los investigadores enfatizaron que la supervisión humana sigue siendo esencial. Un profesional siempre debe verificar el trabajo de la IA contra el libro de reglas oficial antes de tomar una decisión final. El estudio no es un veredicto único, sino una herramienta para la garantía de seguridad continua, recordando a la industria que, a medida que estos sistemas informáticos evolucionan, deben ser probados constantemente para asegurar que no fallen cuando más importa.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.