Evaluating Large Language Model Performance on International Maritime Dangerous Goods Code Compliance
Cet article présente DGEval, le premier benchmark pour évaluer les grands modèles de langage sur le Code maritime international des marchandises dangereuses (IMDG), révélant que si les modèles peuvent surpasser les humains sur des questions à choix multiples et des recherches structurées, leur manque de fiabilité dans des domaines critiques pour la sécurité tels que l'arrimage et la ségrégation nécessite le maintien d'une surveillance humaine avant tout déploiement.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
L'océan est une force vaste et puissante, et le transport de marchandises à travers lui nécessite un ensemble de règles strictes pour garantir la sécurité des navires, des équipages et de l'environnement. Lorsque les entreprises expédient des matières dangereuses comme des produits chimiques, des batteries ou des liquides inflammables, elles doivent suivre un immense recueil de règles internationales appelé le Code maritime international des marchandises dangereuses. Ce document n'est pas une simple liste ; c'est un réseau complexe d'instructions qui dicte la manière dont chaque article doit être classé, emballé, étiqueté et placé sur un navire. Se tromper peut entraîner des incendies, des explosions ou des rejets toxiques qu'il est presque impossible de maîtriser une fois qu'un navire est en haute mer. Pendant des décennies, les personnes responsables de ces décisions se sont appuyées sur leur propre formation et sur des vérifications manuelles méticuleuses pour assurer la conformité. Aujourd'hui, cependant, de nombreux professionnels se tournent vers un nouvel outil : les systèmes d'intelligence artificielle connus sous le nom de modèles de langage étendus. Ces programmes informatiques peuvent lire et répondre à des questions en langage humain, offrant la promesse d'un accès instantané à des milliers de pages de réglementations. Mais parce qu'une erreur dans ce domaine peut coûter des vies, la question n'est pas seulement de savoir si ces outils sont intelligents, mais s'ils sont assez sûrs pour qu'on puisse leur confier les décisions les plus critiques.
Une équipe de chercheurs s'est donné pour mission de répondre à cette question en construisant un test rigoureux spécifiquement conçu pour la sécurité maritime. Ils ont créé un benchmark appelé DGEval, qui fait office d'examen final pour l'intelligence artificielle. Le test a été construit à partir de matériels de formation réels utilisés par les professionnels du transport maritime et de la liste officielle des marchandises dangereuses. Il contient près de 1 700 questions couvrant tout, de l'identification du nom correct d'un produit chimique à la détermination de l'endroit où un conteneur spécifique peut être placé sur un navire sans provoquer de catastrophe. Les chercheurs ont évalué treize modèles d'intelligence artificielle différents provenant de six grandes entreprises technologiques. Ils ont testé ces modèles de diverses manières, en leur demandant de répondre à des questions à choix multiples, de rédiger des explications en texte libre, de rechercher des données spécifiques et d'identifier précisément quelle partie du recueil de règles contenait la réponse. Ils ont également testé si le fait de donner aux modèles l'accès à Internet pour rechercher des informations les aidait à de meilleures performances.
Les résultats ont révélé une division claire entre ce que ces modèles peuvent faire et ce qu'ils ne peuvent pas faire. Le modèle le plus performant, un système de grande envergure de Google, a été capable de répondre correctement à des questions à choix multiples plus souvent que la moyenne des professionnels formés. Il excellait dans la récupération de faits directs, tels que le nom officiel d'un produit chimique ou sa classe de danger de base. Cependant, l'étude a révélé que les modèles étaient nettement plus faibles dans les domaines qui comptent le plus pour la sécurité. Lorsque les questions impliquaient des décisions opérationnelles complexes — spécifiquement comment séparer des marchandises incompatibles ou où les arrimer sur un navire — les modèles éprouvaient des difficultés. Même les systèmes les plus performants commettaient des erreurs fréquentes dans ces domaines à haut risque. Les chercheurs ont également découvert que les modèles étaient incapables de pointer la section spécifique du recueil de règles où une réponse pouvait être trouvée, une compétence essentielle pour qu'un humain puisse vérifier le travail de l'IA.
L'étude a également examiné comment différents types de questions affectaient la performance. Lorsque les modèles devaient simplement choisir la bonne réponse dans une liste, ils s'en sortaient raisonnablement bien. Mais lorsqu'on leur demandait de générer une réponse de zéro, sans aucune option de choix, leur précision chutait. Cela suggère que les modèles sont bons pour reconnaître des informations correctes lorsqu'elles leur sont présentées, mais qu'ils sont moins fiables pour produire ces informations par eux-mêmes. Les chercheurs ont constaté que donner aux modèles l'accès à Internet pour chercher des réponses les aidait considérablement lorsqu'ils recherchaient des données spécifiques, mais que cela ne les aidait pas pour les tâches de raisonnement complexe. Curieusement, un modèle qui avait été spécifiquement entraîné sur les réglementations maritimes n'a pas été plus performant qu'un modèle standard à usage général, indiquant que le simple fait d'ajouter plus de textes sur les navires aux données d'entraînement ne suffit pas à résoudre le problème.
La découverte la plus importante était peut-être l'inconstance des modèles. Un système peut donner une réponse correcte pour un fait simple, mais échouer sur une règle critique pour la sécurité qui pourrait prévenir un incendie. Les chercheurs ont noté que les modèles refusaient souvent de répondre à des questions sur des substances dangereuses comme les explosifs ou les gaz toxiques, traitant des demandes de sécurité légitimes comme s'il s'agissait de requêtes malveillantes. Cette incapacité à distinguer une question de sécurité d'une menace pour la sécurité signifie que ces outils sont actuellement peu fiables pour les parties les plus dangereuses du métier. L'étude a conclu que, bien que ces outils d'intelligence artificielle puissent être utiles pour aider les professionnels à trouver des informations rapidement, ils ne sont pas encore prêts à prendre des décisions de sécurité de manière autonome. Les chercheurs ont souligné que la supervision humaine reste essentielle. Un professionnel doit toujours vérifier le travail de l'IA par rapport au recueil de règles officiel avant de prendre une décision finale. L'étude n'est pas un verdict définitif, mais un outil pour une assurance de sécurité continue, rappelant à l'industrie qu'à mesure que ces systèmes informatiques évoluent, ils doivent être constamment testés pour s'assurer qu'ils ne faillent pas au moment où cela compte le plus.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.