Evaluating Large Language Model Performance on International Maritime Dangerous Goods Code Compliance
Este artigo apresenta o DGEval, o primeiro benchmark para avaliar Grandes Modelos de Linguagem no Código Marítimo Internacional de Mercadorias Perigosas (IMDG), revelando que, embora os modelos possam superar humanos em questões de múltipla escolha e buscas estruturadas, sua falta de confiabilidade em áreas críticas de segurança, como estiva e segregação, torna necessária a supervisão humana contínua antes da implementação.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
O oceano é uma força vasta e poderosa, e movimentar mercadorias através dele exige um conjunto rigoroso de regras para manter os navios, as tripulações e o meio ambiente seguros. Quando as empresas transportam materiais perigosos como produtos químicos, baterias ou líquidos inflamáveis, elas devem seguir um enorme código de regras internacionais chamado Código Marítimo Internacional de Mercadorias Perigosas. Este documento não é uma lista simples; é uma teia complexa de instruções que dita como cada item deve ser classificado, embalado, rotulado e posicionado em um navio. Errar pode levar a incêndios, explosões ou liberações tóxicas que são quase impossresíveis de corrigir uma vez que o navio esteja em alto-mar. Por décadas, as pessoas responsáveis por essas decisões confiaram em seu próprio treinamento e verificações manuais cuidadosas para garantir a conformidade. Hoje, porém, muitos desses profissionais estão recorrendo a um novo tipo de ferramenta: sistemas de inteligência artificial conhecidos como modelos de linguagem de grande escala. Esses programas de computador podem ler e responder perguntas em linguagem humana, oferecendo a promessa de acesso instantâneo aos milhares de páginas de regulamentos. Mas, como um erro neste campo pode custar vidas, a questão não é apenas se essas ferramentas são inteligentes, mas se são seguras o suficiente para serem confiadas com as decisões mais críticas.
Uma equipe de pesquisadores decidiu responder a essa pergunta construindo um teste rigoroso especificamente projetado para a segurança marítima. Eles criaram um benchmark chamado DGEval, que atua como um exame final para a inteligência artificial. O teste foi construído a partir de materiais de treinamento do mundo real usados por profissionais de navegação e da lista oficial de mercadorias perigosas. Ele contém quase 1.700 perguntas cobrindo tudo, desde identificar o nome correto para um produto químico até descobrir onde um contêiner específico pode ser colocado em um navio sem causar um desastre. Os pesquisadores avaliaram treze modelos diferentes de inteligência artificial de seis grandes empresas de tecnologia. Eles testaram esses modelos de várias maneiras, pedindo-lhes que respondessem a perguntas de múltipla escolha, escrevessem explicações de texto livre, buscassem dados específicos e identificassem exatamente qual parte do livro de regras continha a resposta. Eles também testaram se dar aos modelos acesso à internet para pesquisar informações ajudava-os a ter um melhor desempenho.
Os resultados revelaram uma divisão clara entre o que esses modelos podem fazer e o que não podem fazer. O modelo de melhor desempenho, um sistema grande do Google, foi capaz de responder a perguntas de múltipla escolha corretamente com mais frequência do que a média dos profissionais treinados. Ele se destacou na recuperação de fatos diretos, como o nome oficial de um produto químico ou sua classe de perigo básica. No entanto, o estudo descobriu que os modelos eram significativamente mais fracos nas áreas que mais importam para a segurança. Quando as perguntas envolviam decisões operacionais complexas — especificamente como separar mercadorias incompatíveis ou onde estocá-las em uma embarcação — os modelos tinham dificuldades. Mesmo os sistemas de melhor desempenho cometiam erros frequentes nessas áreas de alto risco. Os pesquisadores também descobriram que os modelos eram péssimos em apontar para a seção específica do livro de regras onde uma resposta poderia ser encontrada, uma habilidade que é essencial para um humano verificar o trabalho da IA.
O estudo também observou como diferentes tipos de perguntas afetavam o desempenho. Quando os modelos foram solicitados a simplesmente escolher a resposta correta de uma lista, eles se saíram razoavelmente bem. Mas quando solicitados a gerar uma resposta do zero, sem quaisquer opções para escolher, sua precisão caiu. Isso sugere que os modelos são bons em reconhecer informações corretas quando elas lhes são apresentadas, mas são menos confiáveis ao produzir essa informação por conta própria. Os pesquisadores descobriram que dar aos modelos acesso à internet para pesquisar respostas os ajudou significativamente ao buscar dados específicos, mas não os ajudou em tarefas de raciocínio complexo. Curiosamente, um modelo que havia sido especificamente treinado em regulamentos marítimos não teve um desempenho melhor do que um modelo padrão de uso geral, indicando que simplesmente adicionar mais textos sobre navios aos dados de treinamento não é suficiente para resolver o problema.
Talvez a descoberta mais importante tenha sido que os modelos eram inconsistentes. Um sistema poderia acertar um fato simples, mas falhar em uma regra crítica de segurança que poderia prevenir um incêndio. Os pesquisadores observaram que os modelos frequentemente se recusavam a responder perguntas sobre substâncias perigosas, como explosivos ou gases tóxicos, tratando consultas legítimas de segurança como se fossem solicitações prejudiciais. Essa incapacidade de distinguir entre uma pergunta de segurança e uma ameaça à segurança significa que as ferramentas são atualmente pouco confiáveis para as partes mais perigosas do trabalho. O estudo concluiu que, embora essas ferramentas de inteligência artificial possam ser úteis para ajudar os profissionais a encontrar informações rapidamente, elas ainda não estão prontas para tomar decisões de segurança por conta própria. Os pesquisadores enfatizaram que a supervisão humana continua sendo essencial. Um profissional deve sempre verificar o trabalho da IA contra o livro de regras oficial antes de tomar uma decisão final. O estudo não é um veredito único, mas uma ferramenta para a garantia contínida de segurança, lembrando à indústria que, à medida que esses sistemas de computador evoluem, eles devem ser constantemente testados para garantir que não falhem quando for mais necessário.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.