MaterialFigBENCH: benchmark dataset with figures for evaluating college-level materials science problem-solving abilities of multimodal large language models
O artigo apresenta o MaterialFigBench, um conjunto de dados de benchmark com 137 problemas de nível universitário em ciência dos materiais que exigem a interpretação de figuras, revelando que, apesar de melhorias com atualizações, os modelos de linguagem multimodais atuais ainda enfrentam dificuldades significativas na compreensão visual e na interpretação quantitativa precisa de gráficos e diagramas específicos da área.