A CNN-Transformer Encoder-Decoder for Image Captioning: Label Smoothing, Backbone Fine-Tuning, and Length-Normalized Decoding
Este artigo apresenta um estudo de engenharia sistemático de um modelo de legendagem de imagens baseado em Transformer no MS COCO 2017, demonstrando que a combinação do ajuste fino parcial da espinha dorsal CNN com a decodificação por busca de feixe normalizada pelo comprimento melhora significativamente as métricas de avaliação padrão e a diversidade lexical em comparação com um baseline congelado.