Using Deep Learning to Generate Semantically Correct Hindi Captions

Título: Uso de Deep Learning para Gerar Legendas Hindi Semanticamente Corretas

1. Problema e Contexto

A geração automática de legendas para imagens (Image Captioning) é uma tarefa desafiadora que combina Visão Computacional e Processamento de Linguagem Natural (NLP). Embora haja vasta pesquisa e modelos robustos para o idioma inglês, existe uma lacuna significativa em idiomas não ocidentais, especificamente no Hindi, que é a quarta língua mais falada no mundo (com cerca de 500 milhões de falantes nativos).

• Desafio Principal: A escassez de conjuntos de dados (datasets) de legendas em Hindi e a necessidade de criar modelos que não apenas traduzam, mas compreendam o contexto semântico da imagem para gerar descrições fluidas e precisas em Hindi.
• Aplicações: Acessibilidade para pessoas com deficiência visual, organização de grandes volumes de imagens em redes sociais, monitoramento de desastres e otimização de motores de busca (SEO) para conteúdo visual em mercados indianos.

2. Metodologia

O estudo adota uma abordagem baseada na arquitetura Encoder-Decoder e segue o processo CRISP-DM (Cross-Industry Standard Process for Data Mining).

• Construção do Dataset:

  • Utilizou-se o dataset Flickr8k (8.000 imagens com 5 legendas cada, totalizando ~40.000 descrições em inglês).
  • Como não existia um dataset nativo em Hindi, as legendas foram traduzidas para o Hindi utilizando a API do Google Cloud Translator.
  • O dataset foi pré-processado: remoção de pontuação e números, adição de marcadores de início (startseq) e fim (endseq), e tokenização usando a biblioteca Keras.

• Arquitetura do Modelo (Encoder-Decoder):

  • Encoder de Imagem (Visão): Utilização de Redes Neurais Convolucionais (CNNs) pré-treinadas para extrair características visuais. Três arquiteturas foram comparadas: VGG16, ResNet50 e InceptionV3. A camada final de classificação foi removida para usar os vetores de características da penúltima camada.
  • Encoder de Texto (Linguagem): Uso de Redes Neurais Recorrentes (RNN) com unidades LSTM (Long Short-Term Memory). Foram testadas três variações:
    1. LSTM Unidirecional.
    2. LSTM Bidirecional (Bi-LSTM).
    3. LSTM Bidirecional com Mecanismo de Atenção (Att-BiLSTM).
  • Mecanismo de Atenção: Adicionado para permitir que o modelo foque em regiões específicas da imagem ao gerar cada palavra da legenda, melhorando a relevância semântica e reduzindo a repetição excessiva.
  • Decodificador: Camadas densas (Dense Layers) com ativação Softmax para prever a próxima palavra na sequência.

• Configuração Experimental:

  • Ambiente: Google Colab com GPU Tesla P100.
  • Otimizador: Adam.
  • Função de Perda: Entropia Cruzada (Softmax Cross-Entropy).
  • Taxa de Dropout: 0.5 para evitar overfitting.

3. Contribuições Principais

1. Criação de Dataset em Hindi: Desenvolvimento de um dataset de 8.000 imagens com legendas traduzidas e processadas em Hindi, servindo como base para pesquisas futuras.
2. Análise Comparativa de Arquiteturas: Avaliação sistemática da combinação de diferentes CNNs (VGG16, ResNet50, InceptionV3) com diferentes estratégias de RNN (LSTM, Bi-LSTM, Att-BiLSTM) especificamente para o idioma Hindi.
3. Validação do Mecanismo de Atenção: Demonstração empírica de que a adição de uma camada de atenção a modelos Bi-LSTM melhora significativamente a qualidade semântica e a fluidez das legendas em comparação com modelos unidirecionais ou bidirecionais sem atenção.
4. Modelo State-of-the-Art para Hindi: Identificação de uma arquitetura específica (VGG16 + Att-BiLSTM) que alcançou os melhores resultados, superando trabalhos anteriores na área de legendagem em Hindi.

4. Resultados

Os modelos foram avaliados utilizando a métrica BLEU (Bilingual Evaluation Understudy), comparando as legendas geradas com as referências traduzidas.

• Métricas: BLEU-1 (suficiência/adequação) e BLEU-4 (fluência).
• Melhor Desempenho: O modelo VGG16 com Att-BiLSTM obteve os melhores resultados:
  • BLEU-1: 0.59
  • BLEU-4: 0.19
• Comparação:
  • O modelo InceptionV3 apresentou os piores resultados (BLEU-1 de 0.38 para LSTM puro).
  • O ResNet50 performou bem (BLEU-1 de 0.56 com Att-BiLSTM), mas ficou ligeiramente abaixo do VGG16.
  • A adição do mecanismo de atenção sempre elevou o desempenho do Bi-LSTM, confirmando sua importância para capturar dependências de longo prazo e contextos visuais específicos.
• Análise de Erros: Os erros mais comuns incluíam classificação incorreta de objetos, erros de contagem, identificação de cores e gênero.

5. Significado e Conclusão

Este trabalho preenche uma lacuna crítica na pesquisa de NLP e Visão Computacional para idiomas asiáticos.

• Impacto Social: A tecnologia desenvolvida pode beneficiar diretamente a população de língua hindi, especialmente pessoas com deficiência visual, permitindo o acesso a conteúdo visual através de descrições auditivas.
• Viabilidade Técnica: O estudo demonstra que, mesmo utilizando legendas traduzidas por máquina (em vez de crowdsourcing humano), é possível treinar modelos de Deep Learning eficazes para gerar legendas semanticamente corretas.
• Futuro: O artigo recomenda o uso de datasets maiores (como MS-COCO), a aplicação de crowdsourcing para melhorar a naturalidade das legendas em Hindi e a exploração de modelos Transformer e GRU para futuras iterações.

Em resumo, a pesquisa confirma que a combinação de CNNs pré-treinadas (especificamente VGG16), Bi-LSTM e Mecanismos de Atenção é a abordagem mais eficaz atualmente para a geração automática de legendas em Hindi, estabelecendo uma nova linha de base para pesquisas futuras nessa área.