Using Deep Learning to Generate Semantically Correct Hindi Captions

1. Probleemstelling

Automatische beeldbijschriften (image captioning) is een uitdagend gebied binnen kunstmatige intelligentie dat computerzichten en natuurlijke taalverwerking combineert. Hoewel er uitgebreid onderzoek is gedaan naar beeldbijschriften in het Engels, is er een aanzienlijke tekortkoming aan onderzoek in andere populaire talen, met name het Hindi. Hindi is de vierde meest gesproken taal ter wereld (ongeveer 500 miljoen sprekers), maar er zijn weinig datasets en modellen beschikbaar die specifiek zijn getraind voor het genereren van semantisch correcte bijschriften in deze taal.

De kernproblemen die dit onderzoek adresseert zijn:

• Het gebrek aan grote, gelabelde datasets voor Hindi-beeldbijschriften.
• De uitdaging om een model te bouwen dat niet alleen objecten herkent, maar ook de context, relaties en acties in een afbeelding correct vertaalt naar een vloeiende Hindi-zin.
• Het evalueren van de kwaliteit van gegenereerde bijschriften in een niet-Engelse taal.

2. Methodologie

Het onderzoek volgt de CRISP-DM (Cross-Industry Standard Process for Data Mining) methodologie en maakt gebruik van een Encoder-Decoder architectuur die is opgebouwd uit Deep Learning-modellen.

A. Dataverzameling en Voorbereiding

• Dataset: De basis is de Flickr8k-dataset, die 8.000 afbeeldingen bevat met elk vijf Engelse bijschriften (totaal >40.000 beschrijvingen).
• Vertaling: Vanwege tijd- en middelenbeperkingen werden de Engelse bijschriften niet handmatig vertaald, maar gemachineerd vertaald naar het Hindi met behulp van de Google Cloud Platform (GCP) Translator API.
• Data-voorbereiding:
  • Beelddata: Afbeeldingen worden gepreprocesserd naar een vaste grootte (224x224) en omgezet naar vectorrepresentaties.
  • Tekstdata: De Hindi-tekst wordt schoongemaakt (verwijdering van leestekens en cijfers, behoud van stopwoorden voor vloeiendheid), getokeniseerd en omgezet in integer-tokens. Vervolgens worden deze getokeniseerd tot dichte vectoren via een Embedding-laag.
  • Labels: Teksten worden omhuld met start- (<startseq>) en eind- (<endseq>) markers om het model te leren wanneer een zin begint en eindigt.

B. Model Architectuur

Het model bestaat uit drie hoofdblokken:

1. Encoder (Beeld): Er worden drie verschillende Pre-trained Convolutional Neural Networks (CNN's) getest om beeldfeatures te extraheren:
   • VGG16
   • ResNet50
   • InceptionV3
   • De laatste classificatielaag van deze CNN's wordt verwijderd; de voorlaatste laag levert de feature-vectoren.
2. Decoder (Tekst): De tekst wordt verwerkt met Recurrent Neural Networks (RNN's). Er worden drie varianten getest:
   • Unidirectionele LSTM
   • Bidirectionele LSTM (Bi-LSTM)
   • Bidirectionele LSTM met een Attention-mechanisme (Att-BiLSTM). Het Attention-mechanisme helpt het model om te focussen op de relevante delen van de afbeelding bij het genereren van elk woord, wat de semantische nauwkeurigheid verbetert.
3. Fusie: De beeldfeatures en tekstfeatures worden gecombineerd (via een 'add'-operatie) en gevoed door een Dense-laag met Softmax-activatie om het volgende woord in de reeks te voorspellen.

C. Training en Evaluatie

• Training: Het model is getraind op Google Colab met een Tesla P100 GPU. De optimizer is Adam en de verliesfunctie is Softmax Cross-Entropy. Een dropout-rate van 0.5 wordt gebruikt om overfitting te voorkomen.
• Evaluatiemetriek: De kwaliteit wordt gemeten met de BLEU-score (Bilingual Evaluation Understudy).
  • BLEU-1: Meet de adequaatheid (sufficiency) van de bijschriften.
  • BLEU-4: Meet de vloeiendheid (fluency) door n-gram-overlappingen (tot 4 woorden) te analyseren.

3. Belangrijkste Resultaten

Er zijn diverse experimenten uitgevoerd door de drie CNN-architecturen te combineren met de drie RNN-varianten. De resultaten tonen duidelijke trends:

• Beste Prestatie: Het model dat VGG16 combineert met een Bidirectionele LSTM met Attention-mechanisme (Att-BiLSTM) behaalde de beste resultaten.
  • BLEU-1: 0,59
  • BLEU-4: 0,19
• Vergelijking CNN's: VGG16 presteerde over het algemeen beter dan ResNet50 en InceptionV3 voor deze specifieke taak en dataset. InceptionV3 leverde de laagste scores op (BLEU-1 van 0,38 met standaard LSTM).
• Invloed van Attention: Het toevoegen van het Attention-mechanisme aan de Bi-LSTM resulteerde in een significante verbetering van de scores en de contextuele relevantie van de gegenereerde zinnen in vergelijking met modellen zonder Attention.
• Kwaliteit van Bijschriften: Visuele inspectie van de resultaten toonde aan dat het Att-BiLSTM-model minder "onzin" produceerde en beter in staat was om acties en context (bijv. "klimmen" of "touwen") te beschrijven dan de unidirectionele modellen.

4. Bijdragen

De belangrijkste bijdragen van dit onderzoek zijn:

1. Dataset Creatie: Het creëren van een Hindi-versie van de Flickr8k-dataset (8.000 afbeeldingen met 40.000 vertaalde bijschriften) via machine translation, wat een waardevolle resource is voor toekomstig onderzoek.
2. Architectuur Validatie: Het aantonen dat een combinatie van Pre-trained CNN (VGG16) en Att-BiLSTM effectief is voor het genereren van semantisch correcte Hindi-beeldbijschriften.
3. Benchmarking: Het bieden van een baseline voor Hindi-beeldbijschriften, met vergelijkbare resultaten als eerdere werken (zoals Dhir et al., 2019) die op de MS-COCO dataset zijn getraind, ondanks het gebruik van een kleinere dataset en machine-vertaling.

5. Betekenis en Toekomstperspectief

• Toegankelijkheid: Dit onderzoek draagt bij aan de toegankelijkheid van visuele content voor de honderden miljoenen Hindi-sprekers, met name voor mensen met een visuele beperking (via audio-beschrijvingen) en voor het organiseren van foto's.
• NLP en Computer Vision: Het bewijst dat encoder-decoder modellen succesvol kunnen worden toegepast op talen met complexe morfologie zoals Hindi, zelfs wanneer de dataset via machine translation is gegenereerd.
• Aanbevelingen voor Toekomst:
  • Crowdsourcing: In plaats van machine translation, zou crowdsourcing van native sprekers de kwaliteit en natuurlijkheid van de bijschriften kunnen verbeteren.
  • Human Evaluation: Het toevoegen van menselijke evaluatie naast BLEU-scores zou de nauwkeurigheid van de beoordeling kunnen verhogen.
  • Uitbreiding: Het gebruik van grotere datasets (zoals MS-COCO) en geavanceerdere modellen (zoals Transformers of GRU's) wordt aanbevolen voor toekomstig werk.

Concluderend heeft dit onderzoek succesvol een Deep Learning-model ontwikkeld dat semantisch correcte bijschriften in het Hindi kan genereren, waarbij de combinatie van VGG16 en Att-BiLSTM de meest veelbelovende aanpak bleek.