Caption Generation for Dongba Paintings via Prompt Learning and Semantic Fusion

Dit artikel introduceert PVGF-DPC, een encoder-decoder-framework dat prompt learning en een visueel-semantische fusie-verliesfunctie combineert om accurate, cultureel onderbouwde bijschriften te genereren voor Dongba-schilderijen, een taak die tot nu toe beperkt was door de grote domeinverschillen met bestaande modellen.

De kern

Stel je voor dat je een heel oude, kleurrijke schetsboek openslaat. Dit is niet zomaar een schetsboek; het is een verzameling van Dongba-schilderingen, een kostbare kunstvorm van het Naxi-volk in het zuidwesten van China. Deze schilderijen zijn vol leven: ze tonen goden, geesten, dieren en rituelen. Maar er zit een groot probleem: als je een moderne computer (een AI) deze schilderijen laat zien, raakt hij in de war.

Waarom? Omdat de AI is opgeleid op foto's van de echte wereld (honden, auto's, mensen in parken). Als hij een Naxi-god ziet die op een lotusbloem zit, denkt de AI misschien: "Oh, dat is een vogel" of "Dat is een vreemde man". Hij mist de diepere betekenis. Hij ziet de vorm, maar niet de ziel of de cultuur.

Dit artikel introduceert een slimme nieuwe manier om deze schilderijen te beschrijven, genaamd PVGF-DPC. Laten we uitleggen hoe dit werkt met een paar simpele vergelijkingen.

1. Het Probleem: De Verkeerde Gids

Stel je voor dat je een toerist bent in een oud dorpje. Je vraagt een willekeurige toerist (de standaard AI) om je te vertellen wat je ziet. Hij zegt: "Ik zie een man met een staart." Dat is technisch gezien misschien waar, maar het mist de magie. Hij weet niet dat die man een Shu-god is, een belangrijk wezen in de Naxi-mythologie.

De AI heeft een "cultuurkloof". Hij spreekt de taal van de moderne wereld, maar niet de taal van de Dongba-kunst.

2. De Oplossing: Een Slimme Vertaler met een Speciale Hoed

De onderzoekers hebben een nieuw systeem gebouwd dat werkt als een twee-in-één team: een slimme vertaler en een culturele gids.

Deel A: De "Inhouds-Prompt" (De Culturele Gids)

Stel je voor dat je een detective bent. Voordat je het verhaal schrijft, kijkt je gids eerst naar de tekening en zegt: "Hé, kijk eens! Dit is een schilderij over een god die een ritueel uitvoert."

• In het systeem heet dit de Content Prompt Module.
• De computer kijkt naar de afbeelding en zegt niet alleen "ik zie een lijn", maar "ik zie een god of een geest of een ritueel patroon."
• Deze informatie wordt als een stuurinstructie (een 'prompt') aan de schrijver gegeven. Het is alsof je de schrijver een hoed opzet met het opschrift: "Schrijf als een expert in Naxi-mytologie!" Hierdoor raakt de computer niet meer in de war en maakt hij minder fouten.

Deel B: De "Visuele Semantische Fusie" (De Perfecte Dans)

Normaal gesproken kijkt een computer naar een plaatje en schrijft hij daarna een tekst. Het zijn twee aparte stappen.
Bij dit nieuwe systeem dansen de twee stappen samen.

• Stel je voor dat de computer een danser is. De muziek (het plaatje) en de bewegingen (de tekst) moeten perfect op elkaar aansluiten.
• Het systeem leert dat als hij een specifiek woord kiest (bijvoorbeeld "god"), hij tegelijkertijd moet kijken of dat ook echt op het plaatje staat.
• Dit heet de Visual Semantic-Generation Fusion Loss. Het zorgt ervoor dat de computer niet fantaseert (hallucineert), maar precies beschrijft wat hij ziet, maar dan met de juiste culturele woorden.

3. Het Resultaat: Van "Vreemde Vogel" naar "Heilige Bode"

Vroeger zou een standaard AI over een witte vleermuis in een Dongba-schildering zeggen: "Een witte vogel met vleugels."
Met dit nieuwe systeem zegt de computer: "Dit is een witte vleermuis, een heilige boodschapper in de Naxi-mythologie die op een adelaar vliegt om waarzeggerijboeken te halen."

Het verschil is enorm:

• Standaard AI: Ziet alleen de oppervlakte.
• PVGF-DPC: Begrijpt de diepte, de cultuur en het verhaal.

4. Waarom is dit belangrijk?

De onderzoekers hebben een speciale verzameling van bijna 10.000 van deze schilderijen gemaakt (met slimme trucjes om de hoeveelheid te vergroten). Ze hebben getest of hun systeem beter werkt dan de beste systemen die er nu zijn (zoals BLIP of ClipCap).

Het resultaat? Hun systeem wint op alle fronten. Het maakt minder fouten, gebruikt de juiste woorden en, het allerbelangrijkste: het respecteert de cultuur. Het vertelt het verhaal van de Naxi-volkeren zoals het bedoeld is, in plaats van er een verzonnen verhaal bij te bedenken.

Kort samengevat:
Dit artikel gaat over het geven van een "cultuurhoed" aan een computer, zodat hij niet alleen kan zien wat er op een schilderij staat, maar ook begrijpt wat het betekent. Het is alsof we een tolk hebben gevonden die niet alleen de taal spreekt, maar ook de ziel van de kunst begrijpt.

Technische samenvatting

Probleemstelling

Het paper adresseert de uitdaging van het automatisch genereren van tekstopdrachten (image captioning) voor Dongba-schilderijen, een waardevol picturaal erfgoed van het Naxi-volk in het zuidwesten van China. Bestaande modellen voor beeldbeschrijving falen hierbij om twee hoofdredenen:

1. Data-schaarste: Er is een gebrek aan grote, gelabelde datasets van Dongba-schilderijen, wat leidt tot overfitting bij het trainen van diepe leermodellen.
2. Domain Shift: Algemeen getrainde modellen (zoals BLIP of CLIP) zijn getraind op natuurlijke afbeeldingen en hebben sterke priors die niet overeenkomen met de gestileerde, cultureel geladen en symbolische aard van Dongba-kunst. Dit resulteert in hallucinaties of beschrijvingen die de culturele betekenis (bijv. goden, rituele patronen, mythologische wezens) missen.

Methodologie: PVGF-DPC

De auteurs stellen PVGF-DPC (Prompt and Visual Semantic-Generation Fusion-based Dongba Painting Captioning) voor, een encoder-decoder-framework dat specifiek is ontworpen om culturele nuances te integreren. De architectuur bestaat uit drie kerncomponenten:

1. Encoder (Visuele Feature Extractie):

   • Er wordt gebruikgemaakt van MobileNetV2 als backbonenetwerk. Dit wordt gekozen boven zwaardere modellen (zoals ResNet-50 of Vision Transformers) vanwege de betere balans tussen rekenefficiëntie en feature-extractiekwaliteit, wat cruciaal is gezien de beperkte datasetgrootte.
   • De encoder extrahert een 1280-dimensionale visuele feature-vector uit de ingevoerde afbeelding.

2. Content Prompt Module (Culturele Context):

   • Deze module mapt de visuele feature-vector naar een set van cultureel bewust labels (bijv. "godheid", "helgeest", "ritueel patroon", "vissen").
   • Op basis van deze voorspellingen wordt een post-prompt gegenereerd (bijv. "Dit is een Dongba-schilderij over een godheid").
   • Deze prompt fungeert als een stuurmechanisme dat de decoder expliciete culturele context geeft, waardoor de kans op hallucinaties wordt verminderd en de thematische relevantie wordt verhoogd.

3. Decoder en Fusie-Loss:

   • De decoder is een 10-laags Transformer (geïnitialiseerd met voorgetrainde BERT-gewichten) die tekst genereert.
   • De visuele features worden geïnjecteerd in de layer normalization van elke decoder-laag, waardoor visuele en tekstuele informatie continu worden gefuseerd.
   • Visual Semantic-Generation Fusion Loss: Een nieuwe loss-functie die de cross-entropy-verliezen van zowel de prompt-predictor als de tekstgenerator gezamenlijk optimaliseert. Dit dwingt het model om zowel cultureel relevante visuele kenmerken te extraheren als semantisch trouwe beschrijvingen te genereren.

Belangrijkste Bijdragen

1. Gedetailleerde Dataset: De auteurs hebben een specifieke dataset voor Dongba-schilderijen samengesteld met 9408 afbeeldingen (na data-augmentatie), onderverdeeld in zeven thematische categorieën (goden, helgeesten, dieren, flora, paardrijden/vissen, muziek/dans, religieuze patronen) met cultureel onderbouwde tekstuele annotaties.
2. Content Prompt Module: Een innovatieve module die image features omzet in gestructureerde culturele prompts, waardoor de generatie wordt geleid door thematische kennis in plaats van alleen visuele patronen.
3. Fusie-Loss Mechanisme: Een gezamenlijke optimalisatiestrategie die de koppeling tussen visuele semantiek en tekstuele generatie versterkt, specifiek gericht op culturele nauwkeurigheid.

Resultaten

De prestaties van PVGF-DPC werden getest op de Dongba-testset en vergeleken met state-of-the-art zero-shot en controleerbare captioning-baselines (zoals BLIP, ViECap, MacCap, ClipCap).

• Objectieve Metrieken: PVGF-DPC behaalde de hoogste scores op alle zeven evaluatiemetrieken:
  • BLEU-1/2/3/4: 0.603 / 0.426 / 0.317 / 0.246
  • METEOR: 0.256
  • ROUGE: 0.403
  • CIDEr: 0.599
  • Deze scores liggen aanzienlijk hoger dan de concurrenten (bijvoorbeeld een verbetering van +0.106 op BLEU-1 ten opzichte van de tweede beste, ClipCap).
• Ablatie-studies: Experimenten bevestigden dat zowel de content prompt module als de fusie-loss essentieel zijn. Het verwijderen van de prompt-module leidde tot een significante daling in CIDEr (-0.110), wat aantoont dat de prompt cruciaal is voor culturele diversiteit en specificiteit.
• Kwalitatieve Evaluatie: In case studies bleek PVGF-DPC in staat om complexe culturele rollen te beschrijven (bijv. de witte vleermuis als goddelijke boodschapper), terwijl basismodellen vaak de onderwerpen verkeerd identificeerden (bijv. een kraanvogel of draak).

Betekenis en Impact

Dit paper is significant omdat het een brug slaat tussen computer vision en cultureel erfgoedbehoud. Het demonstreert dat standaard beeldbeschrijvingsmodellen ontoereikend zijn voor gespecialiseerde, cultureel geladen domeinen en dat prompt learning gecombineerd met semantische fusie een effectieve oplossing biedt. De methologie biedt een blauwdruk voor het automatiseren van beschrijvingen van andere vormen van cultureel erfgoed waar symboliek en context cruciaal zijn, en helpt bij het behoud en de toegankelijkheid van het Naxi-Dongba erfgoed voor een breder publiek.