Leveraging Model Soups to Classify Intangible Cultural Heritage Images from the Mekong Delta

Dit artikel presenteert een robuust classificatiekader voor beelden van het immaterieel cultureel erfgoed in de Mekongdelta, waarbij de CoAtNet-architectuur wordt gecombineerd met modelsoepen om de generalisatie te verbeteren door de variantie te verminderen in een data-schaarste omgeving.

De kern

De Soep van Modellen: Hoe we de geheime taal van het Mekong-delta ontcijferen

Stel je voor dat je een enorme, oude schatkist hebt vol met foto's van de rijke, levendige cultuur van het Mekong-delta in Vietnam. Er zijn foto's van festivals, van mensen die matten weven, van bootjes die op de rivier drijven en van muziekoptredens. Het probleem? Veel van deze foto's lijken op elkaar. Een foto van een festival kan er bijna hetzelfde uitzien als een andere, en een foto van een handwerkproduct kan verward worden met een ander.

Wetenschappers wilden een slimme computer (een 'AI') bouwen die deze foto's automatisch kan herkennen en sorteren. Maar de computer had een probleem: er waren niet genoeg voorbeelden om van te leren, en de foto's waren vaak verwarrend. De computer werd er 'slordig' van en maakte veel fouten.

In dit artikel vertellen de onderzoekers hoe ze een slimme oplossing hebben bedacht, die ze "Model Soups" (Modellensoep) noemen. Hier is hoe het werkt, vertaald naar alledaags taal:

1. De Basis: Een Slimme Chef-kok (CoAtNet)

Eerst hadden ze een heel slimme 'chef-kok' nodig om de foto's te analyseren. Ze kozen voor een architectuur genaamd CoAtNet.

• De Analogie: Stel je voor dat een gewone camera alleen kijkt naar kleine details (zoals de textuur van een mat). Een andere camera kijkt alleen naar het grote plaatje (zoals de hele markt). CoAtNet is als een super-chef die beide dingen tegelijk doet: hij kijkt naar de kleine details én naar het grote geheel. Hierdoor ziet hij patronen die andere computers missen.

2. Het Probleem: De "Eenzame" Chef

Normaal gesproken laat je zo'n chef-kok 50 keer oefenen. Na elke sessie (elke 'epoch') slaat hij zijn kennis op. Soms is hij na sessie 10 heel goed in het herkennen van festivals, maar na sessie 20 is hij juist beter in het herkennen van handwerk.
Als je maar één sessie kiest (bijvoorbeeld sessie 10), ben je afhankelijk van dat ene moment. Misschien was hij op dat moment net een beetje 'oververhit' of had hij toevallig geluk. Dat is riskant.

3. De Oplossing: De "Soep" (Model Soups)

In plaats van te kiezen voor één perfecte sessie, doen de onderzoekers iets heel creatiefs: ze maken een soep.

• De Analogie: Stel je voor dat je 8 verschillende soepen hebt gekookt. Elke soep is een beetje anders: de ene is wat zouter, de andere wat kruidiger. Als je ze allemaal apart eet, is het resultaat wisselvallig. Maar als je ze in één grote pot doet en goed roert, krijg je een perfecte, gebalanceerde soep die op elk moment lekker smaakt.
• Hoe werkt het? Ze nemen de 'gewichten' (de interne kennis) van de beste 8 sessies en mengen ze gemiddeld. Ze doen dit niet zomaar; ze kiezen slim uit welke sessies ze erbij doen, zodat ze geen dubbel werk mengen (niet twee keer dezelfde soep), maar juist verschillende smaken combineren.

4. Waarom is dit zo slim? (De Variatie)

De onderzoekers hebben ontdekt dat deze 'soep' beter werkt dan de traditionele manier van "stemmen" (waarbij je laat kijken wat de meeste modellen zeggen).

• De Analogie: Stel je voor dat je een groep vrienden vraagt een raadsel op te lossen.
  • Soft Voting (De oude manier): Je vraagt 10 vrienden die allemaal exact hetzelfde denken. Als ze allemaal een fout antwoord hebben, heb je 10 fouten.
  • Model Soups (De nieuwe manier): Je kiest 8 vrienden die verschillende manieren van denken hebben. De ene kijkt naar de kleur, de andere naar de vorm. Als je hun antwoorden combineert, vullen ze elkaars zwaktes aan. Het resultaat is een antwoord dat veel betrouwbaarder is.

De onderzoekers hebben dit zelfs visueel bewezen met een soort "landkaart" van de modellen. Ze zagen dat de modellen die ze in hun 'soep' deden, verspreid lagen over het hele gebied (divers), terwijl de oude methoden vaak allemaal op één plek zaten (te veel hetzelfde).

5. Het Resultaat: Een Winnaar

Toen ze deze 'soep' testten op de foto's van het Mekong-delta, gebeurde er magie:

• De computer werd veel beter in het onderscheiden van de verwarrende foto's.
• Ze behaalden een recordhoogte in nauwkeurigheid (72,36%), wat veel beter is dan eerdere pogingen.
• Het kostte ze geen extra tijd om de foto's te bekijken; de 'soep' is één enkel model dat net zo snel werkt als een gewone, maar dan veel slimmer.

Conclusie

Kortom: Deze wetenschappers hebben laten zien dat je niet hoeft te hopen op één perfecte oplossing. Door slimme 'modellensoep' te maken – het mengen van verschillende momenten van een slimme computer – kun je een systeem bouwen dat robuuster is, minder fouten maakt en de prachtige, complexe cultuur van het Mekong-delta eindelijk goed kan begrijpen en bewaren.

Het is alsof je niet wacht op één genie, maar een team van experts samenbrengt die elkaar perfect aanvullen. En dat is de sleutel tot het redden van onze culturele erfgoed.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Leveraging Model Soups to Classify Intangible Cultural Heritage Images from the Mekong Delta", geschreven in het Nederlands.

Technische Samenvatting: Classificatie van Immaterieel Cultureel Erfgoed met Model Soups

1. Het Probleem
De classificatie van afbeeldingen van Immaterieel Cultureel Erfgoed (ICH) uit de Mekongdelta (Vietnam) vormt een unieke uitdaging voor diep learning-modellen. De belangrijkste obstakels zijn:

• Beperkte annotatie: Er is een tekort aan hoogwaardige, gelabelde data (het ICH-17 dataset bevat slechts 7.406 afbeeldingen over 17 klassen).
• Hoge visuele gelijkenis: Veel culturele categorieën delen zeer vergelijkbare visuele contexten (bijvoorbeeld festivals en rituelen), wat het moeilijk maakt ze van elkaar te onderscheiden.
• Domain heterogeniteit en ruis: De dataset bevat een aanzienlijk aantal ruisachtige of irrelevante afbeeldingen.
• Overfitting: Conventionele diepe leermodellen vertonen in dergelijke "low-resource" settings vaak hoge variantie of overfitten op spurious correlaties, wat leidt tot slechte generalisatie.

2. Methodologie
De auteurs stellen een robuust raamwerk voor dat twee kerncomponenten combineert: een hybride architectuur en een ensemble-techniek.

• Hybride Architectuur (CoAtNet):
  In plaats van traditionele CNN's of pure Transformers, gebruiken de auteurs CoAtNet. Dit is een hybride model dat convolutiebewerkingen combineert met zelf-attentie (self-attention).

  • De architectuur bestaat uit vijf fasen: de eerste twee fasen gebruiken MBConv-blokken (convolutie) voor lokale patroonherkenning, terwijl de latere fasen Transformer-blokken gebruiken voor het modelleren van langeafstandsafhankelijkheden.
  • Er worden twee versies getest: CoAtNet-0 (lichter, getraind op ImageNet-1k) en CoAtNet-2 (zwaarder, getraind op ImageNet-12k en gefinetuned op ImageNet-1k).

• Ensemble-techniek (Model Soups):
  In plaats van meerdere onafhankelijke modellen te trainen, verzamelen de auteurs meerdere checkpoints uit één trainingsloop van CoAtNet. Deze checkpoints worden geaggregeerd via Model Soups, een techniek die de gewichten van meerdere checkpoints middelt zonder extra inferentiekosten.

  • Greedy Soup: Een selectieprocedure waarbij het checkpoint met de hoogste validatie-accuraatheid als startpunt dient. Andere checkpoints worden alleen toegevoegd als ze de prestaties van het gemiddelde model verbeteren.
  • Uniform Soup: Het eenvoudig middelen van de gewichten van de geselecteerde checkpoints.
  • Data Augmentatie: Er wordt gebruikgemaakt van horizontale spiegeling, MixUp en CutMix om de generalisatie te verbeteren.

3. Belangrijkste Bijdragen

• Toepassing van Model Soups op ICH: Dit is naar kennis van de auteurs de eerste studie die CoAtNet combineert met Model Soups voor de classificatie van cultureel erfgoed.
• Analyse van Diversiteit: De auteurs analyseren het ensemble-effect via een bias-variance-decompositie en visualiseren de modeldiversiteit met Multidimensionale Schaling (MDS) op basis van cross-entropy-afstanden.
  • Ze tonen aan dat Model Soups geometrisch diverse checkpoints selecteert die verspreid liggen in de outputruimte.
  • In tegenstelling tot Soft Voting (dat vaak redundante, gecentreerde modellen middelt), selecteert Model Soups complementaire modellen, wat de variantie verlaagt zonder de bias significant te verhogen.
• Efficiëntie: De methode biedt state-of-the-art prestaties zonder de inferentiekosten te verhogen (het resultaat is één enkel model), wat cruciaal is voor praktische implementatie.

4. Resultaten
De experimenten werden uitgevoerd op het ICH-17 dataset (17 klassen, 7.406 afbeeldingen). De trainingsset werd gesplitst in training (6.057), validatie (600) en test (749) sets.

• Prestaties: De voorgestelde aanpak (CoAtNet-2 + Uniform Soup) bereikte de beste resultaten:
  • Top-1 Accurate: 72,36%
  • Macro F1-score: 69,28%
• Vergelijking met Baselines: De methode overtrof sterke baselines aanzienlijk, waaronder:
  • ResNet-50 (65,55% accuraat)
  • DenseNet-121 (64,35% accuraat)
  • Vision Transformer (ViT) (70,09% accuraat)
  • Eerdere studies op dezelfde dataset (maximaal 66,76% accuraat).
• Per-Klasse Analyse: Model Soups verbeterde de prestaties in 11 van de 17 klassen, met name in complexe categorieën zoals het Ok Om Bok-festival (klasse 6), waar de accurate van 61,70% naar 74,47% steeg.
• Ablatie-studie: Zonder pre-training (random initialisatie) daalden de prestaties drastisch met ongeveer 20-22 procentpunten, wat de kritische rol van transfer learning in deze data-scarce context onderstreept.

5. Betekenis en Conclusie
De studie demonstreert dat diversiteitsbewust middelen van checkpoints (Model Soups) een principiële en efficiënte manier is om variantie te reduceren en generalisatie te verbeteren in cultureel rijke, maar datagebrekkige classificatietaken.

• Wetenschappelijke waarde: Het biedt empirisch bewijs dat Model Soups effectiever is dan traditionele Soft Voting door het selecteren van modellen met heterogene voorspellingsgedragingen, wat leidt tot een lagere variantie.
• Praktische impact: De methode biedt een schaalbare oplossing voor het digitaliseren en behouden van immaterieel cultureel erfgoed in de Mekongdelta, waar data schaars is en visuele onderscheiding moeilijk is.
• Toekomstperspectief: De auteurs plannen om dit raamwerk uit te breiden met semantische priors (tekstuele metadata) en toe te passen op bredere ICH-datasets in andere regio's.

Kortom, dit onderzoek combineert geavanceerde hybride architecturen met innovatieve ensemble-methoden om een specifiek en sociaal relevant probleem op te lossen, waarbij het een nieuwe benchmark zet voor ICH-classificatie.