Leveraging Model Soups to Classify Intangible Cultural Heritage Images from the Mekong Delta

Die Studie stellt einen robusten Framework vor, der die CoAtNet-Architektur mit der Model-Soups-Technik kombiniert, um die Klassifizierung von Bildern des immateriellen Kulturerbes im Mekong-Delta in ressourcenarmen Szenarien durch eine varianzreduzierende Gewichtung diverser Checkpoints auf ein neues Leistungsniveau zu heben.

Das Wesentliche

Titel: Wie man die unsichtbare Kultur des Mekong-Deltas mit einer „Suppe" aus KI-Modellen rettet

Stellen Sie sich vor, Sie versuchen, die reiche, unsichtbare Kultur des Mekong-Deltas in Vietnam zu bewahren. Es gibt dort unzählige Traditionen: Musikfeste, Bootsbau, Weben von Matten und spezielle Zeremonien. Die Forscher wollen diese Traditionen digital archivieren, indem sie ein Computerprogramm (eine KI) trainieren, das Fotos dieser Ereignisse automatisch erkennt und benennt.

Das Problem? Es gibt nur wenige, gut beschriftete Fotos, und viele Traditionen sehen sich auf Bildern extrem ähnlich. Ein Bootsfest sieht dem anderen sehr ähnlich, und eine Zeremonie kann leicht mit einer anderen verwechselt werden. Ein normaler KI-Modell lernt hier oft nur auswendig (es „übertrifft" die Daten) oder macht viele Fehler, weil es zu unsicher ist.

Hier kommt die Lösung der Autoren ins Spiel: Die „Modell-Suppe" (Model Soups).

1. Das Problem: Der einsame Kämpfer

Stellen Sie sich einen einzelnen KI-Experten vor, der versucht, alle diese Traditionen zu lernen. Da er nur wenige Beispiele hat, neigt er dazu, sich zu sehr auf Details zu versteifen, die eigentlich nur Zufall sind. Wenn er dann ein neues Foto sieht, das leicht anders aussieht als die Trainingsbilder, wird er unsicher und macht Fehler. In der Wissenschaft nennt man das eine hohe „Varianz" – er ist zu empfindlich.

2. Die Lösung: Der Kochtopf mit vielen Köchen

Anstatt nur einen einzigen Experten zu haben, trainieren die Forscher einen einzigen KI-Experten (ein sogenanntes CoAtNet-Modell) über einen längeren Zeitraum. Während des Trainings macht dieser Experte viele Zwischenstände (Checkpoints).

• Der Trick: Statt nur den letzten Stand zu nehmen, nehmen sie mehrere dieser Zwischenstände.
• Die Suppe: Sie mischen die „Gedanken" (die Gewichte) dieser verschiedenen Zwischenstände einfach zusammen. Es ist, als würden Sie einen Topf Suppe kochen, indem Sie die besten Zutaten von verschiedenen Kochphasen in einen Topf werfen und alles gut verrühren.
• Das Ergebnis: Sie erhalten einen einzigen, neuen KI-Experten, der die Stärken aller vorherigen Phasen vereint. Er ist nicht mehr so empfindlich, sondern stabiler und weiser.

Es gibt zwei Methoden, diese Suppe zu kochen:

1. Die „Gierige" Suppe (Greedy Soup): Der Koch probiert jeden neuen Löffel Suppe. Wenn er schmeckt, wird er behalten. Wenn nicht, wird er weggelassen.
2. Die „Gleiche" Suppe (Uniform Soup): Der Koch nimmt einfach alle guten Löffel und mischt sie zu gleichen Teilen.

3. Warum funktioniert das? (Die Analogie des Orchesters)

Stellen Sie sich vor, Sie haben ein Orchester. Wenn Sie nur einen Geiger hören, der nervös ist, klingt die Musik schlecht. Wenn Sie aber viele Geiger haben, die leicht unterschiedlich spielen, und Sie deren Klang mischen, gleichen sich die kleinen Fehler aus.

Die Forscher haben gezeigt, dass diese „Suppe" aus KI-Modellen nicht einfach nur viele gleiche Modelle mischt (wie ein Chor, der alle denselben Fehler macht). Stattdessen wählt die Methode Modelle aus, die sich in ihrer Denkweise unterscheiden (sie sind „divers").

• Soft Voting (die alte Methode): Hier würden alle Modelle einfach ihre Meinung abgeben und der Durchschnitt wird genommen. Das ist wie ein Chor, bei dem jeder schreit, was er will, und man den Durchschnitt nimmt. Das funktioniert okay, aber es ist nicht optimal.
• Modell-Suppe: Hier werden nur die Modelle ausgewählt, die sich geometrisch im Raum der Möglichkeiten unterscheiden. Es ist, als würde man einen Dirigenten wählen, der genau die richtigen Musiker kombiniert, damit sie sich gegenseitig ergänzen und keine Lücken lassen.

4. Das Ergebnis: Ein Meisterwerk der Kultur

Die Forscher haben ihre Methode an einem Datensatz mit 17 verschiedenen Kategorien von Traditionen getestet (insgesamt 7.406 Bilder).

• Vorher: Die besten alten Methoden lagen bei etwa 65–67 % Richtigkeit.
• Nachher: Mit der „Modell-Suppe" und dem CoAtNet-Modell erreichten sie 72,36 % Richtigkeit.

Das ist ein riesiger Sprung! Besonders bei schwierigen Kategorien, die sich sehr ähnlich sehen, hat die Suppe geholfen, die Unterscheidung zu treffen.

5. Warum ist das wichtig?

Dies ist nicht nur ein technischer Sieg. Es zeigt, wie man mit wenig Daten (wenigen Fotos) trotzdem sehr gute Ergebnisse erzielen kann.

• Kein Extra-Aufwand: Man muss keine neuen, teuren Modelle trainieren. Man nimmt einfach die, die man schon hat, und mischt sie.
• Stabilität: Die KI wird weniger nervös und verlässlicher.
• Kulturerbe: Es hilft, die unschätzbare Kultur des Mekong-Deltas digital zu bewahren, auch wenn es nur wenige Fotos davon gibt.

Zusammenfassend:
Die Autoren haben bewiesen, dass man nicht immer einen neuen, super-teuren Supercomputer braucht, um KI besser zu machen. Manchmal reicht es, die „Gedanken" eines einzigen Modells zu verschiedenen Zeitpunkten zu mischen – wie eine gute Suppe –, um die Kultur der Welt besser zu verstehen und zu schützen.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Artikels „Leveraging Model Soups to Classify Intangible Cultural Heritage Images from the Mekong Delta" auf Deutsch:

1. Problemstellung

Die Klassifizierung von Bildern des immateriellen Kulturerbes (Intangible Cultural Heritage, ICH) im Mekong-Delta stellt eine erhebliche Herausforderung dar. Die Hauptprobleme sind:

• Begrenzte annotierte Daten: Es gibt nur wenige hochwertige, gelabelte Datensätze für diese spezifische kulturelle Domäne.
• Hohe visuelle Ähnlichkeit: Viele Klassen (z. B. verschiedene lokale Feste oder Zeremonien) weisen sehr ähnliche visuelle Kontexte auf, was die Unterscheidung erschwert.
• Domänenheterogenität und Rauschen: Der Datensatz (ICH-17) enthält trotz manueller Nachbearbeitung immer noch eine signifikante Anzahl an verrauschten oder irrelevante Bildern.
• Überanpassung (Overfitting): Herkömmliche Deep-Learning-Modelle neigen in solchen Low-Resource-Szenarien dazu, sich an zufällige Korrelationen anzupassen oder eine hohe Varianz aufzuweisen, was zu einer schlechten Generalisierung führt.

2. Methodik

Die Autoren schlagen einen robusten Rahmen vor, der eine hybride Architektur mit einer fortschrittlichen Ensemble-Technik kombiniert:

• Backbone-Architektur (CoAtNet):

  • Es wird CoAtNet verwendet, ein hybrides Modell, das Faltungsoperationen (CNN) mit Selbstaufmerksamkeitsmechanismen (Transformer) vereint.
  • Die Architektur besteht aus fünf Stufen: Die frühen Stufen nutzen konvolutionale Blöcke (MBConv) zur Erfassung lokaler Merkmale, während die späteren Stufen Transformer-Blöcke zur Modellierung globaler Abhängigkeiten verwenden.
  • Zwei Varianten wurden getestet: CoAtNet-0 (kleiner, auf ImageNet-1k vortrainiert) und CoAtNet-2 (größer, auf ImageNet-12k vortrainiert und auf ImageNet-1k feinabgestimmt).

• Ensemble-Strategie (Model Soups):

  • Statt mehrere unabhängige Modelle zu trainieren, werden mehrere Checkpoints aus einem einzigen Trainingsverlauf gesammelt.
  • Model Soups ist eine Technik zur Mittelung der Gewichte (Weight-Space Ensembling) dieser Checkpoints. Dies erhöht die Inferenzkosten nicht, da nur ein einziges gemitteltes Modell ausgeführt wird.
  • Zwei Strategien wurden angewendet:
    1. Uniform Soup: Einfache Mittelung aller ausgewählten Checkpoints.
    2. Greedy Soup: Ein iterativer Prozess, bei dem Checkpoints schrittweise hinzugefügt werden, wenn sie die Validierungsgenauigkeit des aktuellen Durchschnittsmodells verbessern.

• Datensatz und Experimente:

  • ICH-17 Datensatz: 7.406 Bilder in 17 Klassen (z. B. Đờn ca Tài tử, Cái Răng Floating Market).
  • Aufteilung: 6.057 Trainingsbilder, 600 Validierungsbilder, 749 Testbilder.
  • Vergleichsbasen: ResNet-50, DenseNet-121, Vision Transformer (ViT) und frühere Studien.
  • Analyse der Vielfalt: Zur Untersuchung der Diversität der Modelle wurden Cross-Entropy-Distanzen und Multidimensionale Skalierung (MDS) verwendet, um die Verteilung der Modelle im Ausgabe-Raum zu visualisieren.

3. Wichtige Beiträge

• Erste Anwendung von CoAtNet-Soups auf Kulturerbe: Dies ist die erste Studie, die CoAtNet-basierte Model Soups zur Verbesserung der Klassifizierung auf kulturellen Datensätzen einsetzt.
• Varianzreduktion ohne Inferenzkosten: Die Arbeit zeigt, dass das Mitteln von Checkpoints die Varianz der Vorhersagen signifikant reduziert, ohne die Rechenkosten bei der Inferenz zu erhöhen (im Gegensatz zu traditionellen Ensembles, die mehrere Modelle parallel ausführen müssen).
• Geometrische Diversitätsanalyse: Durch MDS wurde nachgewiesen, dass Model Soups geometrisch diverse Checkpoints auswählt, die sich im Ausgabe-Raum weit verteilen. Im Gegensatz dazu neigt Soft Voting dazu, redundante, stark korrelierte Modelle zu mitteln.
• Bias-Varianz-Zerlegung: Die Analyse zeigt, dass Model Soups die Varianz stabilisiert, während der Bias nur minimal erhöht wird.

4. Ergebnisse

Die Experimente auf dem ICH-17 Testset ergaben folgende Ergebnisse:

• State-of-the-Art Leistung: Der Ansatz mit CoAtNet-2 + Uniform Soup erreichte die besten Ergebnisse:
  • Top-1 Genauigkeit: 72,36 %
  • Macro F1-Score: 69,28 %
• Vergleich mit Baselines:
  • Das Modell übertraf ResNet-50 (65,55 %), DenseNet-121 (64,35 %) und sogar den reinen Vision Transformer (ViT, 70,09 %).
  • CoAtNet-0 allein (70,63 %) war bereits effizienter als ViT, obwohl es etwa dreimal weniger Parameter hat.
• Effekt der Soups-Strategie:
  • Sowohl Uniform als auch Greedy Soup verbesserten die Leistung gegenüber dem besten einzelnen Checkpoint.
  • Bei CoAtNet-2 brachte Uniform Soup eine Steigerung von +0,93 % in der Genauigkeit und +0,70 % im F1-Score gegenüber dem Basis-Modell.
• Klassenweise Analyse: Die Leistung verbesserte sich in 11 von 17 Klassen signifikant (insbesondere bei schwierigen Klassen wie dem Ok Om Bok Festival), was auf eine stabilere Vorhersage in mehrdeutigen Kategorien hindeutet.
• Ablationsstudie (Pre-Training): Modelle, die von zufälligen Initialisierungen trainiert wurden (ohne ImageNet-Pre-Training), erzielten deutlich schlechtere Ergebnisse (ca. 20–22 % weniger Genauigkeit), was die kritische Rolle von Transfer-Learning in diesem Low-Resource-Szenario unterstreicht.

5. Bedeutung und Ausblick

• Praktische Relevanz: Die Methode bietet eine skalierbare und kosteneffiziente Lösung für die digitale Bewahrung des kulturellen Erbes, insbesondere in Regionen mit begrenzten Datenressourcen.
• Theoretischer Beitrag: Die Arbeit liefert empirische Beweise dafür, dass das gezielte Mitteln von Gewichten (Weight-Space Ensembling) eine überlegene Strategie gegenüber klassischem Soft Voting ist, da sie die geometrische Diversität der Modelle im Ausgabe-Raum nutzt.
• Zukünftige Arbeiten: Die Autoren planen, semantische Priors und multimodale Signale (z. B. Text-Metadaten) zu integrieren und die Methode auf ICH-Datensätze aus anderen Regionen der Welt zu erweitern.

Zusammenfassend demonstriert diese Studie, dass die Kombination aus hybriden Architekturen (CoAtNet) und gewichtsbasierten Ensemble-Methoden (Model Soups) ein leistungsfähiges Werkzeug ist, um die Generalisierungsfähigkeit von KI-Modellen in komplexen, datenarmen kulturellen Klassifizierungsaufgaben zu maximieren.