Leveraging Model Soups to Classify Intangible Cultural Heritage Images from the Mekong Delta

Cet article propose un cadre robuste combinant l'architecture hybride CoAtNet et la technique de « model soups » pour améliorer la classification des images du patrimoine culturel immatériel du delta du Mékong, atteignant des performances de pointe en réduisant la variance grâce à un ensemencement intelligent de checkpoints géométriquement diversifiés.

L'essentiel

Voici une explication simple et imagée de cet article de recherche, comme si nous en discutions autour d'un café.

🌊 Le Défi : Classer les Trésors du Mékong

Imaginez que vous êtes un archiviste dans le delta du Mékong (au Vietnam). Votre mission est de trier des milliers de photos de patrimoine culturel immatériel : des festivals, des danses, des métiers d'art (comme tisser des nattes ou construire des bateaux en bois).

Le problème ? C'est un vrai casse-tête pour deux raisons :

1. Il y a peu de photos : Contrairement aux chats ou aux voitures, il n'y a pas des millions d'exemples pour chaque tradition.
2. Tout se ressemble : Regardez la photo d'un festival de prière à la mer et celle d'une cérémonie dans un temple. Pour un humain, c'est différent. Pour un ordinateur, c'est souvent un brouillard de couleurs et de foules très similaires.

Si on demande à un ordinateur standard de classer ces photos, il va souvent se tromper, soit parce qu'il n'a pas assez appris (il "oublie" vite), soit parce qu'il a trop appris par cœur sur les rares exemples (il "hallucine" des détails qui n'existent pas).

🧠 La Solution : Le "CoAtNet" et la "Soupe de Modèles"

Les chercheurs ont proposé une recette en deux étapes pour résoudre ce problème.

1. Le Cuisinier de Base : CoAtNet

Imaginez un chef cuisinier très doué nommé CoAtNet. Ce chef a une double compétence unique :

• Il a l'œil d'un peintre (les convolutions) qui voit les détails locaux : le motif sur un tissu, la couleur d'un costume.
• Il a la vision d'un astronome (l'attention) qui voit le contexte global : la foule, l'ambiance du festival, la relation entre les objets.

En combinant ces deux regards, CoAtNet est bien meilleur pour comprendre ces images complexes que les chefs traditionnels (comme ResNet ou ViT).

2. La Magie : La "Soupe de Modèles" (Model Soups)

C'est ici que ça devient intéressant. Au lieu de faire confiance à un seul chef, les chercheurs ont une idée géniale : faire une soupe.

Imaginez que vous entraînez votre chef CoAtNet pendant 50 jours. À la fin de chaque jour, vous prenez une "photo" de ses connaissances (un checkpoint).

• Le jour 10, il est encore un peu novice.
• Le jour 30, il est excellent mais un peu trop confiant.
• Le jour 45, il est très prudent.

Habituellement, on ne garde que la photo du jour 45 (le meilleur). Mais ici, les chercheurs disent : "Et si on mélangeait les connaissances du jour 10, 20, 30 et 45 ?"

C'est la Soupe de Modèles. Ils prennent les poids (les connaissances) de plusieurs versions du modèle et les moyennent (ils les mélangent dans une casserole).

• L'analogie : C'est comme si vous demandiez à un jury de 5 experts de voter. Au lieu de prendre la décision du seul expert le plus fort, vous prenez la moyenne de leurs avis. Si l'un se trompe sur un détail, les autres le corrigent. Le résultat est plus stable, plus juste et moins sujet aux erreurs.

Il existe deux façons de faire cette soupe :

• La Soupe Uniforme : On prend un échantillon aléatoire de bons jours et on les mélange tous.
• La Soupe Gourmande (Greedy) : On commence avec le meilleur jour, puis on ajoute un autre jour seulement si cela améliore encore le goût de la soupe. On ne garde que les ingrédients qui ajoutent vraiment quelque chose.

📊 Les Résultats : Une Victoire Culturelle

Les chercheurs ont testé cette méthode sur 7 406 photos de 17 catégories différentes.

• Sans la soupe : Le meilleur modèle classique (ViT) avait environ 67% de réussite.
• Avec la soupe : Leur modèle a atteint 72,36% de réussite !

C'est une différence énorme dans le monde de l'intelligence artificielle. De plus, cela ne coûte pas plus cher à l'utilisation : une fois la soupe mélangée, on n'a qu'un seul modèle à utiliser, pas cinq.

🔍 Pourquoi ça marche ? (L'Analyse)

Pourquoi mélanger des modèles aide-t-il ?
Les chercheurs ont utilisé une technique visuelle (appelée MDS) pour regarder comment les modèles "pensent".

• Le vote classique (Soft Voting) : C'est comme prendre 10 personnes qui ont toutes la même opinion et les faire voter. Le résultat est le même, juste un peu plus bruyant.
• La Soupe de Modèles : C'est comme prendre 10 personnes qui ont des opinions différentes mais complémentaires. En les mélangeant, on obtient une vision plus large et plus précise. La "soupe" sélectionne des modèles qui regardent les images sous des angles différents, ce qui réduit les erreurs.

🎓 En Résumé

Cette recherche nous apprend que pour protéger et classer le patrimoine culturel (qui est souvent rare et complexe), il ne faut pas chercher le "super-héros" unique. Il faut plutôt créer une équipe.

En mélangeant intelligemment les différentes étapes d'apprentissage d'une seule intelligence artificielle (la "soupe"), on obtient un expert plus sage, plus fiable et capable de distinguer les nuances subtiles de la culture du delta du Mékong, même avec peu de données.

C'est une victoire pour la technologie, mais surtout pour la préservation de la mémoire humaine ! 🇻🇳✨

Résumé technique

Voici un résumé technique détaillé de l'article « Leveraging Model Soups to Classify Intangible Cultural Heritage Images from the Mekong Delta », rédigé en français.

1. Problématique

L'article aborde le défi de la classification d'images du Patrimoine Culturel Immatériel (PCI) du delta du Mékong au Vietnam. Cette tâche présente des difficultés spécifiques :

• Données limitées et bruitées : Le jeu de données (ICH-17) ne contient que 7 406 images réparties sur 17 classes, avec une proportion notable d'images non pertinentes ou bruyantes malgré un prétraitement manuel.
• Similarité visuelle élevée : Certaines classes partagent des contextes visuels très proches (par exemple, les festivals religieux et les cérémonies), rendant la distinction difficile pour les modèles standards.
• Hétérogénéité du domaine : La diversité des pratiques culturelles entraîne une grande variabilité intra-classe.
• Risque de surapprentissage : Dans ces configurations à faible ressources, les modèles d'apprentissage profond classiques souffrent souvent d'une forte variance ou d'un surajustement à des corrélations spuriées, limitant leur capacité de généralisation.

2. Méthodologie

Les auteurs proposent un cadre robuste combinant une architecture hybride et une technique d'ensemblage innovante :

A. Architecture de Base : CoAtNet

Le modèle de base utilisé est CoAtNet, une architecture hybride qui fusionne les opérations de convolution (pour l'extraction de caractéristiques locales et les biais inductifs spatiaux) et les mécanismes d'auto-attention (pour la modélisation des dépendances à long terme).

• La structure comprend cinq étapes : un stem convolutif, deux étapes utilisant des blocs MBConv (convolutions séparables en profondeur), et deux étapes finales utilisant des blocs Transformer.
• Deux variantes sont testées : CoAtNet-0 (pré-entraîné sur ImageNet-1k) et CoAtNet-2 (plus grand, pré-entraîné sur ImageNet-12k puis affiné sur ImageNet-1k).

B. Technique d'Ensemblage : Model Soups

Au lieu d'entraîner plusieurs modèles indépendants, les auteurs utilisent la technique des Model Soups.

• Principe : Au lieu de sélectionner un seul checkpoint, on moyenne les poids de plusieurs checkpoints sauvegardés au cours d'un seul trajet d'entraînement. Cela permet d'interpoler entre différentes solutions dans l'espace des poids sans augmenter le coût d'inférence (un seul modèle final est utilisé).
• Stratégies d'agrégation :
  1. Uniform Soup : Moyenne simple de tous les checkpoints sélectionnés.
  2. Greedy Soup : Un algorithme glouton sélectionne itérativement les checkpoints qui améliorent la performance de validation lorsqu'ils sont ajoutés à l'ensemble moyen.
• Sélection des checkpoints : Pour chaque métrique (perte, précision, F1), les 8 meilleurs checkpoints sont conservés, formant un pool de 24 candidats potentiels.

C. Analyse de la Diversité

Pour comprendre pourquoi cette méthode fonctionne, les auteurs analysent la diversité des modèles via :

• Métriques de distance : Utilisation de la distance d'entropie croisée entre les sorties softmax des modèles.
• MDS (Multidimensional Scaling) : Projection des modèles en 2D pour visualiser leur distribution dans l'espace de sortie. Cela permet de comparer l'approche "Model Soups" avec le "Soft Voting" classique.

3. Contributions Clés

1. Première application des Model Soups au PCI : C'est la première étude appliquant les Model Soups basés sur CoAtNet pour la classification d'images du patrimoine culturel.
2. Amélioration de la généralisation sans coût d'inférence : La méthode démontre qu'il est possible d'obtenir des gains significatifs de performance en moyenne pondérée des poids, sans nécessiter l'inférence de multiples modèles (contrairement au Soft Voting ou au Bagging classique).
3. Analyse théorique et empirique de la diversité : L'article fournit des preuves empiriques (via MDS) que les Model Soups sélectionnent des checkpoints géométriquement diversifiés dans l'espace de sortie, réduisant ainsi la variance des prédictions, tandis que le Soft Voting tend à moyenner des modèles redondants et corrélés.
4. Robustesse face au bruit : Le cadre proposé s'avère particulièrement efficace pour gérer les données bruitées et les classes déséquilibrées du dataset ICH-17.

4. Résultats Expérimentaux

Les expériences ont été menées sur le dataset ICH-17 (17 classes, 7 406 images).

• Performance Globale :

  • La combinaison CoAtNet-2 + Uniform Soup atteint les meilleurs résultats : 72,36 % de précision (Accuracy) et 69,28 % de score F1 macro.
  • Ces résultats surpassent les modèles de base (ResNet-50, DenseNet-121, ViT) et les travaux antérieurs sur le même dataset (Do et al., Tran et al.).
  • CoAtNet-2 seul (sans ensemblage) obtient déjà 71,43 % de précision, surpassant ViT (70,09 %) malgré un nombre de paramètres inférieur.

• Comparaison des stratégies :

  • Uniform Soup donne légèrement de meilleurs résultats globaux que Greedy Soup, bien que cette dernière reste compétitive.
  • L'application de Model Soups améliore systématiquement les métriques par rapport au checkpoint unique le plus performant.

• Analyse par classe :

  • Les Model Soups améliorent le score F1 pour 11 des 17 classes, notamment pour les catégories difficiles comme Lễ hội Ok Om Bok (classe 6), où la précision passe de 61,70 % à 74,47 %.
  • Certaines classes montrent une stabilité ou une légère baisse, mais la tendance globale est à l'amélioration de la robustesse.

• Étude d'ablation (Pré-entraînement) :

  • L'entraînement à partir de zéro (sans poids pré-entraînés ImageNet) entraîne une chute drastique des performances (environ -20 à -22 points de précision), soulignant l'importance cruciale du transfert d'apprentissage pour ce type de données limitées.

• Comparaison avec Soft Voting :

  • L'analyse MDS montre que les modèles "ingrédients" sont bien dispersés dans l'espace de sortie. Les Model Soups exploitent cette diversité pour réduire la variance, tandis que le Soft Voting (qui moyenne toutes les sorties) se retrouve au centre d'un amas de modèles redondants, offrant moins de gains de généralisation.

5. Signification et Impact

Ce travail démontre que l'agrégation de checkpoints diversifiés (Model Soups) est une méthode principale et efficace pour améliorer la généralisation dans des tâches de classification culturellement riches mais à faible disponibilité de données.

• Efficacité opérationnelle : Contrairement aux ensembles traditionnels qui multiplient le temps d'inférence et la mémoire, les Model Soups produisent un modèle unique, facilitant le déploiement.
• Préservation culturelle : La méthode offre une solution évolutive pour la numérisation et la documentation du patrimoine immatériel, permettant une classification plus fiable malgré la complexité visuelle et le manque de données annotées.
• Perspectives futures : Les auteurs prévoient d'intégrer des signaux multi-modaux (métadonnées textuelles) et d'étendre la méthodologie à d'autres régions pour une préservation du patrimoine plus inclusive.

En résumé, l'article valide que la diversité consciente dans l'espacement des poids (via Model Soups) est supérieure à la simple moyenne des sorties (Soft Voting) pour réduire la variance et améliorer la précision dans des contextes de données complexes et limités.