Résumé Technique : CANVAS – Apprentissage Contrastif Informé par les Faisceaux pour les Représentations Multi-Relationnelles

Énoncé du Problème

Les modèles vision-langage (VLM) actuels, tels que CLIP, apprennent un espace d'incorporation (embedding) partagé unique qui impose un alignement homogène entre les images et le texte. Cette approche suppose une relation fixe et singulière entre les modalités visuelles et textuelles. Cependant, dans le domaine de l'histoire de l'art, une seule œuvre d'art soutient de multiples interprétations distinctes et non interchangeables (par exemple, le contexte historique, l'interprétation stylistique, l'analyse conceptuelle). Les VLM standards réduisent cette richesse en un vecteur unique, perdant ainsi la structure multi-relationnelle essentielle à un raisonnement historico-artistique nuancé.

Les approches existantes basées sur les graphes tentent de capturer ces multiples aspects mais souffrent de limitations significatives : elles opèrent généralement dans un cadre transductif, nécessitant que la structure complète du graphe (y compris les indices d'arêtes des annotations de l'ensemble de test) soit disponible au moment de l'inférence. Cela empêche leur application à des entités inédites dans des scénarios inductifs, ce qui est une exigence courante pour un déploiement en conditions réelles.

Méthodologie : CANVAS

Les auteurs proposent CANVAS (Contrastive Art-aware Network for Vision-Language Alignment with Sheaves), un cadre qui apprend des représentations multimodales sensibles aux relations sans dépendre de la connectivité externe du graphe lors de l'inférence. La méthode est inspirée de la théorie des faisceaux cellulaires (cellular sheaf theory), qui permet de représenter les données de manière cohérente dans différents référentiels locaux.

Composants Clés

1. Construction de Graphe Bipartite :
   Le jeu de données est modélisé comme un graphe bipartite $G = (U \cup V, E)$, où $U$ représente les nœuds d'images, $V$ les nœuds de texte, et les arêtes $E$ encodent des relations sémantiques typées (par exemple, « style », « auteur », « contexte historique »).

2. Couche Conditionnée par la Relation et Informée par le Faisceau :
   Au lieu d'apprendre un unique embedding global, CANVAS projette les représentations des nœuds dans des sous-espaces spécifiques à la relation en utilisant des applications de restriction.

   • Initialisation : Les caractéristiques des nœuds (images et textes) et des arêtes (descriptions de relations) sont initialisées à l'aide d'un modèle CLIP pré-entraîné.
   • Modulation : Pour chaque arête $e=(u,v)$ avec un embedding de relation $h_{r_e}$, les embeddings des nœuds sont concaténés avec l' embedding de la relation. Un « Apprenant de Faisceau » (Sheaf Learner) apprenable (un MLP à trois couches) traite cette concaténation pour produire des paramètres d'échelle ($\gamma_e$) et de décalage ($\beta_e$) par caractéristique.
   • Transformation : Ces paramètres modulent les embeddings des nœuds via une modulation linéaire par caractéristique (FiLM) : $\tilde{h}_{e,u} = \gamma_e \otimes h_u + \beta_e$. Cela déforme efficacement l'espace d'incorporation pour l'aligner sur le type de relation spécifique, permettant à la même image d'avoir des représentations distinctes selon le contexte (par exemple, stylistique vs historique).

3. Similarité Douce basée sur le Graphe et Perte Contrastive :
   Pour capturer les dépendances d'ordre supérieur entre les relations, la méthode construit un graphe de ligne $G' = L(G)$, où les nœuds représentent les arêtes originales (paires image-texte).

   • Diffusion par Noyau de Chaleur : Un a priori structurel doux est calculé en utilisant le noyau de chaleur sur le Laplacien du graphe de ligne. Cela crée une matrice cible douce $\tilde{W}$ où les paires partageant des éléments communs (même image ou même texte) se voient attribuer une affinité plus élevée.
   • Fonction de Perte : L'objectif d'entraînement combine la perte standard de type InfoNCE (perte CLIP) avec une perte KL régularisée par le graphe. La perte KL minimise la divergence entre la matrice de similarité prédite par le modèle et la matrice cible douce dérivée de la structure du graphe. Cela adoucit la pénalité pour les paires « négatives » qui sont sémantiquement proches en raison de la topologie partagée du graphe, traitant ainsi le problème des négatifs difficiles (hard-negatives) de l'apprentissage contrastif standard.

4. Inférence Inductive :
   Contrairement aux GNN transductifs, CANVAS traite chaque arête image-texte de manière indépendante pendant l'entraînement. Lors de l'inférence, le modèle nécessite uniquement l'image, le texte et, optionnellement, le type de relation. Il n'a pas besoin d'accéder au graphe complet ou aux connexions des entités inédites, ce qui le rend entièrement inductif.

Principales Contributions

• Cadre Théorique : Introduit l'application de la théorie des faisceaux cellulaires à l'alignement vision-langage, traitant les relations comme des « citoyens de premier rang » qui définissent la transformation des embeddings plutôt que simplement comme des embeddings eux-mêmes.
• Apprentissage Multi-Relationnel Inductif : Propose une méthode qui apprend plusieurs sous-espaces relationnels sans nécessiter la structure complète du graphe au moment du test, surmontant les limitations transductives des méthodes précédentes d'analyse de l'art basées sur les graphes.
• Nouveaux Benchmarks : Introduit trois nouveaux jeux de données pour la compréhension multi-relationnelle de l'art :
  • HertzianaDP : Une collection de peintures et de dessins de la Bibliotheca Hertziana (précédemment indisponible), servant de test strict pour la généralisation à des données inédites.
  • WikiArt+ : Une extension de WikiArt enrichie par des explications issues de Wikipédia.
  • SemArt+ : Une version raffinée du jeu de données SemArt avec des annotations par phrase.
• Validation Empirique : Démontre que l'alignement multi-relationnel est pratiquement essentiel, surpassant les modèles de référence tant pour les tâches de recherche (retrieval) que de classification.

Résultats Expérimentaux

Les auteurs ont évalué CANVAS sur les trois jeux de données introduits contre des modèles de référence incluant CLIP, SigLIP, ArtSAGENet, ColPali et d'autres modèles sensibles aux relations.

• Recherche Cross-Modale : CANVAS surpasse systématiquement les modèles de référence en recherche Image-vers-Texte (I2T) sur tous les jeux de données. Notamment, sur HertzianaDP (qui n'était pas présent dans les données de pré-entraînement de CLIP), CANVAS a atteint un Recall@10 en I2T de 0,514, dépassant largement le modèle de référence CLIP affiné (0,084). En recherche Texte-vers-Image (T2I), CANVAS atteint également les meilleures performances sur HertzianaDP et SemArt+.
• Classification Sensible aux Relations : CANVAS a obtenu la meilleure ou la deuxième meilleure précision sur presque toutes les tâches de classification (ex: Artiste, Période, Style, Genre). Crucialement, il a maintenu une cohérence là où les autres modèles échouaient ; par exemple, il a nettement surpassé les méthodes à embedding unique sur des attributs complexes comme le « Style » et la « Période ».
• Études d'Ablation : Les expériences ont confirmé que les pertes InfoNCE et KL sont toutes deux nécessaires pour une performance optimale. Le retrait de la modulation conditionnée par la relation (la couche de faisceau) a provoqué une chute drastique des performances, validant la nécessité des sous-espaces spécifiques à la relation.
• Analyse Qualitative : Les visualisations (t-SNE) ont démontré que CANVAS organise les œuvres d'art en voisinages distincts et complémentaires basés sur le type de relation (par exemple, des voisins temporels pour les requêtes de « date » vs des voisins stylistiques pour les requêtes de « style »), confirmant que le modèle apprend des dimensions historico-artistiques distinctes.

Signification et Revendications

L'article affirme que l'alignement multi-relationnel est non seulement motivé théoriquement mais aussi pratiquement essentiel pour des domaines comme l'histoire de l'art où une seule image soutient de multiples interprétations valides. En allant au-delà d'un unique espace d'incorporation homogène, CANVAS capture le langage nuancé du style, de l'intention et du contexte.

Les auteurs soulignent que leur approche est indépendante du domaine. Bien que validée sur l'art, la structure est adaptée à tout contexte où les images et les textes partagent des relations sémantiques hétérogènes, comme l'imagerie médicale ou le patrimoine culturel. Ce travail établit que l'apprentissage sensible aux relations, mis en œuvre via un apprentissage contrastif informé par les faisceaux, fournit une solution inductive robuste pour des tâches complexes de compréhension multimodale.