VL-KGE: Vision-Language Models Meet Knowledge Graph Embeddings

Le papier propose VL-KGE, un cadre intégrant les modèles vision-langage aux représentations des graphes de connaissances pour surmonter les limites des méthodes multimodales existantes et améliorer la prédiction de liens sur des graphes hétérogènes.

L'essentiel

Imaginez que vous essayez de comprendre l'histoire de l'art en utilisant deux outils très différents : un grand catalogue de musée (le texte, les noms, les dates) et une galerie de photos (les images des tableaux).

Le problème, c'est que ces deux outils ne parlent pas le même langage. Le catalogue vous dit "Picasso a peint Guernica en 1937", mais il ne vous montre pas le tableau. La photo vous montre le tableau, mais elle ne vous dit pas qui l'a peint ou quand.

Les chercheurs de l'Université d'Amsterdam ont créé une nouvelle méthode, qu'ils appellent VL-KGE, pour faire parler ces deux mondes ensemble. Voici comment cela fonctionne, expliqué simplement :

1. Le Problème : Le "Déséquilibre" des Données

Dans le monde réel, les informations sont souvent déséquilibrées.

• Pour un tableau, vous avez une belle image, mais peu de texte.
• Pour un peintre (comme Picasso), vous avez beaucoup de texte (sa biographie, ses influences), mais pas d'image de lui en train de peindre.
• Pour un mouvement artistique (comme le Cubisme), vous avez du texte, mais pas d'objet physique unique.

Les anciennes méthodes d'intelligence artificielle avaient du mal avec ça. Elles étaient comme des étudiants qui devaient réviser pour un examen, mais qui avaient oublié leurs livres de texte ou leurs photos. Elles supposaient que tout le monde avait les mêmes informations, ce qui n'est pas vrai dans la réalité.

2. La Solution : Le "Super Traducteur" (VL-KGE)

Les auteurs ont créé un système qui utilise des modèles Vision-Langage (comme des super-intelligences qui ont déjà appris à associer des images et des mots, un peu comme un enfant qui apprend que "chat" correspond à l'image d'un chat).

Imaginez que VL-KGE est un chef d'orchestre très talentueux :

• Il prend l'image d'un tableau et la transforme en une "partition musicale" (une représentation mathématique).
• Il prend le texte sur un artiste et le transforme en une autre "partition".
• Grâce à son entraînement préalable, il sait que ces deux partitions, bien que différentes, parlent de la même mélodie. Il les assemble pour créer une représentation unifiée.

Même si un artiste n'a pas de photo dans la base de données, le système peut utiliser les informations textuelles sur lui et les relier aux tableaux qu'il a peints, car il comprend le lien sémantique entre les mots et les images.

3. L'Analogie du "Réseau Social des Artistes"

Pensez à un réseau social géant où :

• Les Tableaux sont des profils avec une photo de profil.
• Les Artistes sont des profils avec une bio textuelle.
• Les Mouvements (Cubisme, Impressionnisme) sont des groupes.

Avant, l'IA ne pouvait bien connecter les gens que si tout le monde avait une photo ET une bio complète. Si un artiste n'avait que sa bio, l'IA le perdait de vue.

Avec VL-KGE, l'IA devient un détective génial. Elle peut dire : "Même si je n'ai pas la photo de ce peintre, je sais qu'il a peint dans le style 'Cubisme' (que je connais par les images des tableaux cubistes) et qu'il a influencé tel autre artiste. Je peux donc le relier au reste du réseau sans avoir besoin de sa photo."

4. Pourquoi c'est important ?

Les chercheurs ont testé leur méthode sur deux bases de données :

1. Une base de données "parfaite" (où tout le monde a une photo et un texte) : Là, leur méthode a gagné, prouvant qu'elle est solide.
2. Une base de données "réaliste" (WikiArt) : C'est ici que la magie opère. Comme dans la vraie vie, beaucoup d'artistes n'avaient pas de photos, ou certains tableaux n'avaient pas de descriptions détaillées.

Le résultat ? VL-KGE a deviné les liens manquants beaucoup mieux que les anciennes méthodes. Elle a réussi à dire : "Ce tableau a probablement été peint par cet artiste" ou "Ces deux mouvements artistiques sont liés", même avec des informations incomplètes.

En résumé

Cette recherche, c'est comme donner à une intelligence artificielle la capacité de comprendre le contexte. Elle ne se contente plus de regarder une image ou de lire un mot isolément. Elle sait que l'image d'un tableau et le mot "Picasso" font partie d'une même histoire, même si l'un des deux éléments manque.

C'est une avancée majeure pour aider les historiens de l'art, les musées et les curieux à mieux explorer, classer et comprendre le patrimoine culturel mondial, même lorsque les archives sont incomplètes ou déséquilibrées.

Résumé technique

1. Problématique et Contexte

Les graphes de connaissances (KG) réels sont intrinsèquement hétérogènes et multimodaux, intégrant des entités associées à diverses modalités (images, textes, attributs structuraux). Cependant, les méthodes traditionnelles d'embedding de graphes de connaissances (KGE) sont conçues pour des environnements unimodaux et ignorent souvent le contenu multimodal riche.

Les approches récentes tentant d'étendre le KGE aux contextes multimodaux souffrent de deux limitations critiques :

1. Désalignement modal : Elles traitent souvent chaque modalité de manière indépendante, ce qui empêche une alignement sémantique fort dans un espace d'embedding partagé.
2. Hypothèse d'uniformité des modalités : Elles supposent que toutes les entités possèdent toutes les modalités (par exemple, une image et un texte pour chaque nœud). Cette hypothèse échoue dans des scénarios réels où l'asymétrie des modalités est inhérente (ex: dans les graphes d'art, les œuvres sont visuelles, tandis que les artistes ou les mouvements sont principalement textuels).

L'objectif est de développer un cadre capable d'intégrer des représentations pré-entraînées de modèles Vision-Language (VLM) avec une modélisation relationnelle structurée pour gérer cette asymétrie et améliorer la prédiction de liens.

2. Méthodologie : Le Cadre VL-KGE

Les auteurs proposent VL-KGE (Vision–Language Knowledge Graph Embeddings), un cadre qui fusionne les représentations sémantiques alignées des VLM avec la structure du graphe.

Architecture Principale

• Encodage Multimodal : Chaque entité $e$ est représentée par ses modalités disponibles :
  • $s_e$ : Embedding structurel (apprenable).
  • $v_e$ : Embedding visuel (extrait d'un encodeur d'image pré-entraîné comme ViT ou CLIP).
  • $t_e$ : Embedding textuel (extrait d'un encodeur de texte pré-entraîné comme BERT ou BLIP).
• Gestion de l'Asymétrie : Le cadre ne suppose pas que toutes les modalités sont présentes. Il utilise un opérateur de fusion $F$ pour combiner uniquement les modalités disponibles pour une entité donnée.
• Inférence Inductive : Une caractéristique clé est la capacité à faire des prédictions sur des entités jamais vues lors de l'entraînement. Pour les entités non observées, les embeddings structurels sont masqués, et la représentation repose entièrement sur les caractéristiques pré-entraînées des VLM, permettant une généralisation sans réentraînement.
• Fusion des Modalités : Trois stratégies de fusion sont explorées pour combiner les vecteurs en un seul vecteur d'entité unifié :
  1. Moyenne : Calcul de la moyenne des vecteurs disponibles.
  2. Concaténation : Empilement des vecteurs (avec remplissage par zéro si nécessaire).
  3. Pondérée : Apprentissage de poids $\alpha_m$ pour chaque modalité afin de capturer leur importance relative.
• Modélisation Relationnelle : Les embeddings d'entités unifiés sont intégrés dans des backbones KGE standards (TransE, DistMult, ComplEx, RotatE) pour apprendre les relations sémantiques.

Données et Évaluation

Pour valider le cadre, les auteurs introduisent deux nouveaux graphes de connaissances multimodaux dans le domaine des beaux-arts, basés sur le dataset WikiArt :

• WikiArt-MKG-v1 : Un graphe focalisé sur les relations œuvre-attribut (artiste, style, année).
• WikiArt-MKG-v2 : Une version étendue et beaucoup plus riche (217k œuvres, 4k artistes) incluant des relations complexe (œuvre-œuvre, artiste-artiste, influences) et présentant une forte asymétrie de modalités (certaines entités n'ont que du texte, d'autres que des images).
• Benchmarks : Les performances sont comparées sur WN9-IMG (données complètes) et les nouveaux graphes WikiArt (données asymétriques) en utilisant des métriques de prédiction de liens (MRR, Hits@K).

3. Contributions Clés

1. Proposition de VL-KGE : Un cadre novateur intégrant les représentations pré-entraînées de modèles Vision-Language (VLM) avec la modélisation relationnelle structurée pour apprendre des embeddings de graphes de connaissances multimodaux unifiés.
2. Gestion explicite de l'asymétrie des modalités : Le modèle permet de représenter des entités hétérogènes en utilisant uniquement leurs modalités disponibles, tout en modélisant les interactions intra-modales et inter-modales.
3. Nouveaux Datasets : Introduction de WikiArt-v2, WikiArt-MKG-v1 et WikiArt-MKG-v2, qui étendent considérablement les données d'art fin pour faciliter la recherche sur le KGE multimodal dans des conditions d'asymétrie réalistes.
4. Preuve de performance : Démonstration que VL-KGE améliore systématiquement les performances par rapport aux méthodes KGE unimodales et multimodales existantes, en particulier dans les scénarios d'asymétrie de modalités.

4. Résultats Expérimentaux

• Sur WN9-IMG (Modalités complètes) : VL-KGE surpasse les méthodes unimodales et les approches multimodales récentes (comme MMKRL et OTKGE). L'utilisation de CLIP comme encodeur de base donne les meilleurs résultats, notamment avec le backbone DistMult, soulignant l'importance de l'alignement pré-entraîné entre le texte et l'image.
• Sur WikiArt-MKG (Asymétrie des modalités) :
  • Les méthodes "Zero-shot" (sans entraînement KGE) utilisant uniquement les VLM montrent des performances non triviales, prouvant que les VLM capturent déjà une structure sémantique pertinente.
  • VL-KGE surpasse largement les baselines unimodales et les approches utilisant des encodeurs découplés (ViT + BERT sans alignement).
  • Les gains sont particulièrement marqués sur WikiArt-MKG-v2, où l'asymétrie est forte. Par exemple, VL-ComplEx (base CLIP) atteint un MRR de 0.785 sur v1 et 0.578 sur v2, surpassant nettement les méthodes de référence.
• Analyse Qualitative : Les prédictions de VL-KGE sont plus cohérentes sémantiquement et historiquement que celles des modèles Zero-shot. Le modèle réussit à inférer des relations complexes (ex: influences artistiques, appartenance à des mouvements) en combinant la similarité visuelle/textuelle avec la structure du graphe, évitant les erreurs de cohérence sémantique fréquentes dans les approches purement basées sur la similarité.

5. Signification et Impact

Ce travail démontre que l'intégration de modèles Vision-Language pré-entraînés dans les embeddings de graphes de connaissances est une voie prometteuse pour résoudre les défis de l'hétérogénéité et de l'asymétrie des données réelles.

• Robustesse : VL-KGE offre une robustesse accrue face aux données manquantes (certaines entités n'ayant pas d'image ou de texte), un problème majeur dans les applications web et culturelles.
• Inférence Inductive : La capacité à généraliser à de nouvelles entités sans réentraînement est cruciale pour les applications dynamiques comme les musées numériques ou les moteurs de recommandation en temps réel.
• Domaine des Beaux-Arts : En introduisant des benchmarks réalistes pour l'analyse computationnelle de l'art, le papier ouvre la voie à de nouvelles recherches sur la compréhension des réseaux d'influence artistique et la contextualisation des œuvres culturelles.

En conclusion, VL-KGE établit un nouveau standard pour la modélisation des graphes de connaissances multimodaux, en passant d'une approche de fusion simple à une approche structurée exploitant la puissance sémantique des VLM modernes.