HanMoVLM: Large Vision-Language Models for Professional Artistic Painting Evaluation

Ce papier présente HanMoVLM, un modèle vision-langage spécialisé dans l'évaluation experte des peintures chinoises grâce à un raisonnement de type chaîne de pensée validé par des experts et un nouveau jeu de données HanMo-Bench, permettant d'améliorer la génération d'images artistiques en servant de vérificateur de haute qualité.

L'essentiel

🎨 HanMoVLM : Le "Grand Maître" Artificiel de la Peinture Chinoise

Imaginez que vous avez un robot super intelligent capable de reconnaître n'importe quoi : un chat, une voiture, ou même un paysage. C'est ce qu'on appelle un modèle de vision-linguistique (VLM). Mais si vous lui montrez une magnifique peinture chinoise traditionnelle (avec des montagnes à l'encre, des bambous ou des oiseaux), ce robot va probablement dire : "Ah, c'est une montagne et un oiseau !"

Le problème ? Il ne sait pas juger l'œuvre. Il ne comprend pas pourquoi cette montagne est sublime et celle-ci est banale. Il est "aveugle" à l'art, un peu comme quelqu'un qui regarde une symphonie sans entendre la musique.

Les chercheurs de l'Université de Macao et de Tencent ont créé HanMoVLM pour résoudre ce problème. Voici comment ils ont fait, expliqué avec des métaphores simples.

1. Le Problème : L'Étranger à la Galerie d'Art

Les modèles d'IA actuels sont comme des touristes qui visitent un musée de peinture chinoise. Ils voient les formes, mais ils ne comprennent pas la culture, l'histoire ou la technique.

• Le décalage : Ils voient des traits noirs, mais ne voient pas la "force du pinceau".
• Le manque de données : Ils n'ont jamais été entraînés par de vrais experts. C'est comme essayer d'apprendre le jazz en écoutant uniquement de la musique de fond.

2. La Solution : Un Apprentissage par "Pensée d'Expert"

Au lieu de donner une réponse immédiate, les chercheurs ont appris à HanMoVLM à penser comme un expert. Ils ont créé une méthode appelée "Chaîne de Pensée" (Chain-of-Thought).

Imaginez un détective de l'art qui suit un protocole strict en 4 étapes, au lieu de juste regarder la peinture :

1. L'Identification (Le Titre) : "De quoi parle cette histoire ? Est-ce un paysage de montagne, un oiseau ou une personne ?"
2. Le Zoom (Les Détails) : "Regardons de plus près. Où sont les points clés ?" (L'IA apprend à isoler les zones importantes, comme un pinceau qui touche un rocher spécifique).
3. L'Analyse Technique (La Méthode) : "Comment le pinceau a-t-il bougé ? L'encre est-elle sèche ou humide ?"
4. L'Âme de l'œuvre (L'Esprit) : C'est l'étape la plus importante. L'IA doit évaluer le "Qi Yun" (l'harmonie spirituelle) et l'"Yi Jing" (l'atmosphère poétique). Est-ce que la peinture respire ? Est-ce qu'elle évoque une émotion ?

C'est comme si on apprenait à l'IA non seulement à voir, mais à ressentir l'art.

3. Le Coach Virtuel : La Récompense

Pour s'assurer que l'IA ne se trompe pas, les chercheurs ont créé un système de récompense (comme un entraîneur de sport).

• Si l'IA identifie mal la zone à analyser, elle reçoit un "mauvais point".
• Si son raisonnement est logique mais que la note finale est fausse, elle reçoit un "mauvais point".
• Si elle suit exactement la logique d'un vrai expert humain, elle reçoit une grande récompense.

Grâce à cela, l'IA s'entraîne des milliers de fois jusqu'à ce que son jugement soit aussi fin que celui d'un maître peintre.

4. Le Résultat : Un Critique d'Art Numérique

Une fois entraînée, HanMoVLM devient un expert capable de :

• Noter les peintures : Elle peut donner une note de 0 à 5 à une peinture chinoise, avec une précision qui correspond à celle des humains (les vrais experts).
• Améliorer l'art généré par l'IA : C'est là que ça devient magique. Imaginez un artiste qui dessine 10 versions d'une peinture chinoise. HanMoVLM agit comme un sélectionneur. Il regarde les 10 versions, élimine celles qui sont "fausses" ou "bêtes", et choisit la seule qui a vraiment de l'âme.

En Résumé

HanMoVLM, c'est comme si on prenait un génie de l'informatique et qu'on lui donnait 20 ans de formation dans un atelier de peinture traditionnelle chinoise.

• Avant : L'IA voyait juste des pixels.
• Maintenant : L'IA comprend la poésie, la technique du pinceau et l'émotion.

Elle comble le fossé entre la technologie froide et la beauté de l'art humain, permettant de créer et d'évaluer des œuvres qui respectent vraiment la tradition chinoise. C'est un pont entre le code binaire et l'encre de Chine. 🖌️🤖

Résumé technique

Voici un résumé technique détaillé du papier de recherche "HanMoVLM: Large Vision-Language Models for Professional Artistic Painting Evaluation", rédigé en français.

1. Problématique

Les modèles de langage-vision (VLM) actuels, bien que performants dans la compréhension visuelle générale, souffrent d'une "cécité artistique" lorsqu'ils sont confrontés à des domaines artistiques spécifiques, en particulier la peinture chinoise traditionnelle.
Les défis majeurs identifiés sont :

• Désalignement artistique : Les modèles génériques manquent de compréhension des nuances culturelles et des critères d'évaluation non occidentaux (qui ne reposent pas sur le réalisme ou la perspective linéaire).
• Écart entre compréhension et évaluation : Un modèle peut identifier des éléments (montagnes, rivières) mais échoue à les évaluer selon des standards experts.
• Manque de données de haute qualité : Absence de jeux de données annotés par des experts avec des raisonnements structurés (Chain-of-Thought) pour l'évaluation artistique.

L'objectif est de transformer un VLM générique en un expert capable d'évaluer professionnellement des peintures chinoises, en comblant le fossé entre la reconnaissance visuelle et le jugement esthétique expert.

2. Méthodologie

L'approche proposée, HanMoVLM, repose sur une architecture en deux étapes et une stratégie d'évaluation spécifique.

A. Le Jeu de Données : HanMo-Bench

Pour entraîner et évaluer le modèle, les auteurs ont créé HanMo-Bench, un nouveau benchmark contenant 13 162 peintures chinoises (entraînement) et 600 (test).

• Sources : Mélange d'œuvres authentiques (provenant de maisons de vente aux enchères avec évaluations réelles) et d'œuvres synthétiques (générées par des modèles T2I).
• Annotation : Les données sont normalisées sur une échelle de 0 à 5. Un processus de validation humaine par des experts en art chinois assure la qualité des annotations.
• Catégories : Paysage (Shanshui), Fleurs et Oiseaux (Huaniao), Personnages (Renwu).

B. Architecture et Entraînement

Le modèle est basé sur un VLM open-source (Qwen3-VL) et est affiné en deux phases :

1. SFT (Supervised Fine-Tuning) : Le modèle est entraîné sur des paires (Image, Réponse Expert) utilisant un Chain-of-Thought (CoT) de niveau expert. Ce CoT force le modèle à suivre une procédure rigoureuse :
   • Identification du thème (Paysage, Fleurs, Personnages).
   • Localisation des Régions d'Intérêt (RoI) et analyse des détails.
   • Évaluation basée sur des critères spécifiques au thème.
   • Application des trois niveaux d'évaluation traditionnels :
     • Bi Mo (Pinceau et Encre) : Qualité du trait et de l'encre.
     • Qi Yun (Résonance Spirituelle) : Vitalité et flux interne.
     • Yi Jing (Conception Artistique) : Profondeur poétique et atmosphère culturelle.
2. RFT (Reinforcement Fine-Tuning) : Utilisation de l'optimisation de politique relative de groupe (GRPO) pour affiner le raisonnement. Une fonction de récompense composite est conçue pour pénaliser les hallucinations et encourager la précision :
   • Récompense de précision (Accuracy) : Écart entre le score prédit et la vérité terrain.
   • Récompense BERT : Similarité sémantique entre le raisonnement généré et celui de l'expert.
   • Récompense mIoU : Précision de la localisation des régions d'intérêt (RoI).

C. Application à la Génération (Test-time Scaling)

HanMoVLM est également utilisé comme vérificateur externe pour améliorer la génération d'images (Text-to-Image).

• Stratégie : Pour un prompt donné, un modèle générateur produit $N$ images candidates.
• Sélection : HanMoVLM évalue chaque candidat et sélectionne celui ayant le score le plus élevé (mécanisme Best-of-N), sans nécessiter de réentraînement du modèle générateur.

3. Contributions Clés

1. HanMo-Bench : Le premier benchmark rigoureux dédié à l'évaluation experte des peintures chinoises, intégrant des œuvres réelles et synthétiques avec des annotations de haute qualité.
2. HanMoVLM : Un modèle VLM capable de raisonnement expert, intégrant une analyse visuelle globale et locale, ainsi que des critères esthétiques culturels spécifiques (Bi Mo, Qi Yun, Yi Jing).
3. Fonction de Récompense Spécifique : Une nouvelle fonction de récompense guidant l'apprentissage par renforcement sur la cohérence du raisonnement, la justesse du score et la précision de la localisation spatiale.
4. Amélioration de la Génération Artistique : Démonstration que l'utilisation d'un VLM expert comme vérificateur en phase d'inférence (Test-time Scaling) améliore significativement la qualité artistique des sorties des modèles de génération d'images.

4. Résultats Expérimentaux

Les expériences menées sur HanMo-Bench montrent des performances supérieures :

• Précision de l'évaluation : HanMoVLM (8B) atteint une précision de 46,67 % (vs ~18-21 % pour les modèles de base comme Qwen ou InternVL), avec une réduction significative de l'erreur quadratique moyenne (RMSE).
• Alignement avec les experts : Les corrélations de Kendall ($\tau = 0,758$) et de Spearman ($\rho = 0,845$) entre les classements de HanMoVLM et ceux d'experts humains sont très élevées, surpassant largement les métriques existantes (PickScore, HPSv2) qui échouent à capturer les nuances de l'art chinois.
• Qualité du raisonnement : L'ajout du CoT expert et du RFT améliore considérablement la capacité du modèle à justifier ses notes (BERTScore augmenté de ~49 %).
• Génération : L'application de la stratégie Test-time Scaling permet de sélectionner des images générées qui correspondent beaucoup mieux aux attentes esthétiques humaines, éliminant les artefacts typiques des IA (mélange de styles occidentaux et chinois).

5. Signification et Impact

Ce travail marque une avancée significative dans le domaine de l'IA culturelle :

• Démocratisation de l'expertise : Il permet d'automatiser des tâches d'évaluation artistique qui nécessitaient auparavant des années de formation humaine, rendant l'expertise accessible via l'IA.
• Préservation et Innovation : En enseignant aux modèles les critères profonds de l'art chinois (au-delà de l'apparence visuelle), le modèle contribue à la préservation numérique de ce patrimoine et à sa réinterprétation par l'IA.
• Nouveau Paradigme d'Évaluation : Il démontre que l'intégration de raisonnements structurés (CoT) et de récompenses spécifiques au domaine est cruciale pour dépasser les limites des modèles VLM génériques dans des tâches spécialisées et culturellement riches.

En résumé, HanMoVLM ne se contente pas de "voir" la peinture chinoise ; il apprend à la "comprendre" et à l'évaluer avec la rigueur d'un critique d'art humain.