💻 computer science

Visual Transformation Mechanisms for Integrating Digital Cultural Heritage Resources into Junior High School Art Curricula

Cet article présente un modèle de transformation visuelle modulaire qui intègre la vision par ordinateur et l'appariement fondé sur des règles pour standardiser le traitement des ressources du patrimoine culturel numérique, telles que les murales de Dunhuang, en tâches et évaluations de programmes d'art automatisés, démontrant des améliorations significatives des résultats d'apprentissage des élèves et une haute cohérence avec les évaluations des enseignants dans un contexte de collège.

Auteurs originaux : Ji Wu, Jing Zhang, Di Wu, Yiming Peng

Publié 2026-08-07

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ji Wu, Jing Zhang, Di Wu, Yiming Peng

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où l'art ancien n'est pas seulement enfermé derrière une vitrine de musée, mais est en réalité vivant, respirant et prêt à vous apprendre à dessiner. Ce document se situe à l'intersection de la vision par ordinateur (apprendre aux ordinateurs à « voir » et à comprendre les images comme un humain le fait) et du patrimoine culturel numérique (transformer d'anciennes histoires et œuvres fragiles en fichiers numériques sécurisés). La grande question que les chercheurs se posent est la suivante : comment transformer ces magnifiques et complexes images numériques de l'histoire en projets artistiques amusants et réalisables pour des collégiens ? Il ne suffit pas de montrer une image ; l'ordinateur doit comprendre pourquoi l'image est intéressante afin d'aider l'élève à recréer cette magie dans son propre style.

Les auteurs de cette étude, une équipe d'enseignants et de chercheurs de Xi'an, en Chine, ont construit un « traducteur » intelligent pour résoudre ce problème. Ils voulaient cesser de traiter l'art ancien comme quelque chose que l'on se contente de copier pour commencer à le traiter comme un livre de recettes pour la créativité. Ils ont testé leur idée en utilisant le Dunhuang Numérique, une vaste collection de fresques chinoises anciennes (célèbres pour leurs anges volants et leurs motifs colorés).

Voici comment fonctionne leur « machine magique », étape par étape :

1. Le scanner de rayons X numérique
D'abord, l'ordinateur prend une photo numérique d'une fresque et effectue un scan profond. Il ne se contente pas de regarder les jolies couleurs ; il décompose l'image en cinq « ingrédients » spécifiques :

Lignes : À quel point les contours sont denses et rythmés.
Couleurs : Les principaux groupes de couleurs (comme les célèbres rouges et verts minéraux).
Motifs : Comment les formes se répètent (comme un motif de papier peint).
Composition : Où les éléments sont placés dans l'image (est-ce équilibré ? y a-t-il un centre ?).
Pose : La direction et le flux des figures (comme les rubans flottants d'un ange volant).

Voyez cela comme un chef qui prend un plat ancien complexe et énumère exactement les épices et les textures qui rendent ce plat unique, plutôt que de simplement servir le plat entier à l'élève.

2. Le entremetteur intelligent
Une fois que l'ordinateur connaît les « ingrédients » de la fresque, il agit comme une application de rencontre super intelligente pour les projets artistiques. Il compare les ingrédients de la fresque à une liste de tâches artistiques possibles.

Si une fresque possède beaucoup de lignes fluides et de poses dynamiques, l'ordinateur suggère une tâche appelée « Extraction de lignes dynamiques ».
Si une fresque possède un motif de plafond répétitif, il suggère « Réorganisation de motifs ».
Si la correspondance est de 75 % ou plus, l'ordinateur dit : « Voici votre devoir ! ». Si elle est un peu plus basse (entre 60 % et 75 %), il demande à l'enseignant humain de vérifier avant de l'assigner. Cela garantit que l'élève reçoit un défi qui correspond à l'art qu'il regarde.

3. Le curseur de difficulté personnalisé
Le système est aussi un coach. Il observe les performances passées d'un élève et ajuste la difficulté de la nouvelle tâche.

Niveau 1 (L1) : Observer une seule chose (comme une couleur unique).
Niveau 2 (L2) : Extraire un élément de style.
Niveau 3 (L3) : Réorganiser les lignes et les formes.
Niveau 4 (L4) : Créer quelque chose de totalement nouveau en utilisant le vieux style.
L'ordinateur calcule un « score de difficulté » basé sur la complexité de l'image et le nombre d'étapes que l'élève doit suivre, s'assurant que la tâche n'est ni trop facile, ni trop difficile.

4. Le critique d'art IA
Après que les élèves ont terminé leur œuvre, l'ordinateur les note. Il ne cherche pas une copie parfaite ; il cherche à savoir si l'élève a bien utilisé les « ingrédients » pour créer quelque chose de nouveau. Il vérifie :

Ont-ils reconnu les éléments culturels ?
Ont-ils extrait correctement les caractéristiques visuelles ?
Ont-ils réorganisé la forme de manière créative ?
Le thème est-il clair ?
L'œuvre est-elle complète ?
L'ordinateur donne un score, puis un enseignant humain vérifie le travail. L'étude a montré que l'ordinateur et l'enseignant étaient d'accord 86 % du temps (une corrélation de 0,86), avec une différence moyenne de seulement 3,84 points. Cela suggère que l'ordinateur devient très performant pour comprendre ce qui fait un bon projet artistique.

Les résultats : Est-ce que cela a fonctionné ?
L'équipe a testé ce système avec 160 étudiants répartis dans quatre classes sur six semaines. Deux classes ont utilisé ce système de haute technologie, tandis que les deux autres ont utilisé des méthodes traditionnelles (regarder des images et copier le professeur).

Les résultats étaient clairs :

Les étudiants utilisant le système intelligent se sont nettement plus améliorés dans l'extraction d'éléments visuels (en hausse de 13,2 points) et la réorganisation de formes (en hausse de 14,1 points) par rapport au groupe traditionnel.
Le groupe traditionnel s'est certes amélioré dans le simple fait de terminer son travail, mais il n'a pas appris aussi efficacement à décomposer et à reconstruire les styles anciens.

L'essentiel
Ce document montre que nous pouvons transformer l'art numérique ancien en un flux de travail pédagogique réutilisable et répétable. En utilisant la vision par ordinateur pour décomposer l'art et l'IA pour l'associer au bon élève, nous pouvons aider les adolescents non seulement à copier l'histoire, mais à comprendre son « ADN » et à le remixer en leurs propres créations modernes. Les auteurs suggèrent que, bien que ce système fonctionne bien, il doit être testé avec d'autres types d'art et dans d'autres contextes pour voir s'il fonctionne partout. Mais pour l'instant, cela prouve qu'un peu de code peut stimuler beaucoup de créativité.

Résumé technique : Mécanismes de transformation visuelle pour l'intégration des ressources du patrimoine culturel numérique dans les programmes d'arts des collèges

Énoncé du problème
L'intégration du patrimoine culturel numérique (spécifiquement les fresques numériques de Dunhuang) dans les programmes d'arts des collèges se heurte à des lacunes techniques et pédagogiques importantes. Les applications existantes manquent souvent de prétraitement d'image standardisé, de représentations de caractéristiques calculables, de génération automatique de tâches et de mécanismes d'évaluation basés sur les données. Par conséquent, il n'existe pas de flux de travail computationnel réutilisable et reproductible pour traduire efficacement des images patrimoniales statiques en tâches d'apprentissage créatives et adaptatives, ou pour évaluer les résultats des élèves de manière cohérente. La recherche actuelle tend à traiter la reconnaissance du patrimoine, la reconstruction 3D ou la génération d'images de manière isolée, échouant ainsi à combler le fossé entre la décomposition de l'image culturelle et la génération de tâches de classe structurées et évaluables.

Méthodologie
Les auteurs proposent un cadre de transformation visuelle modulaire qui intègre la vision par ordinateur, la correspondance basée sur des règles et la notation assistée par l'IA. La méthodologie se déroule en quatre étapes principales :

Extraction et standardisation des caractéristiques visuelles :
- Prétraitement : Les images numériques de Dunhuang sont standardisées en 512x512 pixels et converties en espace colorimétrique Lab. Le filtrage bilatéral ( $d=5, \sigma_c=50, \sigma_s=50$ ) supprime le bruit de fissure, tandis que la méthode CLAHE (limite de clip 2.0, taille de tuile 8x8) accentue les régions à faible saturation.
- Vectorisation des caractéristiques : Cinq canaux visuels sont extraits pour former un vecteur de caractéristiques $\mathbf{F}_i = [l_f, c_f, p_f, s_f, m_f]$ $F_{i} = [l_{f}, c_{f}, p_{f}, s_{f}, m_{f}]$ :
  - $l_f$ : Densité des contours de dessin au trait (Canny).
  - $c_f$ : Regroupement des couleurs dominantes (K-means).
  - $p_f$ : Structure de répétition des motifs.
  - $s_f$ : Hiérarchie spatiale de la composition.
  - $m_f$ : Vecteurs de pose des figures et de direction des rubans flottants.
- Ces éléments (lignes, couleurs, motifs, compositions, poses dynamiques) sont traités comme des composants transférables plutôt que comme des objets destinés à une copie directe.
Cartographie et génération de l'image vers la tâche :
- Correspondance : Le système calcule la similitude cosinus entre le vecteur de caractéristiques de l'image ( $\mathbf{F}$ ) et un vecteur de tâche de cours ( $\mathbf{T}$ ). Si le score de correspondance $M_{ij} \geq 0,75$ , l'image est automatiquement assignée ; les scores compris entre 0,60 et 0,75 nécessitent une confirmation de l'enseignant.
- Génération de tâches : Un moteur de règles assigne des tâches basées sur les caractéristiques de l'image (par exemple, une haute densité de lignes est associée à « Extraction de lignes dynamiques » ; une différence de couleur élevée est associée à « Redessin de couleur »).
- Différenciation : Les tâches sont classées en niveaux Basique, Avancé et Ouvert selon les niveaux de capacité des élèves ( $G_s$ ) dérivés des pré-tests et des tests de littératie visuelle. Le système utilise une « Stratégie des 3 meilleurs candidats » pour permettre la sélection par l'enseignant, évitant ainsi l'étroitesse algorithmique.
Gradation de la difficulté et optimisation :
- Les tâches sont classées en quatre niveaux de difficulté (L1–L4) basés sur une formule pondérée ( $D_j$ ) intégrant la complexité de l'image ( $C$ ), les étapes opérationnelles ( $P$ ), l'ouverture de la tâche ( $O$ ), le taux d'achèvement par les élèves ( $R$ ) et l'écart des caractéristiques du travail ( $E$ ).
- Le système utilise des boucles de rétroaction pour mettre à jour les paramètres du modèle et recommander les niveaux de difficulté appropriés pour les itérations suivantes.
Évaluation assistée par l'IA :
- Encodage du travail de l'élève : Les œuvres des élèves sont traitées via une correction de perspective et compressées en 512x512. Les caractéristiques sont extraites à l'aide de Canny, de l'analyse de la couleur Lab et d'opérateurs de répétition de motifs. Des plongements profonds (deep embeddings) sont générés à l'aide de CLIP-ViT-B/16 (affiné avec des têtes de projection).
- Modèle de notation : Une représentation fusionnée (ConvNeXt-Tiny et CLIP) passe par un MLP à deux couches pour générer des scores selon cinq dimensions : Reconnaissance des éléments culturels, Extraction des éléments visuels, Reconstruction formelle, Expression thématique et Complétude de l'œuvre.
- Poids : Déterminés par étalonnage inverse et validation croisée, avec « l'Extraction des éléments visuels » (0,24) et la « Reconstruction formelle » (0,22) portant les poids les plus élevés.

Principales contributions

Cadre modulaire : L'article présente un mécanisme d'application informatique en boucle fermée qui opérationnalise la transformation de la décomposition de l'image patrimoniale vers la génération de tâches, l'évaluation des élèves et l'optimisation itérative.
Vecteur de caractéristiques standardisé : Il définit un vecteur de caractéristiques visuelles spécifique à cinq canaux qui permet de faire correspondre mathématiquement les images culturelles avec les objectifs curriculaires.
Évaluation hybride IA-Humain : L'étude introduit un système d'évaluation où la notation de l'IA est corrélée à celle de l'enseignant, utilisant un système de métriques pondérées qui privilégie la transformation structurelle plutôt que la simple identification de symboles.
Génération de tâches adaptatives : Le système génère des tâches d'apprentissage différenciées (Basique, Avancé, Ouvert) basées sur les profils de capacité des élèves en temps réel et la complexité de l'image.

Résultats expérimentaux
Le cadre a été validé lors d'une étude de six semaines impliquant 160 élèves répartis dans quatre classes de collège (deux expérimentales, deux de contrôle).

Gains de performance : Le groupe expérimental a montré des améliorations significativement plus élevées que le groupe de contrôle en ce qui concerne :
- Le taux d'extraction des éléments visuels (+13,2 contre +5,3).
- Le degré de restructuration formelle (+14,1 contre +5,9).
- La reconnaissance des éléments culturels (+11,2 contre +5,3).
Cohérence de l'évaluation : Le système de notation par l'IA a démontré un coefficient de corrélation de Pearson de 0,86 avec les notes des enseignants, avec une erreur absolue moyenne (MAE) de 3,84.
Analyse des erreurs : Les écarts (erreurs > 8 points) concernaient principalement les œuvres présentant des thèmes clairs mais des éléments culturels faibles, indiquant que le modèle privilégie la similitude des caractéristiques et la complétude structurelle, tandis que les enseignants accordent plus de poids à l'intention métaphorique et émotionnelle.

Signification et affirmations
L'article affirme que ce cadre répond avec succès au déconnect de l'entre les ressources du patrimoine numérique et les flux de travail de classe réutilisables. En convertissant les lignes, les couleurs et les poses des fresques en vecteurs de caractéristiques structurés, le système permet aux images culturelles d'être traitées, stockées et transformées de manière itérative en tâches créatives. Les auteurs soutiennent que la valeur éducative ne réside pas dans la simple observation des images, mais dans le processus de déconstruction, de traduction et de recréation.

Cependant, les auteurs maintiennent une position modeste quant à la portée de leurs affirmations. Ils reconnaissent les limites liées à la taille de l'échantillon, à la catégorie spécifique du patrimoine (fresques de Dunhuang), à la couverture des niveaux scolaires et aux environnements informatiques. Ils déclarent que la stabilité de l'application, la performance de transfert et la généralisation nécessitent des vérifications plus larges et transrégionales. Des travaux futurs sont proposés pour étendre les ensembles de données, optimiser la fusion multimodale et intégrer le patrimoine immatériel et les ressources locales dans des applications logicielles évolutives.

Résumé technique : Mécanismes de transformation visuelle pour l'intégration des ressources du patrimoine culturel numérique dans les programmes d'arts des collèges

Articles similaires