Catalogue Grounded Multimodal Attribution for Museum Video under Resource and Regulatory Constraints

Ce papier propose un pipeline automatisé et déployable localement utilisant un modèle vidéo-langage pour générer des métadonnées cataloguées et attribuer des œuvres dans les archives audiovisuelles des musées, tout en respectant les contraintes de ressources et de régulation.

L'essentiel

Voici une explication simple de ce papier de recherche, imaginée comme une histoire pour rendre le tout plus vivant.

🎨 Le Problème : La Bibliothèque des Ombres

Imaginez un grand musée rempli de trésors. Mais au lieu de simples tableaux accrochés au mur, il y a des milliers de vidéos tournées dans les galeries. Ces vidéos montrent des visiteurs marchant devant les œuvres, des détails qui bougent, des reflets sur les vitres...

Le problème ? Ces vidéos sont comme des livres fermés dans une bibliothèque sans étiquettes. Personne ne sait ce qu'elles contiennent exactement. Pour les classer, il faudrait qu'un humain regarde chaque vidéo, minute par minute, et écrive à la main : "C'est le tableau de la Dame à la Licorne, peint par X, visible à gauche". C'est long, coûteux et impossible à faire pour des milliers de vidéos.

🤖 La Solution : Le "Super-Intendant" de Musée

Les chercheurs de l'Université de Surrey ont créé un robot intelligent (une intelligence artificielle) pour aider les conservateurs. Mais ce n'est pas un robot ordinaire qui devine n'importe quoi. C'est un robot très prudent, formé pour respecter les règles strictes du musée.

Voici comment il fonctionne, étape par étape, avec des analogies simples :

1. Le Robot ne "devine" pas, il "cherche" (L'Analogie du Dictionnaire)

Imaginez que vous demandez à un enfant de deviner le nom d'un objet qu'il voit. Il pourrait dire : "C'est un chien !" alors que c'est un loup.
Dans un musée, une erreur est grave. Si le robot dit que c'est un tableau de Picasso alors que c'est un autre, cela peut tromper les chercheurs et les visiteurs.

Alors, ce robot ne fait pas que regarder et inventer. Il a un dictionnaire géant (le catalogue du musée) sous le nez.

• Son rôle : Il regarde la vidéo, décrit ce qu'il voit ("Je vois un homme en rouge"), puis va vérifier dans son dictionnaire si ce détail correspond à une œuvre connue.
• La règle d'or : Si le robot n'est pas absolument certain à 100 %, il ne donne pas de nom. Il dit simplement : "Je ne vois pas assez clair pour dire qui c'est." C'est ce qu'on appelle l'abstention. C'est mieux de ne rien dire que de dire une bêtise.

2. Le Processus en Trois Actes (La Scène de Théâtre)

Le robot suit une petite pièce de théâtre en trois actes pour chaque vidéo :

• Acte 1 : Le Résumé (Le Journaliste)
  Le robot regarde la vidéo et dit : "Voici ce qui se passe : il y a trois tableaux sur le mur de gauche. Le premier est un portrait, le deuxième est un paysage..." Il écrit un résumé descriptif. C'est utile, même s'il ne connaît pas les noms des artistes.

• Acte 2 : La Devinette Structurée (Le Détective)
  Le robot essaie de deviner le nom et l'artiste. Mais au lieu d'écrire une phrase libre, il doit remplir un formulaire très strict (un code JSON).

  • Si le robot est sûr : Il remplit le formulaire avec le nom exact du catalogue.
  • Si le robot doute : Il remplit le formulaire avec "Nom : Invisible" ou "Artiste : Invisible".

• Acte 3 : Le Double-Check (Le Juge de Paix)
  Si le robot a un doute, il ne se contente pas de son premier instinct. Il utilise une astuce :

  1. Il cherche dans le catalogue les œuvres qui ressemblent le plus à ce qu'il a vu (comme chercher un livre par ses mots-clés).
  2. Si plusieurs œuvres ressemblent, il les met en compétition (un vote multiple) pour voir laquelle gagne.
  3. Si le vote n'est pas clair, le robot lève les bras et dit : "Je ne sais pas."

🛡️ Pourquoi c'est spécial ? (Les Contraintes)

Ce projet est unique pour deux raisons importantes :

1. La Sécurité des Données (Le Coffre-Fort)
   Les musées ont des règles strictes : ils ne veulent pas envoyer leurs vidéos sur Internet (dans le "Cloud") pour les faire analyser par Google ou OpenAI, car cela pourrait être illégal ou risqué.

   • L'analogie : C'est comme si le robot vivait dans le musée, dans une petite pièce fermée, sans jamais sortir. Il utilise ses propres outils, sans avoir besoin de téléphone.

2. La Prudence (Le Frein à Main)
   La plupart des intelligences artificielles actuelles aiment bien parler et inventer des histoires (on appelle ça les "hallucinations").

   • L'analogie : Ce robot est comme un pilote d'avion très prudent. S'il y a du brouillard et qu'il ne voit pas la piste, il ne se pose pas. Il attend. Il préfère atterrir en disant "Je ne peux pas atterrir" plutôt que de s'écraser en disant "Je vois la piste".

🏆 Le Résultat

En testant ce système sur de vraies vidéos de musée, les chercheurs ont vu que :

• Le robot produit de très belles descriptions des œuvres.
• Il trouve les bons noms d'artistes quand il est sûr.
• Surtout, il ne fait presque jamais d'erreur de nom. S'il ne sait pas, il avoue.

En Résumé

Ce papier nous dit : "On peut utiliser l'intelligence artificielle pour débloquer les trésors cachés des musées, mais à condition de la rendre humble, prudente et de la garder à l'intérieur des murs du musée."

C'est une façon de dire que la technologie ne doit pas remplacer l'humain, mais l'aider à faire son travail plus vite, tout en respectant la vérité historique.

Résumé technique

Voici un résumé technique détaillé du papier de recherche « Catalogue-Grounded Multimodal Attribution for Museum Video under Resource and Regulatory Constraints » (Attribution multimodale ancrée dans un catalogue pour les vidéos de musées sous contraintes de ressources et réglementaires).

1. Problématique et Contexte

Les archives audiovisuelles (AV) des musées et galeries croissent rapidement, mais une grande partie de ce matériel reste « verrouillée » car elle manque de métadonnées cohérentes et recherchables. Les pratiques d'archivage actuelles reposent sur un visionnage et un enregistrement manuels, ce qui ne permet pas de suivre le rythme de la production vidéo.

Ce travail vise à automatiser la partie la plus laborieuse du flux de travail : la curation de métadonnées de style catalogue pour les vidéos prises dans les galeries, en les ancrant dans une base de données de collection existante.

Contraintes majeures :

• Souveraineté des données et droits : Le contenu est souvent soumis à des restrictions de droits ou sensible, imposant un déploiement local (pas d'API cloud tierces).
• Coût asymétrique des erreurs : Une mauvaise attribution (titre ou artiste erroné) peut contaminer la recherche, la recherche universitaire et la prise de décision interne. Le système doit donc privilégier une attribution conservatrice et savoir s'abstenir explicitement lorsque les preuves sont faibles, plutôt que d'halluciner.

2. Méthodologie

L'approche proposée est un pipeline multimodal en plusieurs passes, conçu pour transformer une vidéo de galerie en métadonnées compatibles avec le catalogue du musée. Le système repose sur un modèle de base VideoLLaMA2.1-7B (avec un encodeur visuel SigLIP et un backbone Qwen2), adapté via LoRA (Low-Rank Adaptation) pour respecter les contraintes de calcul (déploiement sur une seule GPU).

Le pipeline se déroule en cinq étapes :

1. Prétraitement vidéo : Segmentation des vidéos longues en clips courts et échantillonnage de $T$ images (frames) pour l'entrée du modèle.
2. Indexation du catalogue : Construction d'un index déterministe à partir du catalogue du musée (titres, artistes, sujets). Les chaînes de caractères sont normalisées (Unicode, suppression des accents, etc.) et tokenisées avec des pondérations IDF pour mettre l'accent sur les termes iconographiques rares plutôt que sur les descripteurs génériques.
3. Sorties descriptives : Le modèle génère un résumé multi-œuvres (jusqu'à 3 œuvres), une description détaillée de l'œuvre principale et un label de genre, sans tenter d'identifier le titre ou l'artiste à cette étape. Ces sorties restent utiles même en cas d'abstention sur l'identité.
4. Proposition d'identité (ID-JSON) : Une étape clé où le modèle est entraîné à produire une réponse structurée en JSON strict ({"id": "...", "title": "...", "artist": "..."}) ou à s'abstenir ("not visible"). Cela force le modèle à traiter l'identité comme une décision fermée plutôt que comme une génération de texte libre.
5. Récupération et désambiguïsation conservatrice :
   • Si la proposition ID-JSON échoue ou est incertaine, le système génère des mots-clés iconographiques.
   • Une recherche par similarité (basée sur le chevauchement de tokens pondérés par IDF) est effectuée sur le catalogue.
   • Si le résultat n'est pas suffisamment confiant, un processus de désambiguïsation à choix multiples (MC) est lancé sur plusieurs passes (avec mélange de l'ordre des candidats).
   • L'attribution n'est validée que si un consensus majoritaire clair émerge. Sinon, le système s'abstient explicitement.

Principes de conception :

• P1 : Séparation de la description et de l'identification.
• P2 : Traitement de l'identité comme une décision fermée (closed-set) vérifiée contre le catalogue.
• P3 : L'abstention est un résultat de premier ordre (premier-class outcome) lorsque la confiance est faible.

3. Contributions Techniques Clés

1. Récupération et désambiguïsation en deux étapes pour l'identification vidéo : Au lieu de demander au modèle de générer directement un titre, le système combine une proposition de modèle avec une vérification déterministe via le catalogue, utilisant des règles de vote majoritaire et de parsing robuste pour réduire la fragilité des modèles en un seul passage.
2. Supervision alignée sur le déploiement : Le modèle est affiné (fine-tuned) avec des dialogues synthétiques qui incluent des tâches auxiliaires spécifiques : génération de JSON structuré pour l'identité et tâches à choix multiples. Cela apprend au modèle à respecter les contraintes de sortie et à utiliser le token d'abstention (not visible) lorsque les preuves sont insuffisantes.
3. Pipeline ancré dans le catalogue (Catalogue-Grounded) : Contrairement aux approches RAG classiques sur des corpus ouverts, ce système utilise un catalogue fini et structuré, traitant l'identification comme un problème de liaison d'entités (entity linking) avec des seuils d'acceptation explicites.

4. Résultats et Évaluation

L'évaluation a été menée sur 16 vidéos de galerie avec des paires titre/artiste de vérité terrain (ground truth).

• Comparaison : Le modèle affiné avec le pipeline complet a été comparé à une version de base (VideoLLaMA2) utilisant une identification directe sans ancrage catalogue.
• Performance :
  • Le modèle de base (identification directe) a une couverture plus élevée mais une précision nulle (0,00) car il génère des titres plausibles mais incorrects.
  • Le pipeline complet réduit la couverture (taux de non-abstention) mais élimine presque totalement les attributions erronées.
  • Utilité attendue : Dans un modèle de coût où une erreur est pénalisée lourdement (-2) et une abstention est neutre (0), le système proposé offre une utilité nettement supérieure, car il évite les erreurs coûteuses au prix d'une moindre couverture.
• Comportement observé : Le système produit souvent des hypothèses visuelles plausibles mais s'abstient finalement au stade de la décision finale si la correspondance avec le catalogue n'est pas robuste, affichant « not visible ».

5. Signification et Impact

Ce travail démontre qu'il est possible d'automatiser la création de métadonnées pour les archives audiovisuelles des musées tout en respectant des contraintes strictes de souveraineté des données et de fiabilité.

• Gouvernance et Risque : En transformant l'IA en « assistant métadonnées » plutôt qu'en « autorité infaillible », le système s'aligne sur la gouvernance institutionnelle et la tolérance au risque des musées.
• Transférabilité : La méthodologie (MLLM ouvert + registre structuré + mécanisme d'abstention + boucle humaine) est applicable à d'autres domaines à haut risque nécessitant une précision extrême, tels que la santé, les biosciences ou la surveillance environnementale.
• Déploiement Réaliste : La solution est conçue pour fonctionner localement sur du matériel limité (GPU unique, quantification 4-bit), rendant l'adoption possible pour les institutions sans ressources cloud massives.

En résumé, ce papier propose un cadre robuste pour rendre les archives vidéo des musées découvrables sans compromettre l'intégrité académique ou curatoriale des données.