PoSh: Using Scene Graphs To Guide LLMs-as-a-Judge For Detailed Image Descriptions

Ce travail présente PoSh, une nouvelle métrique utilisant des graphes de scène pour guider les LLMs dans l'évaluation détaillée de descriptions d'images, ainsi que le benchmark DOCENT, un ensemble de données spécialisé dans l'art permettant de mieux évaluer les performances des modèles vision-langage par rapport aux jugements humains.

L'essentiel

🎨 Le Problème : Décrire un tableau, ce n'est pas facile !

Imaginez que vous êtes dans un musée magnifique. Devant vous se trouve un tableau complexe : des gens qui courent, des oiseaux qui volent, des couleurs qui se mélangent. Vous demandez à un robot (une Intelligence Artificielle) de vous décrire ce que vous voyez, mot pour mot, pour qu'un aveugle puisse "voir" le tableau à travers ses oreilles.

Le robot vous répond : "Il y a un homme qui verse de l'eau."
Mais en réalité, dans le tableau, c'est une femme qui verse l'eau, et l'homme est juste en train de regarder.

Le robot a fait une erreur, mais il a utilisé les bons mots. Comment savoir si sa description est bonne ou mauvaise ?

• Les anciennes méthodes de notation (les "notaires" de l'IA) sont comme des correcteurs orthographiques trop stricts : ils comptent le nombre de mots communs entre la description du robot et celle d'un humain. Si le robot dit "oiseau" au lieu de "pigeon", il perd des points, même si l'idée est juste.
• D'autres méthodes demandent à une IA très puissante (comme GPT-4) de juger, mais c'est cher, lent, et on ne sait pas toujours pourquoi elle a donné cette note.

🕵️‍♂️ La Solution : POSH, le Détective des Scènes

Les auteurs de cet article ont créé un nouveau système appelé POSH. Pour faire simple, imaginez POSH comme un détective très méticuleux qui ne se contente pas de comparer deux listes de courses.

Voici comment il fonctionne, en trois étapes simples :

1. Le Dessin de la Scène (Le Graphique de Scène) :
   Au lieu de lire le texte comme un roman, POSH le transforme en un schéma de Lego. Il identifie les pièces (les objets : "homme", "eau"), les couleurs (les attributs : "rouge", "grand") et comment elles s'assemblent (les relations : "l'homme verse l'eau").

   • Analogie : C'est comme si on prenait une phrase et qu'on la démontait pièce par pièce pour voir exactement comment les pièces s'emboîtent.

2. L'Enquête (La Question-Réponse) :
   POSH prend le schéma de la description du robot et celui de la description "parfaite" (écrite par un expert). Il pose ensuite des questions précises à une IA : "Est-ce que l'homme verse vraiment de l'eau dans la description du robot ?" ou "Où est le bec de l'oiseau ?".

   • Le génie : Si le robot dit "un homme" alors qu'il s'agit d'une "femme", le détective le repère immédiatement. Il ne se trompe pas sur les détails.

3. Le Rapport de Police (Le Score) :
   À la fin, POSH ne donne pas juste une note globale. Il dit : "Attention, tu as oublié le bec de l'oiseau (omission) et tu as confondu l'homme avec la femme (erreur)."
   C'est comme un professeur qui ne se contente pas de mettre un "14/20", mais qui écrit : "Tu as bien décrit le ciel, mais tu as oublié le chien."

🖼️ Le Nouveau Terrain de Jeu : DOCENT

Pour tester ce nouveau détective, les chercheurs ont créé un nouveau jeu appelé DOCENT.

• Le Défi : Au lieu de prendre des photos de chats ou de voitures (ce qui est facile), ils ont pris des œuvres d'art complexes (peintures, statues, croquis) du Musée National d'Art de Washington. Ces images sont pleines de détails subtils : des regards, des vêtements, des positions complexes.
• Les Juges : Ils ont fait appel à des étudiants en histoire de l'art pour juger les descriptions. C'est comme si on engageait des experts du musée pour vérifier si le robot a bien compris l'œuvre.

🏆 Les Résultats : Pourquoi c'est important ?

1. POSH est plus intelligent que les autres : Il arrive mieux à repérer les erreurs que les anciennes méthodes, et même mieux que les IA les plus puissantes du moment (comme GPT-4o), mais en étant gratuit et reproductible (tout le monde peut l'utiliser).
2. Il apprend aux robots à mieux faire : Les chercheurs ont utilisé POSH comme un "coach" pour entraîner les robots. Résultat : les robots entraînés avec POSH font moins d'erreurs et oublient moins de détails.
3. L'objectif final : L'Accessibilité : Le but ultime est d'aider les personnes aveugles ou malvoyantes. Une description d'œuvre d'art doit être parfaite pour qu'elles puissent imaginer la scène. Si le robot dit "un homme" au lieu de "une femme", l'image mentale est faussée. POSH aide à corriger cela.

En résumé

Imaginez que vous voulez construire une réplique parfaite d'un château de sable.

• Les anciennes méthodes regardaient juste si vous aviez utilisé le même seau que le modèle.
• POSH, lui, regarde chaque grain de sable, vérifie si la tour est bien droite, si le pont est bien attaché, et vous dit exactement où vous avez raté un détail.

Grâce à POSH et au nouveau défi DOCENT, nous avons enfin un outil pour s'assurer que les robots décrivent le monde avec la précision et la délicatesse dont nous avons besoin, surtout pour rendre l'art accessible à tous.

Résumé technique

1. Problématique

L'évaluation des descriptions d'images détaillées (longues) générées par les modèles Vision-Langage (VLM) constitue un défi majeur.

• Limites des métriques existantes : Les métriques standards (CIDEr, SPICE, BLEU) ont été conçues pour des textes courts et des modèles plus anciens. Elles sont peu sensibles aux erreurs d'attribution d'attributs ou de relations (ex: "qui verse l'eau ?") et ne permettent pas de localiser précisément les erreurs dans le texte.
• Coût de l'évaluation humaine : L'évaluation manuelle de longs textes est coûteuse, fastidieuse et difficile à reproduire.
• Manque de benchmarks adaptés : Les benchmarks existants manquent souvent de jugements humains granulaires (au niveau des phrases ou des mots) pour des images complexes (notamment dans le domaine de l'art).

2. Méthodologie : POSH

Les auteurs proposent POSH (PrOofing Scene grapHs), une nouvelle métrique basée sur la référence qui combine l'extraction de graphes de scènes et l'évaluation par un LLM (LLM-as-a-Judge).

Le processus se déroule en trois étapes :

1. Extraction de Graphes de Scènes : À partir d'une description générée et de sa référence (texte de vérité terrain), POSH extrait des graphes de scènes structurés ($G = \langle Objets, Attributs, Relations \rangle$). Contrairement à des approches précédentes, POSH préserve les attaches spécifiques (qui possède quel attribut, quelle relation lie quels objets) en utilisant l'analyse de dépendance et la résolution de coréférence.
2. Évaluation Granulaire (QA) : Chaque composant du graphe de la génération est vérifié dans la référence (et vice-versa) via un LLM ouvert (Qwen-3-14b). Le LLM répond à des questions générées par modèle (ex: "L'entité 'homme en blanc' est-elle décrite comme 'versant de l'eau' dans la référence ?"). Cela permet d'identifier les erreurs de précision (fausses affirmations) et les omissions (manque d'informations) tout en gérant les variations de formulation (synonymes, regroupements).
3. Agrégation en Scores Coarses : Les scores granulaires sont agrégés pour produire des scores interprétables :
   • Précision (Mistakes) : Moyenne des scores d'erreurs.
   • Rappel (Omissions) : Moyenne des scores d'omissions.
   • Qualité Globale : Combinaison des deux.

Avantages clés : POSH est entièrement reproductible (modèles à poids ouverts), interprétable (les scores sont ancrés dans des spans de texte spécifiques) et peu coûteux.

3. Contribution : Le Benchmark DOCENT

Pour valider POSH, les auteurs introduisent DOCENT, un nouveau benchmark dédié à la description détaillée d'œuvres d'art.

• Données : 1 750 œuvres d'art (peintures, croquis, sculptures) du National Gallery of Art (NGA) des États-Unis.
• Références : Des descriptions expertes écrites par des spécialistes, conçues pour l'accessibilité (détaillant vêtements, orientation, regards, etc.).
• Générations : Des descriptions générées par 4 VLMs (LLaVA-1.6, Molmo, GPT-4o, Claude 3.5 Sonnet).
• Annotations Humaines : 24 étudiants et chercheurs en histoire de l'art ont fourni :
  • 300 jugements granulaires : Identification précise des spans de texte contenant des erreurs ou des omissions.
  • 600 jugements coarses : Classement par paires de la qualité globale, de la précision et du rappel.
• Complexité : DOCENT est significativement plus complexe que les benchmarks web existants (plus d'objets, de relations et de nuances contextuelles).

4. Résultats Expérimentaux

Les expériences comparent POSH à des métriques traditionnelles (SPICE, CAPTURE), des métriques basées sur les embeddings, et des juges LLM/VLM (GPT-4o, LLaVA-Critic, DCScore).

• Corrélation avec l'Humain (DOCENT) :
  • POSH dépasse toutes les métriques reproductibles (open-weight) et même GPT-4o (en mode texte-seul ou avec image) pour la corrélation avec les jugements humains.
  • Gain de +0,05 sur le coefficient de corrélation de Spearman ($\rho$) par rapport aux meilleures alternatives pour la qualité globale.
  • POSH est particulièrement performant pour détecter les omissions (rappel), un point faible des métriques basées sur le chevauchement de n-grammes.
• Robustesse (CapArena) : Sur le dataset CapArena (images web), POSH maintient une forte performance, prouvant sa robustesse à différents types d'images, bien que l'écart se réduise sur des images très simples.
• Fonction de Récompense (RL) : L'utilisation de POSH comme fonction de récompense pour l'entraînement par renforcement (DAPO) sur Qwen2.5-VL-7B donne de meilleurs résultats que le fine-tuning supervisé (SFT) classique, réduisant les omissions tout en maintenant un bon niveau de précision.
• Analyse des Modèles : L'évaluation des modèles sur DOCENT révèle que même les modèles fermés les plus avancés (GPT-4o) ne couvrent que ~50% des informations visuelles détaillées des références expertes, soulignant la difficulté de la tâche.

5. Signification et Impact

• Avancée Méthodologique : POSH établit un nouveau standard pour l'évaluation des descriptions d'images longues en intégrant la structure sémantique (graphes de scènes) à l'évaluation par LLM, offrant une interprétabilité que les "boîtes noires" actuelles n'ont pas.
• Accessibilité : En se concentrant sur la génération de textes alternatifs (alt-text) pour l'art, ce travail répond directement aux besoins d'accessibilité pour les utilisateurs malvoyants, où la précision des détails (couleurs, relations spatiales) est cruciale.
• Reproductibilité : En fournissant un métrique open-weight et un benchmark complet avec des jugements granulaires, les auteurs facilitent la recherche future dans ce domaine, évitant la dépendance coûteuse aux API propriétaires.

En conclusion, ce papier propose une solution complète (métrique + benchmark) pour mesurer et améliorer la capacité des VLMs à décrire le monde visuel avec la richesse et la précision requises par les applications réelles, en particulier dans le domaine de l'art et de l'accessibilité.