💬 NLP

BEiTScore: Reference-free Image Captioning Evaluation with an Efficient Cross-Encoder Model

L'article présente BEiTScore, une métrique d'évaluation de légendage d'images sans référence qui exploite un modèle cross-encodeur léger entraîné avec des données augmentées par des LLM adversariaux pour atteindre des performances de pointe en matière de sensibilité et de généralisation compositionnelle tout en maintenant une efficacité computationnelle.

Auteurs originaux : Gonçalo Gomes, Bruno Martins, Chrysoula Zerva

Publié 2026-05-22

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Gonçalo Gomes, Bruno Martins, Chrysoula Zerva

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un critique d'art tentant de noter la description d'un tableau rédigée par un étudiant. L'étudiant déclare : « Un chien rouge poursuit une balle bleue. » Mais dans le tableau, le chien est en réalité bleu et il poursuit une balle rouge.

Pendant longtemps, les ordinateurs tentant de noter ces descriptions ont été comme des critiques qui ne regardent que la liste des mots utilisés, et non l'histoire qu'ils racontent. Si la liste de mots de l'étudiant correspond à la liste de mots du tableau (rouge, chien, bleu, balle), l'ordinateur attribue une note élevée, même si la description est totalement erronée. C'est comme un enseignant qui donnerait un « A » à un étudiant ayant écrit « La balle bleue poursuit le chien rouge » simplement parce qu'il a utilisé le bon vocabulaire, en ignorant que la phrase ne veut rien dire.

Ce papier présente un nouveau système de notation plus intelligent appelé BEiTScore. Voici comment il fonctionne, expliqué simplement :

1. Le Problème : Le Piège du « Sac de Mots »

La plupart des programmes informatiques actuels qui vérifient les descriptions d'images (comme les modèles basés sur CLIP) traitent les phrases comme un sac de billes. Ils comptent combien de billes « rouge » ou de billes « chien » se trouvent dans le sac. Si le sac contient les bonnes billes, ils supposent que la description est bonne.

Le Défaut : Ils ne peuvent pas faire la différence entre « Le chien a poursuivi le chat » et « Le chat a poursuivi le chien ». Ils ont également du mal avec les longues histoires. Si une description devient trop longue (plus de 77 mots), ces programmes cessent souvent de lire et se contentent de deviner, manquant ainsi les détails à la fin.

2. La Solution : Un Modèle « Détective »

Les auteurs ont construit BEiTScore, qui agit moins comme un compteur de mots que comme un détective.

Sa manière de penser : Au lieu de simplement regarder une liste de mots, il examine l'image entière et la phrase entière simultanément. Il se demande : « Ce mot spécifique convient-il à cet endroit précis dans cette image spécifique ? »
L'Entraînement : Pour former ce détective, les auteurs ne lui ont pas seulement montré des descriptions correctes. Ils ont utilisé un « méchant » (une IA puissante) pour générer des descriptions piégeuses et fausses.
- Exemple : L'IA prendrait une phrase correcte et inverserait les rôles : « L'homme tient la femme » devient « La femme tient l'homme ».
- Le modèle BEiTScore a été entraîné à repérer ces astuces subtiles, apprenant à prêter attention à qui fait quoi à qui, et non pas seulement à quels objets sont présents.

3. Le Défi de la « Longue Histoire »

Imaginez essayer de lire un roman, mais vos yeux ne peuvent se concentrer que sur les deux premières phrases avant de se fatiguer. C'est ce que font les anciens modèles avec les légendes longues.

Le Super-pouvoir de BEiTScore : Il a été entraîné sur des histoires longues et détaillées concernant des images. Il peut lire l'intégralité de la légende, du premier mot au dernier, sans se « fatiguer » ni perdre le fil. Il peut repérer des erreurs qui surviennent profondément au milieu ou tout à la fin d'une longue description, ce que les autres modèles manquent.

4. Les Résultats : Plus Intelligent et Plus Rapide

Le papier a testé BEiTScore contre deux types de concurrents :

Les « Compteurs de Mots » (Encodeurs) : Ils sont rapides mais font souvent des erreurs absurdes sur les détails.
Les « Géants Intellectuels » (LLM) : Ce sont d'énormes modèles super-intelligents capables de lire de longues histoires et de repérer des détails, mais ils sont lents et coûteux à exécuter (comme utiliser un supercalculateur pour vérifier une liste de courses).

La Réussite de BEiTScore :

Il a repéré plus d'erreurs que les « Compteurs de Mots ».
Il était presque aussi performant que les « Géants Intellectuels » pour repérer des erreurs complexes (comme l'inversion des rôles ou le comptage d'objets).
Le Meilleur : Il fonctionne 30 à 100 fois plus vite que les Géants Intellectuels. C'est comme avoir un détective aussi brillant qu'un génie, mais qui travaille à la vitesse d'une personne ordinaire.

5. Le Nouvel Examen (LongCapVLCP)

Les auteurs ont réalisé que les anciens tests étaient trop faciles ; ils n'utilisaient que des phrases courtes. Ils ont donc construit un nouvel examen, plus difficile, appelé LongCapVLCP.

Cet examen utilise des descriptions très longues et inclut des erreurs piégeuses comme du texte écrit à l'intérieur de l'image (par exemple, un panneau en arrière-plan indiquant « Ouvert »).
Sur ce nouvel examen difficile, BEiTScore a prouvé qu'il pouvait lire le long texte et repérer les erreurs, tandis que les anciens « Compteurs de Mots » échouaient complètement.

Résumé

BEiTScore est un nouvel outil pour noter les descriptions d'images. Il résout l'ancien problème des ordinateurs qui ne comptaient que les mots en apprenant à comprendre les relations entre les mots et les images. Il est assez intelligent pour déceler des mensonges subtils dans de longues descriptions, assez rapide pour être utilisé sur des milliers d'images, et n'a pas besoin de supercalculateurs coûteux et lents pour accomplir la tâche.

Résumé Technique : BEiTScore

Énoncé du Problème

L'évaluation de la génération de légendes d'images fait face à des défis majeurs alors que les modèles vision-langage (VLM) évoluent pour générer des descriptions longues et riches en contexte. Les métriques d'évaluation actuelles les plus performantes se divisent en deux catégories problématiques :

Juges basés sur les LLM : Bien qu'ils atteignent une forte corrélation avec les jugements humains, ils entraînent des coûts computationnels prohibitifs et des temps d'inférence longs, les rendant peu pratiques pour le benchmarking à grande échelle ou le décodage en temps réel sensible à la qualité.
Métriques basées sur des encodeurs (par exemple, CLIPScore) : Elles sont efficaces sur le plan computationnel mais souffrent de limitations critiques. Elles traitent souvent les légendes comme des « sacs de mots », manquant de sensibilité fine aux relations compositionnelles. De plus, les modèles CLIP standards sont biaisés en faveur des légendes courtes en raison des contraintes de pré-entraînement (généralement une limite de 77 tokens), ce qui entraîne de mauvaises performances sur les récits longs et une incapacité à détecter des erreurs visuelles-linguistiques subtiles.

Les métriques sans référence existantes peinent à équilibrer le besoin d'une forte corrélation avec les jugements humains, la capacité à traiter des descriptions longues et la détection d'hallucinations fines (par exemple, relations spatiales, liaison d'attributs, comptage) sans dépendre de LLM coûteux.

Méthodologie

Les auteurs proposent BEiTScore, une nouvelle métrique d'évaluation apprise et sans référence, basée sur une architecture légère de type cross-encodeur.

Architecture du Modèle

Modèle de base : La métrique utilise l'architecture BEiT-3, un modèle fondamental multimodal unifié qui représente les images via des tokens discrets analogues aux tokens linguistiques.
Initialisation : Le modèle est amorcé à partir d'un checkpoint de Réponse à des Questions Visuelles (VQA). Cela fournit des connaissances préalables bénéfiques pour l'objectif d'alignement entre la vision et le langage.
Sortie : Une tête de régression (couche cachée unique avec activation GeLU) traite la sortie de l'attention intermodale pour produire un score dans l'intervalle $[0, 1]$ , représentant la qualité de l'alignement entre une image et une légende.

Stratégie d'Entraînement

Le schéma d'entraînement emploie un curriculum en deux étapes utilisant un mélange de données soigneusement assemblé, conçu pour exposer le modèle à des relations visuelles-linguistiques diverses et complexes :

Étape 1 : Apprentissage Contrastif par Paires
- Objectif : Discrimination binaire (identifier laquelle de deux légendes est factuellement cohérente avec une image).
- Données : Un mélange personnalisé de jeux de données incluant Foil-It, TextCaps, Pixel-Prose et LocalizedNarratives.
- Augmentation Adversariale : Pour améliorer la sensibilité aux erreurs fines, les auteurs emploient un pipeline d'augmentation de données adversaires :
  - Perturbations basées sur les LLM : En utilisant Qwen3, ils génèrent des légendes fluentes mais factuellement incorrectes en modifiant les objets, les attributs, les relations spatiales, les actions, les rôles d'actants et le comptage.
  - Corruption Synthétique : Inspiré par l'« Effet Cobra », ils introduisent une corruption de texte (mélange de mots/phrases, répétition de parties du discours) pour contrer les comportements de type « sac de mots ».
  - Extraction de Négatifs Difficiles : Sélection basée sur la recherche de légendes incorrectes qui produisent des scores de similarité élevés pour créer des catégories de négatifs faciles, moyens et difficiles.
- Entraînement Progressif : L'entraînement est itératif, commençant par un raisonnement fondamental (spatial, rôles, actions), suivi d'un raffinement quantitatif (comptage), et enfin l'intégration de texte dans la scène.
Étape 2 : Affinage de l'Alignement
- Objectif : Régression pour correspondre aux scores continus de jugement humain.
- Données : Divisions d'entraînement de jeux de données avec des notes humaines, telles que VICR, POLOS, Nebula et EvalMuse-40k.
- Perte : La perte L1 est utilisée pour optimiser l'alignement direct avec les scores humains normalisés ( $q_i \in [0, 1]$ ).

Contributions Clés

Métrique BEiTScore : Une métrique d'évaluation sans référence exploitant un cross-encodeur léger initialisé à partir d'un checkpoint VQA. Elle atteint des performances de pointe tout en restant significativement plus efficace que les alternatives basées sur les LLM (20 à 60 fois plus petite et 30 à 100 fois plus rapide).
Pipeline d'Entraînement Adversarial : Une stratégie novatrice d'augmentation de données utilisant des LLM pour générer des négatifs difficiles et une corruption synthétique de texte, spécifiquement conçue pour entraîner de petits modèles à détecter des erreurs visuelles-linguistiques fines et des structures compositionnelles.
Benchmark LongCapVLCP : Un nouveau benchmark conçu pour évaluer l'évaluation détaillée des légendes au-delà de la limite de 77 tokens. Il inclut :
- Récits Longs : Évaluation des performances sur des légendes dépassant les limites de tokens standard.
- Reconnaissance de Texte dans la Scène : Une tâche spécifique pour évaluer la capacité de la métrique à mapper les informations textuelles dans une image à leur mention dans la légende, un aspect sous-représenté dans les travaux antérieurs.
- Catégories d'Erreurs Diverses : Incluant des échanges d'actants, des verbes d'action, le comptage, les relations spatiales et les erreurs de texte dans la scène.

Résultats Expérimentaux

Les auteurs ont évalué BEiTScore sur 11 benchmarks, le comparant à des méthodes basées sur des encodeurs (par exemple, CLIPScore, PAC-S, LongCLIP) et des méthodes basées sur des LLM (par exemple, EXPERT, FLEUR, VQAScore).

Corrélation Humaine : BEiTScore (spécifiquement la variante L/14) atteint une corrélation de Kendall's $\tau$ de pointe avec les jugements humains sur plusieurs jeux de données (VICR, Polaris, Nebula, etc.), surpassant souvent les métriques basées sur les LLM comme EXPERT et FLEUR.
Perception Fine :
- Hallucination d'Objets (nocaps-FOIL) : BEiTScore surpasse les modèles basés sur des encodeurs et égale les performances basées sur les LLM pour distinguer les légendes correctes de celles comportant des hallucinations d'objets.
- Hallucination d'Attributs et Structurelle (SugarCREPE) : Le modèle surpasse significativement les concurrents basés sur des encodeurs sur les tâches de « swap », démontrant une compréhension supérieure de la composition structurelle et relationnelle.
- Raisonnement Compositionnel (VALSE & Winoground) : BEiTScore excelle dans les tâches nécessitant un raisonnement holistique, telles que le comptage, les relations spatiales et la compréhension des actions, domaines où les encodeurs traditionnels échouent souvent.
Texte Long et Texte dans la Scène (LongCapVLCP) :
- Les métriques standard basées sur des encodeurs (CLIP, PAC) fonctionnent au niveau du hasard ou près de celui-ci sur des légendes dépassant 77 tokens ou contenant des erreurs de texte dans la scène placées après la limite de tokens.
- BEiTScore maintient ses capacités discriminatives tout au long des récits longs et gère efficacement la reconnaissance de texte dans la scène, égalant les performances de la métrique basée sur les LLM EXPERT.
Efficacité : Malgré des performances égales ou supérieures à celles des métriques spécialisées basées sur les LLM, BEiTScore nécessite significativement moins de GFLOPs (par exemple, 296 GFLOPs pour BEiTScore-L/14 contre ~9300 GFLOPs pour EXPERT).

Importance et Revendications

L'article affirme que la domination des métriques basées sur les LLM dans l'évaluation de la génération de légendes d'images n'est pas uniquement le résultat de l'échelle du modèle, mais est largement due à la faible exposition des modèles plus petits à des données textuelles complexes et longues durant l'entraînement.

En introduisant un curriculum d'entraînement ciblé avec des augmentations adversaires et en utilisant l'architecture BEiT-3, BEiTScore comble le fossé entre les architectures d'encodeurs efficaces et les capacités de raisonnement complexes des LLM. Les auteurs affirment que BEiTScore fournit une solution rentable pour l'évaluation automatisée, offrant une forte corrélation avec les jugements humains et une perception compositionnelle complexe sans la surcharge computationnelle des grands modèles de langage. L'introduction du benchmark LongCapVLCP met en lumière les limites des métriques actuelles dans la gestion des descriptions longues et du texte dans la scène, établissant une nouvelle norme pour l'évaluation de ces capacités.