💬 NLP

Towards Robust Evaluation of Visual Activity Recognition: Resolving Verb Ambiguity with Sense Clustering

Cet article propose un cadre de regroupement vision-langage qui résout l'ambiguïté des verbes dans la reconnaissance d'activités visuelles en regroupant les verbes synonymes et dépendants de la perspective en grappes de sens, offrant ainsi une méthode d'évaluation plus robuste et alignée sur l'humain par rapport aux métriques standards de correspondance exacte.

Auteurs originaux : Louie Hong Yao, Nicholas Jarvis, Tianyu Jiang

Publié 2026-01-27

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Louie Hong Yao, Nicholas Jarvis, Tianyu Jiang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un enseignant corrigeant la dissertation d'un élève sur une image. L'image montre une personne sur un vélo.

Si l'élève écrit : « La personne fait du vélo », et que votre corrigé indique « La personne pédale », un programme informatique strict pourrait marquer cela comme faux. Il voit « faire du vélo » et « pédaler » comme deux mots différents, et donne donc un zéro.

Mais n'importe quel humain dirait : « Attendez, c'est la même chose ! L'élève a raison. »

Ce document traite de la correction de ce système de notation injuste pour les ordinateurs qui tentent de comprendre ce qui se passe dans les images.

Le Problème : Le piège de la « seule bonne réponse »

Actuellement, les ordinateurs sont testés sur la reconnaissance d'activités visuelles (identifier des actions dans des photos) à l'aide d'une méthode appelée « Correspondance Exacte » (Exact Match). Cela signifie que la réponse de l'ordinateur doit être le même mot exact que l'étiquette humaine.

Les auteurs soutiennent que ce système est défaillant car :

Les synonymes existent : « Enseigner » et « donner un cours » décrivent le même événement.
Les perspectives changent : Une photo d'une fanfare peut être décrite comme « défiler » (en se concentrant sur les jambes) ou « jouer de la musique » (en se concentrant sur la musique). Les deux sont vraies, mais ce sont des mots différents.

Si un ordinateur devine « donner un cours » mais que l'étiquette est « enseigner », l'ordinateur reçoit une note d'échec, même s'il a parfaitement compris l'image.

La Solution : La méthode du « Group Hug » (Le câlin collectif)

Les chercheurs proposent une nouvelle façon de noter ces ordinateurs. Au lieu de chercher un seul mot magique, ils construisent des « Clusters de Sens » (Sense Clusters).

Pensez à l'organisation d'un placard en désordre. Au lieu d'essayer de trouver un t-shirt spécifique, vous regroupez les t-shirts similaires.

Étape 1 : Ils prennent une image et demandent à des modèles d'IA puissants (comme GPT-4o et Llama) de la décrire en utilisant de nombreux verbes différents.
Étape 2 : Ils utilisent un algorithme de tri intelligent pour regrouper ces verbes. Si « monter », « faire du vélo » et « cyclisme » apparaissent tous avec les mêmes images, ils sont placés dans le même « cluster ».
Étape 3 : Si une image appartient à un cluster, et que l'ordinateur devine n'importe quel mot à l'intérieur de ce cluster, il obtient des points.

Ce qu'ils ont découvert

Ils ont testé ce nouveau système de notation sur le jeu de données imSitu (une vaste collection de 126 000 images avec des étiquettes d'action). Voici ce qu'ils ont découvert :

La règle des « Quatre Perspectives » : En moyenne, une seule image peut être correctement décrite par environ quatre « clusters » de mots différents. Par exemple, une image d'un professeur peut avoir un cluster pour « enseigner », un autre pour « donner un cours », un autre pour « instruire » et peut-être un pour « éduquer ».
De meilleures notes pour les modèles intelligents : Lorsqu'ils ont ré-évalué les modèles informatiques existants en utilisant leur nouvelle méthode de « cluster », leurs scores ont augmenté de manière significative.
- Exemple : Un modèle qui obtenait 56 % de réussite avec l'ancienne méthode est passé à 72 % avec la nouvelle méthode.
- Pourquoi ? L'ancienne méthode punissait le modèle pour l'utilisation d'un synonyme ou d'une perspective différente. La nouvelle méthode a réalisé que le modèle était en réalité intelligent.
Accord humain : Lorsque les chercheurs ont demandé à de vrais humains de noter les modèles, les scores de la méthode « cluster » correspondaient beaucoup mieux aux humains que la méthode « correspondance exacte ». L'ancienne méthode était trop sévère ; la nouvelle méthode est juste.

Pourquoi ne pas simplement utiliser des « Scores de Similitude » ?

Les auteurs ont également testé un outil populaire appelé CLIPScore, qui tente de mesurer à quel point un mot est similaire à une image en utilisant des mathématiques. Ils ont découvert que, bien qu'il soit bon pour les choses générales, il peine avec les verbes d'action spécifiques. C'est comme un juge qui dirait : « Cette image et le mot 'manger' sont similaires à 90 % », même si la personne sur la photo est en train de « cuisiner ». Le contexte se perd. Leur méthode de « cluster » est plus précise car elle regroupe les mots en fonction de la façon dont ils sont réellement utilisés dans les images réelles.

L'essentiel

Le papier ne prétend pas que cela guérira les maladies ou construira des voitures autonomes immédiatement. Il propose plutôt une meilleure règle pour mesurer la capacité de notre IA à comprendre les images.

En réalisant qu'il n'y a pas qu'un seul mot « correct » pour une action, mais plutôt toute une famille de mots corrects, nous pouvons cesser de pénaliser l'IA pour sa créativité et commencer à lui donner crédit pour sa compréhension réelle de la scène. C'est comme dire enfin à l'élève : « Oui, 'faire du vélo' est une réponse correcte pour 'pédaler'. »

Résumé technique : Vers une évaluation robuste de la reconnaissance d'activités visuelles

Problématique

L'évaluation des systèmes de reconnaissance d'activités visuelles est fondamentalement mise à mal par les ambiguïtés inhérentes à la sémantique des verbes et à l'interprétation des images. L'évaluation standard repose sur des métriques de correspondance exacte (exact-match), où la prédiction d'un modèle n'est jugée correcte que si elle correspond à un unique label de verbe « de référence » (gold label). Cette approche ne tient pas compte de deux sources primaires d'ambiguïté :

La synonymie : Plusieurs verbes synonymes (ex. : enseigner vs donner un cours) peuvent décrire le même événement.
Les multi-perspectives : Une seule image peut être décrite de manière valide par des verbes distincts reflétant différents points de vue (ex. : marcher vs performer pour une fanfare).

Par conséquent, l'évaluation par correspondance exacte sous-estime systématiquement la performance des modèles en pénalisant des prédictions sémantiquement valides mais lexicalement distinctes. Bien que des métriques comme CLIPScore existent, elles reposent souvent sur des mesures de similarité génériques qui ne parviennent pas à capturer les distinctions fines du sens des verbes ou les changements de perspective.

Méthodologie

Pour remédier à ces limites, les auteurs proposent un cadre de partitionnement (clustering) vision-langage qui construit des « clusters de sens de verbes ». Ce cadre regroupe les images et les verbes en clusters cohérents où chaque cluster représente une perspective ou un sens distinct d'une activité. La méthodologie se déroule en trois étapes :

1. Acquisition des paires image-verbe

Pour atténuer le biais d'étiquetage inhérent au jeu de données imSitu original (où les images étaient récupérées via des recherches Google basées sur des verbes), les auteurs interrogent deux modèles de langage multimodaux (LLM) — GPT-4o mini et Llama-3.2-90B — pour générer tous les verbes appropriés pour chaque image. Ils ne conservent que les verbes présents dans le vocabulaire d'imSitu (504 verbes) et construisent des nœuds représentant des paires <image, verbe>. Ces nœuds sont plongés (embedded) à l'aide d'un modèle Llama multimodal (Llama-3.2-11B) en traitant simultanément les entrées textuelles et visuelles, en extrayant l'état caché final après la couche de cross-attention.

2. Cadre de clustering en deux étapes

Le cadre utilise un processus de clustering en deux étapes pour regrouper ces paires <image, verbe> :

Étape 1 : Clustering par même verbe : Pour chacun des 504 verbes, les images associées sont regroupées par clustering afin de lever l'ambiguïté des sens fins de ce verbe spécifique. Le nombre optimal de clusters ( $k$ ) pour chaque verbe est déterminé en maximisant le score de Silhouette sur une plage de $k \in [2, 16]$ . Les méthodes K-Means et le clustering hiérarchique agglomératif (HAC) sont testés.
Étape 2 : Clustering inter-verbes : Les clusters résultant de l'étape 1 sont ensuite regroupés pour associer des verbes partageant des significations communes à travers différents items lexicaux. Le nombre de clusters finaux ( $k_r$ ) est déterminé par un ratio $r$ appliqué au nombre total de verbes (504), optimisé via le score de Silhouette.

3. Protocole d'évaluation

Les clusters résultants servent de vérité de terrain (ground truth) pour l'évaluation. Une prédiction de modèle est considérée comme correcte si le verbe prédit apparaît dans n'importe quel cluster contenant l'image cible. Cela est comparé à :

Correspondance exacte (Exact Match) : Correspondance standard avec le label de référence.
Correspondance WordNet-Synset : Vérification si la prédiction partage un synset avec le label de référence.
Jugement humain : Annotation manuelle de 100 images échantillonnées pour évaluer l'alignement.

Résultats clés

Qualité du clustering et analyse de l'ambiguïté

Structure des clusters : L'analyse révèle qu'en moyenne, chaque image est associée à environ 4 clusters de sens, et chaque cluster contient environ 2 verbes.
Quantification de l'ambiguïté :
- Synonymie : Environ 54 % des verbes couvrent plusieurs clusters (polysémie), et les clusters contiennent en moyenne 1,59 à 1,97 verbes, confirmant la prévalence des synonymes.
- Multi-perspectives : Plus de 70 % des images appartiennent à plus d'un cluster, indiquant qu'une seule image soutient souvent plusieurs perspectives descriptives valides.
Performance de la métrique : Le clustering K-Means utilisant les plongements de Llama-3.2-90B a offert le meilleur équilibre entre cohésion interne (Silhouette, Calinski-Harabasz) et validité externe (pureté WordNet).

Amélioration de l'évaluation des modèles

L'évaluation de divers modèles supervisés (ResNet-50, CLIP, Llama-11B) et de LLM zero-shot (GPT-4o mini, Llama-3.2-90B) a révélé des gains de performance significatifs sous la métrique basée sur les clusters :

Gains de précision : Tous les modèles ont montré des améliorations substantielles de la précision Top-1. Par exemple, le modèle supervisé Llama-11B est passé de 56,0 % (Correspondance exacte) à 72,1 % (Basé sur les clusters). Les LLM zero-shot ont montré des gains relatifs encore plus importants (ex. : GPT-4o mini en mode prompt fermé est passé de 17,3 % à 39,2 %).
Source de l'amélioration : L'analyse détaillée indique que la compréhension multi-perspectives explique la majorité du gain (8 à 27 %), tandis que la résolution de la synonymie contribue de manière plus modeste mais significative (3 à 6 %).
Alignement humain : L'évaluation basée sur les clusters a démontré le plus haut degré d'accord avec les jugements humains, surpassant à la fois la correspondance exacte et les bases de comparaison de type « VLM-as-a-judge » en termes de $\tau$ de Kendall (accord de classement) et de $\alpha$ de Krippendorff (accord de label). Contra à le « VLM-as-a-judge », qui présentait une grande instabilité selon les variations de prompts, la méthode basée sur les clusters a fourni un alignement cohérent et robuste.

Limites des métriques alternatives

L'article démontre que CLIPScore est mal adapté à l'évaluation centrée sur les verbes. Même en utilisant des légendes complètes, CLIPScore est dominé par les mots contextuels, rendant les changements de verbe négligeables. Le score CLIPScore appliqué uniquement aux verbes n'a atteint qu'environ 25 % de précision Top-1, échouant à récupérer de manière fiable les labels validés par l'humain.

Signification et contributions

L'article revendique trois contributions principales :

Cadre novateur : La proposition d'un cadre de partitionnement vision-langage qui construit des groupes de sens basés sur des images et des verbes d'activité, validé par des métriques internes et externes.
Évaluation supérieure : La démonstration que l'évaluation basée sur les clusters offre une évaluation plus précise et nuancée des systèmes de reconnaissance d'activités visuelles par rapport à la précision traditionnelle de correspondance exacte, reflétant mieux les réelles capacités sémantiques des modèles.
Quantification de l'ambiguïté : Une analyse quantitative du jeu de données imSitu révélant l'étendue de la synonymie et de l'ambiguïté multi-perspectives, montrant que les métriques d'évaluation standard ne parviennent pas à capturer ces complexités inhérentes.

Les auteurs concluent que, bien que leurs expériences se concentrent sur imSitu, le cadre est conçu pour être adaptable à d'autres jeux de données d'activités visuelles. Ils reconnaissent des limites, notamment la dépendance aux verbes générés par LLM plutôt qu'à une annotation humaine exhaustive, ainsi que le coût computationnel du processus de clustering hors ligne, mais soutiennent que l'ensemble de cibles fixes résultant permet d'amortir ce coût pour les évaluations futures.