VLAgeBench: Benchmarking Large Vision-Language Models for Zero-Shot Human Age Estimation

Titre : VLAgeBench : Évaluation des grands modèles vision-langage pour l'estimation d'âge humaine en zero-shot

1. Problématique

L'estimation de l'âge à partir d'images faciales est une tâche fondamentale en vision par ordinateur, avec des applications cruciales en biométrie, santé et interaction homme-machine. Traditionnellement, cette tâche repose sur des réseaux de neurones convolutifs (CNN) ou des Transformers (ViT) entraînés de manière supervisée sur des jeux de données étiquetés (comme UTKFace ou FG-NET). Cependant, ces modèles souffrent souvent d'un manque de généralisation face aux variations démographiques, à l'éclairage ou aux expressions faciales.

Récemment, les Grands Modèles Vision-Langage (LVLMs) ont démontré des capacités multimodales impressionnantes en zero-shot (sans ajustement spécifique). Pourtant, leur efficacité pour des tâches de régression précise, comme l'estimation d'un âge numérique continu, reste peu explorée. Ce papier vise à combler ce vide en évaluant rigoureusement la capacité des LVLMs à estimer l'âge sans aucun fine-tuning.

2. Méthodologie

L'étude propose un benchmark reproductible basé sur une inférence stricte en zero-shot.

• Données : Deux jeux de données de référence ont été utilisés :
  • UTKFace : Plus de 20 000 images couvrant une large tranche d'âge (0-116 ans) et une diversité démographique (genre, ethnie).
  • FG-NET : 1 002 images de 82 individus (0-69 ans), présentant des défis supplémentaires comme une faible résolution et un éclairage incohérent.
• Modèles évalués : Trois LVLMs d'état de l'art ont été testés sans ajustement :
  • GPT-4o (modèle commercial).
  • Claude 3.5 Sonnet (modèle commercial).
  • LLaMA 3.2 Vision (modèle open-source).
• Protocole expérimental :
  • Un prompt standardisé a été utilisé pour tous les modèles, demandant uniquement une valeur numérique d'âge sans explication textuelle.
  • Aucune fusion d'ensemble (ensemble fusion) n'a été effectuée ; chaque modèle a été évalué indépendamment.
• Métriques d'évaluation : Huit métriques ont été employées pour une analyse complète :
  • Erreurs absolues et quadratiques : MAE (Erreur Absolue Moyenne), MSE, RMSE.
  • Erreurs relatives et biais : MAPE (Erreur Absolue Moyenne en Pourcentage), MBE (Erreur de Biais Moyenne).
  • Corrélation et précision : R² (Coefficient de détermination), CCC (Coefficient de Corrélation de Concordance).
  • Précision pratique : Exactitude ±5 ans (pourcentage de prédictions à moins de 5 ans de l'âge réel).

3. Résultats Clés

Les résultats montrent que les LVLMs génériques peuvent atteindre des performances compétitives sans entraînement spécifique, mais avec des variations notables selon le modèle et le jeu de données.

• Performance Globale :
  • GPT-4o a obtenu les meilleures performances globales, en particulier sur le large jeu de données UTKFace, avec un MAE de 4,93 ans et une exactitude de 66,42 % dans la marge de ±5 ans. Il a également obtenu les scores les plus élevés en R² (0,88) et CCC (0,94).
  • Claude 3.5 Sonnet s'est distingué sur le jeu de données FG-NET (tranche d'âge plus restreinte), obtenant le MAE le plus bas (3,40 ans) et la meilleure exactitude ±5 ans (80,97 %).
  • LLaMA 3.2 Vision (open-source) a montré des résultats prometteurs mais inférieurs aux modèles commerciaux, avec un MAE plus élevé (7,58 ans sur UTKFace), indiquant des difficultés de généralisation sur des données très diversifiées.
• Analyse par Jeu de Données :
  • Les modèles ont généralement mieux performé sur FG-NET que sur UTKFace, probablement en raison de la plage d'âge plus restreinte (0-69 ans) et de la complexité réduite.
  • Sur UTKFace, la grande variété d'âges (jusqu'à 116 ans) et de démographies a augmenté les taux d'erreur.
• Limites et Biais :
  • La métrique MAPE s'est révélée trompeuse, particulièrement pour les sujets très jeunes, où de petites erreurs absolues génèrent des pourcentages d'erreur démesurés.
  • Des disparités de performance liées à la qualité de l'image et aux sous-groupes démographiques ont été observées, soulignant des problèmes de biais inhérents aux données d'entraînement des modèles.

4. Contributions Principales

1. Premier Benchmark Systématique : Introduction de la première évaluation comparative systématique des LVLMs pour l'estimation d'âge faciale en zero-shot.
2. Analyse Multi-Métrique : Utilisation d'une suite complète de huit métriques pour évaluer à la fois la précision absolue, la corrélation et l'accord avec la vérité terrain.
3. Étude de Robustesse Démographique : Analyse des performances à travers divers sous-groupes démographiques, mettant en lumière les enjeux d'équité (fairness) dans les systèmes biométriques multimodaux.
4. Protocole Reproductible : Mise à disposition de protocoles expérimentaux standardisés et d'une implémentation open-source pour faciliter les recherches futures.

5. Signification et Perspectives

Ce travail démontre que les LVLMs possèdent des capacités émergentes remarquables pour des tâches biométriques de régression, offrant une alternative viable aux modèles CNN spécialisés, notamment dans des scénarios où l'entraînement sur des données étiquetées est impossible ou coûteux.

Cependant, l'étude met en garde contre l'utilisation aveugle de ces modèles "boîte noire" :

• Sensibilité aux Prompts : La performance dépend fortement de la formulation du prompt.
• Biais Démographiques : Des disparités existent entre les groupes ethniques et de genre, nécessitant des mécanismes de correction.
• Coût et Interprétabilité : L'inférence via API est coûteuse et l'absence de transparence des modèles commerciaux limite l'analyse de l'interprétabilité.

Conclusion : VLAgeBench positionne les LVLMs comme des outils prometteurs pour des applications réelles (sciences forensiques, surveillance de la santé), tout en appelant à des recherches futures sur le fine-tuning spécifique, la fusion multimodale et le développement de techniques d'inférence équitables pour corriger les biais démographiques.