VLAgeBench: Benchmarking Large Vision-Language Models for Zero-Shot Human Age Estimation

Titel: VLAgeBench: Benchmarking van Grote Vision-Language Modellen voor Zero-Shot Menselijke Leeftijdsschatting

1. Probleemstelling

Het schatten van de leeftijd van een persoon op basis van een gezichtsafbeelding is een fundamenteel maar uitdagend probleem in de computer vision, met toepassingen in biometrie, gezondheidszorg en mens-computerinteractie. Traditionele methoden vertrouwen op diep leermethoden (zoals CNN's) die zijn getraind op grote, gelabelde datasets (bijv. UTKFace, FG-NET). Deze modellen hebben echter moeite met generalisatie bij variaties in etniciteit, verlichting en gezichtsuitdrukkingen.

Recente ontwikkelingen in Grote Vision-Language Modellen (LVLM's) zoals GPT-4o, Claude 3.5 Sonnet en LLaMA 3.2 Vision bieden potentie voor zero-shot inferentie (zonder specifieke training of fine-tuning). Echter, hun prestaties op nauwkeurige, regressie-gebaseerde taken zoals leeftijdschatting zijn nog niet systematisch onderzocht. Bestaande zero-shot benaderingen (zoals CLIP) vertonen vaak hogere foutmarges en worstelen met de subtiliteit van leeftijdsindicatoren (rimpels, huidtextuur).

2. Methodologie

De auteurs hebben een reproduceerbaar benchmark-framework ontwikkeld om de zero-shot prestaties van LVLM's te evalueren.

• Datasets:
  • UTKFace: Bevat meer dan 20.000 afbeeldingen met leeftijden van 0 tot 116 jaar, inclusief diverse demografische groepen (geslacht, etniciteit).
  • FG-NET: Bevat 1.002 afbeeldingen van 82 individuen (leeftijd 0-69 jaar), gekenmerkt door lagere resolutie en historische variatie.
• Modellen: Drie toonaangevende LVLM's werden getest zonder fine-tuning:
  • GPT-4o (Commercieel)
  • Claude 3.5 Sonnet (Commercieel)
  • LLaMA 3.2 Vision (Open source)
• Prompting: Een gestandaardiseerde prompt werd gebruikt om de modellen te instrueren om uitsluitend een numerieke leeftijdsvoorspelling te geven zonder extra tekst.
• Evaluatiemetrics: Acht metrics werden gebruikt om zowel nauwkeurigheid als overeenstemming te meten:
  1. Mean Absolute Error (MAE)
  2. Mean Squared Error (MSE)
  3. Root Mean Squared Error (RMSE)
  4. Mean Absolute Percentage Error (MAPE)
  5. Mean Bias Error (MBE)
  6. Coefficient of Determination ($R^2$)
  7. Concordance Correlation Coefficient (CCC)
  8. Nauwkeurigheid binnen $\pm5$ jaar

3. Belangrijkste Bijdragen

1. Eerste Systematische Benchmark: Dit is het eerste werk dat een uitgebreide zero-shot evaluatie uitvoert van state-of-the-art LVLM's voor directe numerieke leeftijdsregressie.
2. Uitgebreide Meting: Gebruik van acht complementaire metrics die zowel de absolute fout als de statistische overeenstemming tussen voorspelling en werkelijkheid meten.
3. Demografische Analyse: Onderzoek naar eerlijkheid (fairness) en robuustheid over verschillende bevolkingsgroepen, met aandacht voor mogelijke vooroordelen in de modellen.
4. Reproduceerbaarheid: Het bieden van open-source implementatie en protocollen om toekomstig onderzoek in dit opkomende veld te faciliteren.

4. Resultaten

De resultaten tonen aan dat algemene LVLM's concurrerende prestaties leveren zonder training, maar er zijn duidelijke verschillen tussen de modellen:

• Algemene Prestaties:
  • GPT-4o behaalde over het algemeen de beste prestaties, met name op de diverse UTKFace-dataset (MAE: 4,93 jaar; $R^2$: 0,88; CCC: 0,94).
  • Claude 3.5 Sonnet presteerde uitstekend op de FG-NET-dataset (MAE: 3,40 jaar; 80,97% nauwkeurigheid binnen $\pm5$ jaar), wat suggereert dat het beter presteert op kleinere, beperktere leeftijdsbereiken.
  • LLaMA 3.2 Vision (open source) leverde solide resultaten, maar bleef achter bij de commerciële modellen in nauwkeurigheid en generalisatie (hogere MAE, lagere $R^2$).
• Dataset-Verschillen: Alle modellen presteerden beter op FG-NET dan op UTKFace. De bredere leeftijdsrange en complexiteit van UTKFace leidden tot hogere foutmarges.
• Kritische Observatie over MAPE: De studie identificeerde dat de Mean Absolute Percentage Error (MAPE) misleidend kan zijn bij datasets met veel jonge onderwerpen (zoals FG-NET), omdat kleine absolute fouten bij jonge leeftijden leiden tot exorbitant hoge percentagefouten.
• Uitdagingen: Er werden issues geconstateerd met betrekking tot prompt-gevoeligheid, demografische bias (vooroordelen) en de hoge computationele kosten van LVLM-inferentie vergeleken met traditionele CNN's.

5. Betekenis en Conclusie

Dit onderzoek markeert een verschuiving in het veld van leeftijdschatting, waarbij bewezen wordt dat zero-shot LVLM's een haalbaar alternatief zijn voor traditionele, gespecialiseerde modellen. Ze bieden een krachtige, trainingsvrije baseline die direct toepasbaar is in scenario's zoals forensische wetenschap en gezondheidsmonitoring.

De studie benadrukt echter dat er nog uitdagingen zijn op het gebied van eerlijkheid (demografische bias), interpreteerbaarheid en kosten. De auteurs pleiten voor toekomstig onderzoek dat zich richt op:

• Fine-tuning van LVLM's voor specifieke biometrische taken.
• Het ontwikkelen van bias-bewuste prompting-strategieën.
• Het combineren van LVLM's met gespecialiseerde biometrische kenmerken.

Kortom, VLAgeBench positioneert LVLM's als veelbelovende hulpmiddelen voor real-world toepassingen, mits de resterende beperkingen in nauwkeurigheid en eerlijkheid worden aangepakt.