VLAgeBench: Benchmarking Large Vision-Language Models for Zero-Shot Human Age Estimation

1. Il Problema

La stima dell'età umana a partire da immagini del viso è un compito fondamentale nel campo della visione artificiale, con applicazioni critiche nella biometria, nell'assistenza sanitaria, nella moderazione dei social media e nell'interazione uomo-computer.
Tradizionalmente, questo compito è stato affrontato utilizzando reti neurali convoluzionali (CNN) o modelli basati su Vision Transformer (ViT) addestrati in modo supervisionato su dataset specifici (come UTKFace e FG-NET). Tuttavia, questi approcci presentano limitazioni significative:

• Scarsa generalizzazione: Faticano a gestire variazioni nell'etnia, nelle condizioni di illuminazione, nelle espressioni facciali e nella diversità del mondo reale.
• Dipendenza dai dati: Richiedono grandi quantità di dati etichettati e un addestramento specifico per dominio.
• Mancanza di esplorazione LVLM: Le capacità dei moderni Large Vision-Language Models (LVLM) per compiti di regressione precisa, come la stima numerica dell'età in modalità zero-shot (senza adattamento o fine-tuning), rimangono largamente inesplorate.

2. Metodologia

Lo studio presenta una valutazione sistematica e completa di tre modelli LVLM all'avanguardia in un contesto rigorosamente zero-shot:

• Modelli valutati:
  • GPT-4o (versione gpt-4o-2024-08-06)
  • Claude 3.5 Sonnet (versione claude-3-5-sonnet-20241022)
  • LLaMA 3.2 Vision (modello open-source LLaMA-3.2-11B-Vision-Instruct)
• Dataset:
  • UTKFace: Oltre 20.000 immagini con età da 0 a 116 anni, coprendo diverse etnie e generi.
  • FG-NET: 1.002 immagini di 82 individui, età da 0 a 69 anni, con sfide legate a bassa risoluzione e illuminazione incoerente.
• Protocollo Sperimentale:
  • Zero-Shot Puro: Nessun fine-tuning o adattamento specifico del task.
  • Prompting Standardizzato: Tutti i modelli hanno ricevuto lo stesso prompt testuale per richiedere una stima numerica dell'età senza spiegazioni aggiuntive.
  • Pipeline: Le immagini vengono inviate ai modelli, le uscite testuali vengono estratte e convertite in valori numerici, quindi confrontate con i ground truth.
• Metriche di Valutazione: Sono state utilizzate otto metriche complementari per valutare accuratezza, accordo e bias:
  1. Mean Absolute Error (MAE)
  2. Mean Squared Error (MSE)
  3. Root Mean Squared Error (RMSE)
  4. Mean Absolute Percentage Error (MAPE)
  5. Mean Bias Error (MBE)
  6. Coefficiente di Determinazione ($R^2$)
  7. Concordance Correlation Coefficient (CCC)
  8. Accuratezza entro $\pm 5$ anni.

3. Contributi Chiave

Il lavoro introduce diversi contributi originali al campo:

• Primo Benchmark Sistematico: È il primo studio a valutare in modo completo i LVLM per la regressione numerica diretta dell'età in modalità zero-shot.
• Analisi Multi-Metrica: Utilizzo di un set completo di 8 metriche per catturare non solo l'errore assoluto, ma anche l'accordo tra le stime e i valori reali.
• Valutazione dell'Equità Demografica: Analisi delle disparità di prestazioni tra diversi sottogruppi demografici, evidenziando la necessità di inferenze multimodali consapevoli dell'equità.
• Riproducibilità: Fornisce protocolli sperimentali riproducibili e un'implementazione open-source per facilitare ricerche future.
• Baseline Senza Addestramento: Stabilisce una linea di base per la stima dell'età basata sulla sola generalizzazione zero-shot, senza costi di addestramento.

4. Risultati Principali

I risultati mostrano che i modelli LVLM generici possono competere con approcci specializzati, ma con differenze significative:

• Prestazioni Generali:

  • GPT-4o ha ottenuto le prestazioni migliori complessive, specialmente su UTKFace, con un MAE di 4.93 anni e un'accuratezza entro $\pm 5$ anni del 66.42%. Ha mostrato anche i punteggi più alti per $R^2$ (0.88) e CCC (0.94).
  • Claude 3.5 Sonnet ha dimostrato prestazioni eccellenti, in particolare sul dataset FG-NET (range di età più ristretto), ottenendo il MAE più basso (3.40 anni) e un'accuratezza entro $\pm 5$ anni del 80.97%.
  • LLaMA 3.2 Vision (open-source) ha mostrato risultati solidi ma inferiori rispetto ai modelli commerciali, con un MAE più alto (7.58 su UTKFace), indicando sfide nella generalizzazione su dataset molto diversificati.

• Impatto del Dataset:

  • Tutti i modelli hanno performato meglio su FG-NET rispetto a UTKFace. La minore variabilità del range di età (0-69 vs 0-116) e la dimensione ridotta del dataset hanno facilitato la previsione.
  • Su UTKFace, la vasta gamma di età e la diversità demografica hanno aumentato gli errori.

• Limitazioni e Osservazioni:

  • Sensibilità al Prompt: Le prestazioni sono altamente dipendenti dalla formulazione del prompt.
  • Problema della MAPE: È stato evidenziato che la metrica MAPE (errore percentuale medio) è fuorviante per i soggetti molto giovani (es. neonati), dove piccoli errori assoluti generano percentuali di errore enormi.
  • Bias Demografico: Sono state osservate disparità nelle prestazioni legate a etnia e genere, sottolineando i rischi di bias ereditati dai dati di addestramento dei modelli.
  • Costo Computazionale: L'inferenza LVLM è computazionalmente più costosa rispetto alle CNN tradizionali.

5. Significato e Implicazioni

Questo studio segna un cambio di paradigma nella stima dell'età biometrica:

• Capacità Emergenti: Dimostra che i LVLM generici possiedono capacità emergenti per compiti di regressione biometrica complessi senza bisogno di addestramento specifico.
• Applicabilità Reale: I modelli, in particolare GPT-4o e Claude, sono strumenti promettenti per applicazioni reali in scienze forensi, monitoraggio sanitario e interazione uomo-computer, offrendo un'alternativa rapida e flessibile ai modelli specializzati.
• Sfide Future: Il lavoro evidenzia la necessità di future ricerche focalizzate sul fine-tuning per task specifici, l'uso di tecniche di fusione multimodale, e lo sviluppo di strategie di prompting e calibrazione post-hoc per mitigare i bias demografici e migliorare l'equità.
• Valutazione Critica: Sottolinea l'importanza di scegliere metriche di valutazione appropriate (evitando MAPE per dataset con molti giovani) per una valutazione onesta delle prestazioni.

In conclusione, VLAgeBench stabilisce che i Large Vision-Language Models sono pronti per essere considerati strumenti validi per la stima dell'età zero-shot, pur richiedendo ulteriori sviluppi per garantire equità, robustezza e interpretabilità in scenari di produzione.