Sintesi Tecnica: Verso una Valutazione Robusta del Riconoscimento di Attività Visive

Definizione del Problema

La valutazione dei sistemi di riconoscimento di attività visive è fondamentalmente complicata dall'ambiguità intrinseca della semantica dei verbi e dell'interpretazione delle immagini. La valutazione standard si basa su metriche di corrispondenza esatta (exact-match), in cui la previsione di un modello è considerata corretta solo se corrisponde a un singolo verbo "gold" etichettato. Questo approccio non tiene conto di due fonti primarie di ambiguità:

1. Sinonimia: Più verbi sinonimi (ad es. insegnare vs fare lezione) possono descrivere lo stesso evento.
2. Molteplicità di prospettive: Una singola immagine può essere descritta validamente da verbi distinti che riflettono diversi punti di vista (ad es. marciare vs esibirsi per una banda musicale).

Di conseguenza, la valutazione a corrispondenza esatta sottostima sistematicamente le prestazioni del modello, penalizzando previsioni semanticamente valide ma lessicalmente distinte. Sebbene esistano metriche come CLIPScore, esse spesso si affidano a misure di similarità generiche che non riescono a catturare le distinzioni fine del senso del verbo o i cambiamenti di prospettiva.

Metodologia

Per affrontare queste limitazioni, gli autori propongono un framework di clustering visione-linguaggio che costruisce "cluster di senso del verbo". Questo framework raggruppa immagini e verbi in cluster coerenti dove ogni cluster rappresenta una distinta prospettiva o senso di un'attività. La metodologia procede in tre fasi:

1. Acquisizione di Coppie Immagine-Verbo

Per mitigare il bias di etichettatura inerente al dataset originale imSitu (dove le immagini venivano recuperate tramite ricerche Google basate su verbi), gli autori interrogano due Large Language Models (LLM) multimodali — GPT-4o mini e Llama-3.2-90B — per generare tutti i verbi appropriati per ogni immagine. Mantengono solo i verbi presenti nel vocabolario di imSitu (504 verbi) e costruiscono nodi che rappresentano le coppie <immagine, verbo>. Questi nodi vengono incorporati utilizzando un modello Llama multimodale (Llama-3.2-11B) elaborando simultaneamente gli input testuali e d'immagine, estraendo lo stato nascosto finale dopo lo strato di cross-attention.

2. Framework di Clustering a Due Fasi

Il framework impiega un processo di clustering in due fasi per raggruppare queste coppie <immagine, verbo>:

• Fase 1: Clustering dello Stesso Verbo: Per ciascuno dei 504 verbi, le immagini associate vengono raggruppate per disambiguare i sensi fini di quel verbo specifico. Il numero ottimale di cluster ($k$) per ogni verbo è determinato massimizzando il Silhouette score attraverso un intervallo di $k \in [2, 16]$. Vengono testati sia K-Means che il Clustering Gerarchico Agglomerativo (HAC).
• Fase 2: Clustering tra Verbi Diversi: I cluster risultanti dalla Fase 1 vengono ulteriormente raggruppati per unire verbi con significati condivisi attraverso diversi elementi lessicali. Il numero di cluster finali ($k_r$) è determinato da un rapporto $r$ applicato al conteggio totale dei verbi (504), ottimizzato tramite il Silhouette score.

3. Protocollo di Valutazione

I cluster risultanti fungono da ground truth per la valutazione. Una previsione del modello è considerata corretta se il verbo previsto appare in qualsiasi cluster contenente l'immagine target. Questo viene confrontato con:

• Corrispondenza Esatta (Exact Match): Corrispondenza standard con l'etichetta gold.
• Corrispondenza WordNet-Synset: Verifica se la previsione condivide un synset con l'etichetta gold.
• Giudizio Umano: Annotazione manuale di 100 immagini campionate per valutare l'allineamento.

Risultati Chiave

Qualità del Clustering e Analisi dell'Ambiguità

• Struttura dei Cluster: L'analisi rivela che, in media, ogni immagine mappa circa 4 cluster di senso, e ogni cluster contiene circa 2 verbi.
• Quantificazione dell'Ambiguità:
  • Sinonimia: Circa il 54% dei verbi copre più cluster (polisemia), e i cluster contengono in media 1,59–1,97 verbi, confermando la prevalenza di sinonimi.
  • Molteplicità di Prospettive: Oltre il 70% delle immagini appartiene a più di un cluster, indicando che una singola immagine spesso supporta molteplici prospettive descrittive valide.
• Prestazioni del Metodo di Clustering: Il clustering K-Means utilizzando gli embedding di Llama-3.2-90B ha prodotto il miglior equilibrio tra coesione interna (Silhouette, Calinski-Harabasz) e validità esterna (purezza WordNet).

Miglioramenti nella Valutazione dei Modelli

La valutazione di vari modelli supervisionati (ResNet-50, CLIP, Llama-11B) e LLM zero-shot (GPT-4o mini, Llama-3.2-90B) ha rivelato guadagni significativi nelle prestazioni sotto la metrica basata sui cluster:

• Guadagni di Accuratezza: Tutti i modelli hanno mostrato sostanziali miglioramenti della precisione Top-1. Ad esempio, il modello supervisionato Llama-11B è passato dal 56,0% (Corrispondenza Esatta) al 72,1% (basato su Cluster). Gli LLM zero-shot hanno mostrato guadagni relativi ancora maggiori (ad es., il closed-prompt di GPT-4o mini è passato dal 17,3% al 39,2%).
• Fonte del Miglioramento: L'analisi di scomposizione indica che la comprensione della molteplicità di prospettiva costituisce la maggior parte del guadagno (miglioramento dell'8–27%), mentre la risoluzione della sinonimia contribuisce in misura minore ma significativa (3–6%).
• Allineamento con l'Umano: La valutazione basata sui cluster ha dimostrato il più alto accordo con i giudizi umani, superando sia la corrispondenza esatta che i baseline VLM-as-a-judge in termini di Kendall's $\tau$ (accordo di ranking) e Krippendorff's $\alpha$ (accordo di etichetta). A differenza del VLM-as-a-judge, che mostrava un'alta instabilità tra le variazioni di prompt, il metodo basato sui cluster ha fornito un allineamento coerente e robusto.

Limiti delle Metriche Alternative

Il documento dimostra che CLIPScore è inadatto per la valutazione incentrata sui verbi. Anche utilizzando intere didascalie, CLIPScore è dominato dalle parole contestuali, rendendo trascurabili i cambiamenti nel verbo. Il CLIPScore basato solo sul verbo ha ottenuto solo il ~25% di accuratezza Top-1, fallendo nel recuperare in modo affidabile le etichette validate dagli umani.

Significato e Contributi

Il documento rivendica tre contributi primari:

1. Framework Innovativo: La proposta di un framework di clustering visione-linguaggio che costruisce gruppi di senso basati su immagini e verbi di attività, validato da metriche interne ed esterne.
2. Valutazione Superiore: La dimostrazione che la valutazione basata sui cluster offre una valutazione più accurata e sfumata dei sistemi di riconoscimento di attività visive rispetto alla tradizionale accuratezza a corrispondenza esatta, riflettendo meglio le reali capacità semantiche dei modelli.
3. Quantificazione dell'Ambiguità: Un'analisi quantitativa del dataset imSitu che rivela l'entità della sinonimia e dell'ambiguità della molteplicità di prospettive, mostrando come le metriche di valutazione standard non riescano a catturare queste complessità intrinseche.

Gli autori concludono che, sebbene i loro esperimenti si concentrino su imSitu, il framework è progettato per essere adattabile ad altri dataset di attività visive. Riconoscono i limiti, tra cui la dipendenza da verbi generati da LLM piuttosto che da un'annotazione umana esaustiva, e il costo computazionale del processo di clustering offline, ma sostengono che l'insieme fisso di target risultante ammortizza questo costo per le valutazioni future.