Technische Samenvatting: Naar een Robuuste Evaluatie van Visuele Activiteitsherkenning

Probleemstelling

Het evalueren van systemen voor visuele activiteitsherkenning wordt fundamenteel bemoeilijkt door de inherente ambiguïteit in de semantiek van werkwoorden en de interpretatie van afbeeldingen. Standaardevaluatie vertrouwt op exact-match metrieken, waarbij een voorspelling van een model pas als correct wordt beschouwd als deze overeenkomt met één enkel "gouden" werkwoordlabel. Deze aanpak houdt geen rekening met twee primaire bronnen van ambiguïteit:

1. Synoniemie: Meerdere synonieme werkwoorden (bijv. onderwijzen vs. lezingen geven) kunnen dezelfde gebeurtenis beschrijven.
2. Multi-perspectief: Eén enkele afbeelding kan geldig worden beschreven door verschillende werkwoorden die verschillende gezichtspunten reflecteren (bijv. marcheren vs. optreden voor een band).

Gevolgelijk onderschat de exact-match evaluatie de prestaties van modellen systematisch door semantisch geldige maar lexicaal verschillende voorspellingen te bestraffen. Hoewel metrieken zoals CLIPScore bestaan, leunen deze vaak op generieke gelijkenismaatstaven die er niet in slagen om fijnmazige onderscheiden in werkwoordsbetekenis of verschuivingen in perspectief te vangen.

Methodologie

Om deze beperkingen aan te pakken, stellen de auteurs een vision-language clustering framework voor dat "werkwoordsbetekenis-clusters" construeert. Dit framework groepeert afbeeldingen en werkwoorden in coherente clusters waar elk cluster een distinct perspectief of een specifieke betekenis van een activiteit vertegenwoordigt. De methodologie verloopt in drie fasen:

1. Verwerving van Afbeelding-Werkwoord Paren

Om de labeling bias te mitigeren die inherent is aan de oorspronkelijke imSitu dataset (waarbij afbeeldingen werden opgehaald via werkwoordgebaseerde Google-zoekopdrachten), bevraagt de auteurs twee multimodale Large Language Models (LLMs)—GPT-4o mini en Llama-3.2-90B—om alle passende werkwoorden voor elke afbeelding te genereren. Zij behouden alleen werkwoorden die aanwezig zijn in de imSitu-vocabulaire (504 werkwoorden) en construeren nodes die representaties vormen van <afbeelding, werkwoord> paren. Deze nodes worden geëmbed via een multimodale Llama-modellen (Llama-3.2-11B) door tekst- en beeldinput simultaan te verwerken, waarbij de finale hidden state na de cross-attention laag wordt geëxtraheerd.

2. Tweestaps Clustering Framework

Het framework maakt gebruik van een tweestaps clusteringproces om deze <afbeelding, werkwoord> paren te groeperen:

• Stap 1: Same-Verb Clustering: Voor elk van de 504 werkwoorden worden de bijbehorende afbeeldingen geclusterd om fijnmazige betekenissen van dat specifieke werkwoord te disambigueren. Het optimale aantal clusters ($k$) voor elk werkwoord wordt bepaald door de Silhouette score te maximaliseren over een bereik van $k \in [2, 16]$. Zowel K-Means als Hierarchical Agglomerative Clustering (HAC) worden getest.
• Stap 2: Cross-Verb Clustering: De resulterende clusters uit Stap 1 worden verder geclusterd om werkwoorden met gedeelde betekenissen over verschillende lexicale items heen te groeperen. Het aantal uiteindelijke clusters ($k_r$) wordt bepaald door een ratio $r$ toegepast op het totale aantal werkwoorden (504), geoptimaliseerd via de Silhouette score.

3. Evaluatieprotocol

De resulterende clusters dienen als de grondwaarheid (ground truth) voor evaluatie. Een modelvoorspelling wordt als correct beschouwd als het voorspelde werkwoord voorkomt in elke willekeurige cluster die de doelafbeelding bevat. Dit wordt vergeleken met:

• Exact Match: Standaard gouden label matching.
• WordNet-Synset Match: Controleren of de voorspelling een synset deelt met het gouden label.
• Menselijke Beoordeling: Handmatige annotatie van 100 gesamplede afbeeldingen om de afstemming te beoordelen.

Belangrijkste Resultaten

Kwaliteit van Clustering en Ambiguïteitsanalyse

• Clusterstructuur: Analyse laat zien dat een afbeelding gemiddeld ongeveer 4 betekenis-clusters mapt, en dat elk cluster gemiddeld ongeveer 2 werkwoorden bevat.
• Kwantificering van Ambiguïteit:
  • Synoniemie: Ongeveer 54% van de werkwoorden beslaat meerdere clusters (polysemie), en clusters bevatten gemiddeld 1,59–1,97 werkwoorden, wat de prevalentie van synoniemen bevestigt.
  • Multi-perspectief: Meer dan 70% van de afbeeldingen behoort tot meer dan één cluster, wat aangeeft dat één enkele afbeelding vaak meerdere geldige beschrijvende perspectieven ondersteunt.
• Prestaties van de Metriek: K-Means clustering met Llama-3.2-90B embeddings leverde de beste balans tussen interne cohesie (Silhouette, Calinski-Harabasz) en externe validiteit (WordNet zuiverheid).

Verbeteringen in Model-evaluatie

Evaluatie van diverse supervised modellen (ResNet-50, CLIP, Llama-11B) en zero-shot LLMs (GPT-4o mini, Llama-3.2-90B) toonde significante prestatiewinsten onder de cluster-gebaseerde metriek:

• Nauwkeurigheidswinsten: Alle modellen vertoonden substantiële verbeteringen in de Top-1 nauwkeurigheid. Zo verbeterde de Llama-11B supervised model van 56,0% (Exact Match) naar 72,1% (Cluster-gebaseerd). Zero-shot LLMs vertoonden zelfs grotere relatieve winsten (bijv. GPT-4o mini closed-prompt verbeterde van 17,3% naar 39,2%).
• Bron van Verbetering: De breakdown-analyse geeft aan dat multi-perspectief begrip de meerderheid van de winst verklaart (8–27% verbetering), terwijl de resolutie van synoniemen een kleiner maar significant deel bijdraagt (3–6%).
• Menselijke Afstemming: De cluster-gebaseerde evaluatie demonstreerde de hoogste overeenstemming met menselijke beoordelingen, waarbij zij zowel exact-match als VLM-as-a-judge baselines overtrof in termen van Kendall's $\tau$ (rangorde-overeenkomst) en Krippendorff's $\alpha$ (label-overeenkomst). In tegen tegenstelling tot VLM-as-a-judge, die een hoge instabiliteit vertoonde bij variaties in prompts, bood de cluster-gebaseerde methode een consistente, robuuste afstemming.

Beperkingen van Alternatieve Metrieken

Het paper toont aan dat CLIPScore slecht geschikt is voor werkwoord-gecentreerde evaluatie. Zelfs wanneer volledige captions worden gebruikt, wordt CLIPScore gedomineerd door contextuele woorden, waardoor veranderingen in het werkwoord verwaarloosbaar worden. Verb-only CLIPScore behaalde slechts ~25% Top-1 nauwkeurigheid, en faalde er niet in om betrouwbaar menselijk gevalideerde labels te extraheren.

Betekenis en Bijdragen

Het paper claimt drie primaire bijdragen:

1. Nieuw Framework: De voorstel van een vision-language clustering framework dat betekenisgroepen construeert op basis van afbeeldingen en activiteitswerkwoorden, gevalideerd door interne en externe metrieken.
2. Superieure Evaluatie: De demonstratie dat cluster-gebaseerde evaluatie een nauwkeurigere en genuanceerdere beoordeling biedt van visuele activiteitsherkenningssystemen vergeleken met traditionele exact-match nauwkeurigheid, wat de werkelijke semantische capaciteiten van modellen beter reflecteert.
3. Kwantificering van Ambiguïteit: Een kwantitatieve analyse van de imSitu dataset die de omvang van synoniemie en multi-perspectief ambiguïteit onthult, waarbij wordt aangetoond dat standaard evaluatiemetrieken niet in staat zijn deze inherente complexiteiten te vatten.

De auteurs concluderen dat hoewel hun experimenten zich richten op imSitu, het framework is ontworpen om aanpasbaar te zijn aan andere visuele activiteitsdatasets. Zij erkennen beperkingen, waaronder de afhankelijkheid van door LLM gegenereerde werkwoorden in plaats van uitputtende menselijke annotatie, en de computationele kosten van het offline clusteringproces, maar stellen dat de resulterende vaste set targets deze kosten voor toekomstige evaluaties amortiseert.