CROC: Evaluating and Training T2I Metrics with Pseudo- and Human-Labeled Contrastive Robustness Checks

Probleemstelling

De evaluatie van Text-to-Image (T2I) generatiemodellen is complex omdat er vaak meerdere geldige afbeeldingen bestaan voor één tekstprompt, wat subjectiviteit introduceert. Hoewel er veel geautomatiseerde evaluatiemetrics zijn (zoals CLIPScore, VQAScore), is de meta-evaluatie (het beoordelen van de kwaliteit en robuustheid van deze metrics zelf) onderontwikkeld.
Bestaande methoden voor meta-evaluatie hebben grote tekortkomingen:

1. Ze zijn afhankelijk van menselijke labels, wat duur en tijdrovend is.
2. Ze bieden beperkte dekking van specifieke afbeeldingseigenschappen.
3. Er is een risico op data-lekkage door het gebruik van oudere datasets.
4. Correlatiemaatstaven kunnen bepaalde metrics onterecht bevoordelen.

Er is dus behoefte aan een schaalbaar, geautomatiseerd framework om de robuustheid van T2I-metrics systematisch te testen, zonder volledig afhankelijk te zijn van menselijke beoordeling.

Methodologie: CROC Framework

De auteurs stellen CROC (Contrastive Robustness Checks) voor, een framework dat gebruikmaakt van contra-stieve testgevallen om metrics te evalueren. Het principe is simpel: als een metric robuust is, moet een "matchende" tekst-afbeeldingpaar (bijv. "een wit schaap" + afbeelding van een wit schaap) een hogere score krijgen dan een "contrasterend" paar (bijv. "een wit schaap" + afbeelding van een blauw schaap).

Het framework omvat twee hoofdcomponenten:

1. Data Generatie Pipelines

• CROCsyn (Pseudo-gelabeld): Een groot, synthetisch dataset met meer dan 1 miljoen prompt-afbeeldingparen.
  • Proces: Een Large Language Model (LLM) genereert een originele tekst ($T_O$) en een contra-stieve tekst ($T_C$) die slechts één eigenschap verandert (bijv. kleur, positie, aantal). Een diffusion model genereert vervolgens de bijbehorende afbeeldingen ($I_O$ en $I_C$).
  • Taxonomie: De prompts zijn gebaseerd op een hiërarchische taxonomie van 64 eigenschappen, 51 onderwerpen en 158 entiteiten.
  • Testtypes:
    • Property Variation: Verandering van een eigenschap (bijv. kleur).
    • Entity Placement: Plaatsing van een entiteit in een onnatuurlijke context (bijv. een schaap in een stad).
    • Entity Variation: Verandering van de beschrijving van een entiteit (bijv. "een schaap met drie ogen").
  • Robuustheid: Om generatiefouten te mitigeren, worden er per prompt meerdere afbeeldingen gegenereerd ($n>1$). De metric moet dan de beste matchende afbeelding kunnen selecteren.
• CROChum (Menselijk toezicht): Een kleinere, maar zeer uitdagende dataset voor specifieke categorieën waar T2I-modellen vaak falen (zoals lichaamsdelen, tellen, negatie en ruimtelijke relaties).
  • Proces: Menselijke annotatoren filteren gegenereerde afbeeldingen om alleen die te behouden die strikt voldoen aan de prompt. Dit creëert een "gouden standaard" voor moeilijke gevallen.

2. Evaluatierichtingen

Het framework test metrics in vier richtingen om te zien of ze consistent werken:

1. Forward Image-based: Vergelijkt $M(T_O, I_O)$ met $M(T_O, I_C)$. (Welke afbeelding past het beste bij de originele tekst?)
2. Forward Text-based: Vergelijkt $M(T_O, I_O)$ met $M(T_C, I_O)$. (Welke tekst past het beste bij de originele afbeelding?)
3. Inverse Evaluaties: Hetzelfde, maar dan met de contra-stieve tekst/afbeelding als referentiepunt.

3. Training van CROCScore

Op basis van CROCsyn wordt een nieuwe metric, CROCScore, getraind.

• Architectuur: Gebaseerd op een multimodaal LLM (phi4-multimodal-instruct) met een VQA-achtige aanpak.
• Training: Het model wordt gefinetuned om "Ja" te genereren voor matchende paren en "Nee" voor contra-stieve paren. De score is $P(\text{Ja}) - P(\text{Nee})$.

Belangrijkste Bijdragen

1. CROC Framework: Het eerste framework voor meta-evaluatie van T2I-metrics dat gebruikmaakt van LLM-generatie, eigenschapsgewijze perturbaties en contra-stieve checks om menselijke labeling te minimaliseren en fijnmazige robuustheidsanalyses mogelijk te maken.
2. Datasets:
   • CROCsyn: Een schaalbaar, pseudo-gelabeld dataset (>1M paren) voor training en vergelijking.
   • CROChum: Een menselijk verifieerde benchmark voor de meest uitdagende categorieën.
3. CROCScore: Een nieuwe, open-source metric die is getraind op CROCsyn en state-of-the-art prestaties levert onder open-source methoden.
4. Robuustheidsinzichten: Gedetailleerde analyses die blootleggen waar bestaande metrics falen (bijv. negatie en lichaamsdelen).

Resultaten

De auteurs hebben 6 bestaande metrics (o.a. CLIPScore, AlignScore, BLIP2-ITM, VQAScore) geëvalueerd op CROCsyn en CROChum.

• Algemene Prestaties:

  • VQAScore presteert over het algemeen het beste op CROCsyn, vooral bij eigenschapsvariaties.
  • Embedding-based metrics (zoals AlignScore en BLIP2-ITM) presteren soms beter dan VQA-based metrics in specifieke scenario's, maar zijn over het algemeen minder robuust.
  • CROCScore (open-source) bereikt de beste prestaties onder de open-source methoden op CROChum, GenAI-Bench, Winoground en TIFA. Het presteert zelfs dicht bij de dure GPT-4o-gebaseerde VQAScore, maar is veel efficiënter.

• Fijnmazige Analyse & Zwakke Punten:

  • Negatie: Veel metrics falen bij prompts met ontkenningen (bijv. "geen hond").
  • Lichaamsdelen: Alle geteste open-source metrics falen in ongeveer 24-25% van de gevallen bij het correct identificeren van specifieke lichaamsdelen (bijv. vingers, ogen).
  • Ruimtelijke relaties: Metrics hebben moeite met relaties zoals "links van" of "boven".
  • Inversie: Metrics zijn vaak minder robuust in "inverse" evaluaties (waar de onverwachte combinatie de match is) dan in forward evaluaties.

• Menselijke Vergelijking:

  • Menselijke annotatoren (zowel Prolific als in-house) presteren significant beter dan alle geautomatiseerde metrics, wat aantoont dat er nog ruimte is voor verbetering.
  • CROCsyn blijkt een goede proxy te zijn voor menselijke beoordeling, met een hoge correlatie in rangschikkingen tussen CROCsyn en CROChum.

Betekenis en Impact

Dit paper biedt een cruciale stap voorwaarts in de betrouwbaarheid van T2I-evaluatie:

1. Schaalbaarheid: Het lost het probleem van dure menselijke meta-evaluatie op door een framework te bieden dat automatisch duizenden contra-stieve testgevallen genereert.
2. Diagnose: Het stelt onderzoekers in staat om niet alleen te zeggen hoe goed een metric is, maar waar deze faalt (bijv. specifiek bij kleuren vs. ruimtelijke relaties).
3. Verbetering van Metrics: De succesvolle training van CROCScore toont aan dat synthetische, contra-stieve data effectief kan worden gebruikt om nieuwe, robuustere metrics te trainen.
4. Toekomstrichting: Het benadrukt dat huidige state-of-the-art metrics nog steeds "blinde vlekken" hebben, vooral bij complexe semantische concepten zoals negatie en anatomie, en dat VQA-gebaseerde benaderingen (zoals CROCScore) veelbelovend zijn voor de toekomst.

Kortom, CROC biedt zowel een nieuwe evaluatiestandaard als een trainingsparadigma om de volgende generatie T2I-evaluatiemetrics te ontwikkelen.