Technische Samenvatting: TEMPVIZ – Over de Evaluatie van Temporele Kennis in Tekst-naar-Beeld Modellen

Probleemstelling

Tijd verandert fundamenteel het visuele uiterlijk van entiteiten in de echte wereld, inclusief objecten, plaatsen, dieren en landschappen. Terwijl er substantiële research bestaat naar temporele kennis en redeneren in Natural Language Processing (NLP), blijft het landschap van middelen en evaluatiemethoden voor temporele kennis in Tekst-naar-Beeld (T2I) modellen grotendeels onverkend. Gebruikers verwachten dat T2I-modellen contextueel relevante afbeeldingen genereren op basis van temporele instructies (bijv. een landschap in de winter versus de zomer, of een gebouw vóór versus na een specifieke historische gebeurtenis). Het is echter momenteel onduidelijk hoe goed bestaande T2I-modellen deze temporele aanwijzingen kunnen interpreteren en toepassen, noch is er een betrouwbare methode om dergelijke capaciteiten automatisch te evalueren.

Methodologie

Om dit gat te dichten, introduceren de auteurs TEMPVIZ, een nieuwe dataset en een evaluatiekader ontworpen om temporele kennis in beeldgeneratie holistisch te beoordelen.

1. De TEMPVIZ Dataset

De dataset bestaat uit 7.940 prompts verspreid over vijf afzonderlijke subjectcategorieën, gekozen om reflectie te bieden op veelvoorkomende gebruikssituaties waarin temporele effecten visueel waarneembaar zijn:

• Landschappen: Testt seizoensgebonden en dagelijkse variatie (bijv. "een meer in januari in Europa").
• Dieren: Testt biologische veroudering over levensfasen (bijv. "een alpaca die één maand oud is"), gebruikmakend van levensduurgegevens van HAGR.
• Gebouwen: Testt historische existentie en vernietiging (bijv. "de Berlijnse Muur op 23/10/1983"), met de focus op structuren met bekende datum van ontstaan en sloop.
• Kaarten: Testt geopolitieke grensveranderingen in de loop van de tijd (bijv. "een kaart van Europa in 1938").
• Kunstwerken: Testt naleving van specifieke kunsthistorische perioden en stijlen (bijv. "een kunstwerk in de stijl van het impressionisme").

Voor elke prompt genereerden de auteurs vier geparafraseerde variaties. De dataset bevat >600 referentieafbeeldingen (afkomstig van Wikidata, Google Arts & Culture en OpenHistoricalMap) en "verwachte waarden" (tekstuele beschrijvingen van visuele attributen) om annotatie te ondersteunen. Opvallend genoeg sluit de dataset menselijke onderwerpen uit om ethische complicaties met betrekking tot demografische bias en de versterking van stereotypen te vermijden.

2. Evaluatieprotocol

De studie maakt gebruik van een dubbele evaluatieaanpak:

• Menselijke Evaluatie: Twee annotatoren beoordeelden een gestratificeerde steekproef van 500 gegenereerde afbeeldingen over vijf T2I-modellen (Stable Diffusion v1.5, SDXL-Turbo, SDXL-Base, SD 3.5 en FLUX.1-dev). Annotatoren beantwoordden drie binaire vragen:
  1. Is de afbeelding vrij van visuele generatiefouten?
  2. Is het juiste onderwerp aanwezig?
  3. Heeft het model de vereiste temporele kennis correct toegepast?
• Automatische Evaluatie: De auteurs testten verschillende gevestigde automatische methoden tegenover menselijke oordelen om hun betrouwbaarheid bij het detecteren van temporele aanwijzingen te bepalen. Dit omvatte:
  • CLIPScore: Het meten van de gelijkenis tussen tekst- en beeldembeddings.
  • Captioning: Het genereren van beeldonderschriften en het vergelijken daarvan met de prompt.
  • Decompositional VQA: Het gebruik van een LLM om prompts op te splitsen in fijnmazige vragen die door een Vision-Language Model (VLM) worden beantwoord.
  • Directe VLM Beoordeling: Het instrueren van VLMs (Qwen2.5-VL, GPT-4o mini, GPT-5) om direct te beoordelen of de afbeelding overeenkomt met de temporele beperkingen van de prompt.

Belangrijkste Resultaten

Bevindingen Menselijke Evaluatie

• Lage Temporele Competentie: Over alle vijf de modellen en categorieën heen is de temporele competentie over het algemeen zwak. Geen enkel model overschreed 75% nauwkeurigheid in het correct toepassen van temporele aanwijzingen voor een enkele categorie.
• Categorie Variantie: De categorie Kaarten bleek het meest uitdagend, waarbij zelfs het best presterende model (FLUX) slechts 50% foutloze generatie behaalde. Kunstwerken vertoonden de hoogste foutloze percentages, hoewel dit kan komen door het feit dat annotatoren generatiefouten interpreteerden als stilistische variaties.
• Subject versus Temporele Prestatie: Ho\ewel modellen over het algemeen goed presteerden op de aanwezigheid van het onderwerp (Q2), correleerde dit niet met de temporele nauwkeurigheid (Q3). Bijvoorbeeld, FLUX behaalde hoge scores voor beeldkwaliteit en de aanwezigheid van het onderwerp, maar slechts 38% temporele nauwkeurigheid, terwijl SD v1.5 de hoogste gemiddelde temporele nauwkeurigheid behaalde (46%) ondanks lagere algehele coherentie.
• Conclusie: Algemene beeldkwaliteit is geen indicator voor de codering van temporele kennis. Huidige T2I-modellen worstelen met het consistent integreren van temporele aanwijzingen, zelfs in categorieën die eenvoudiger lijken.

Bevindingen Automatische Evaluatie

• Ineffectiviteit van Traditionele Metrieken: CLIPScore vertoonde geen significante correlatie met menselijke oordelen met betrekking tot de temporele correctheid. Op basis van captions uitgevoerde evaluatie vertoonde enige correlatie met de aanwezigheid van het onderwerp, maar leverde negatieve correlaties op voor temporele aanwijzingen, wat aangeeft dat deze methoden misleidend kunnen zijn wanneer de correctheid afhangt van tijd in plaats van objectidentiteit.
• Beperkingen van VLM-beoordelaars: Zelfs geavanceerde VLMs (inclusclusief GPT-5) faalden in het leveren van betrouwbare beoordelingen. De best presterende configuratie (GPT-5 met 3-shot prompting) behaalde slechts een macro F1-score van 72%, ruim onder de drempel voor een betrouwbare automatische evaluatie.
• Mismatch met Menselijke Moeilijkheidsgraad: Automatische beoordelaars kwamen niet consistent overeen met de door mensen waargenomen moeilijkheidsgraad van de taak. Bijvoorbeeld, GPT-5 beoordeelde de categorie "Dieren" (veroudering) vaak onjuist, ondanks dat mensen deze minder uitdagend vonden dan "Gebouwen" of "Kaarten".

Betekenis en Bijdragen

Het artikel levert drie primaire bijdragen:

1. TEMPVIZ Dataset: De eerste dataset die specifiek is ontworpen om de temporele kennis in T2I-modellen te analyseren, bestaande uit 7,9k prompts over vijf diverse categorieën met referentieafbeeldingen en verwachte waarden.
2. Empirische Benchmarking: Een uitgebreide menselijke evaluatie van vijf state-of-the-art T2I-modellen, die onthult dat zelfs de sterkste modellen er niet in slagen om temporele kennis consistent toe te passen, waarbij de nauwkeurigheid zelden de 75% overschrijdt.
3. Evaluatiekloof Analyse: Een systematische beoordeling van automatische evaluatiemethoden, die aantoont dat huidige benaderingen (CLIPScore, captioning, VQA en directe VLM-beoordeling) onvoldoende zijn om temporele aanwijzingen in gegenereerde afbeeldingen betrouwbaar te beoordelen.

De auteurs concluderen dat er een dringende behoefte is aan toekomstig onderzoek gericht op zowel het verbeteren van de generatie van temporele aanwijzingen in T2I-modellen als op de ontwikkeling van evaluatiemetrieken die in staat zijn deze fijnmazige visuele-temporele relaties te beoordelen. Het artikel positioneert TEMPVIZ als een fundamentele bron om deze richting te stimuleren, in plaats van te beweren dat het de onderliggende generatie- of evaluatieproblemen heeft opgelost.