Technische Samenvatting: XPASS-VIS: Een Dataset voor Cross-Domein Gepersonaliseerde Esthetische Beoordeling van Afbeeldingen

1. Probleemstelling

Gepersonaliseerde esthetische beoordeling van afbeeldingen (Personalized Image Aesthetic Assessment, PIAA) streeft ernaar om de subjectieve aard van esthetische oordelen op individueel niveau te modelleren, in plaats van alleen te kijken naar de consensus op populatieniveau. Hoewel esthetische voorkeur bekend staat als diep persoonlijk, vertoont het ook consistentie over visuele domeinen heen; bijvoorbeeld kan de voorkeur van een individu voor eenvoud zich zowel manifesteren in minimalistische kunst als in ingetogen mode. De huidige PIAA-datasets en methoden zijn echter grotendeels beperkt tot één enkel domein of missen voldoende exemplaren per annotator binnen elk domein om cross-domein analyse te ondersteunen. Bijgevolg blijft de mate waarin gepersonaliseerde esthetische voorkeuren kunnen worden overgedragen naar andere visuele domeinen onverkend. Bovendien is het verzamelen van voldoende gelabelde data voor elk nieuw domein evenredig duur, wat een "cold-start"-probleem creëert waarbij geen gebruikersgeschiedenis van beoordelingen bestaat. Dit vereist de ontwikkeling van Unsupervised Domain Adaptation (UDA) strategieën om modellen te transfereren van gelabelde bron-domeinen naar ongelabelde doel-domeinen.

2. Methodologie

2.1 De XPASS-Vis Dataset

Om het gebrek aan datainfrastructuur voor cross-domein PIAA aan te pakken, introduceren de auteurs XPASS-Vis, de eerste dataset die expliciet voor deze taak is ontworpen.

• Stimuli: De dataset bevat 6.526 stimuli verdeeld over drie verschillende visuele domeinen: Artwork (2.345 afbeeldingen uit de LAPIS test-split), Fashion (2.082 hoogwaardige afbeeldingen uit de Clothing Co-Parsing dataset) en Landscape (2.099 eenminuut durende videoclips van Sekai-Real-Walking-HQ, omgezet naar enkelvoudige frames).
• Annotatoren: 129 annotatoren beoordeelden stimuli over alle drie de domeinen.
• Annotaties: Elke annotator leverde 10 beoordelingen per stimulus:
  1. Algemene esthetische beoordeling: Een 7-punts Likert-schaal (1 = zeer niet-esthetisch, 7 = zeer esthetisch).
  2. Esthetisch-emotionele beoordelingen: Negen items uit de AESTHEMOS-vragenlijst (bijv. "Vond het leuk", "Ik voelde me nostalgisch"), beoordeeld op een 5-punts schaal.
• Gebruikersattributen: Annotatoren verstrekten demografische gegevens (leeftijd, geslacht, nationaliteit, academische achtergrond) en persoonlijkheidskenmerken (Ten-Item Personality Inventory/TIPI).
• Omvang: De dataset levert 87.836 gebruiker-stimulus interacties op, waarbij elke annotator meer dan 200 stimuli per domein beoordeelt, wat zorgt voor voldoende dekking voor personalisatie.

2.2 Experimentele Opstelling en Baselines

De auteurs hebben een benchmark vastgesteld voor cross-domein PIAA onder een Unsupervised Domain Adaptation (UDA) setting, waarbij een model wordt getraind op een gelabeld bron-domein en wordt overgedragen naar een ongelabeld doel-domein zonder gebruik te maken van doel-labels.

• Preprocessing:
  • Gebruikersattributen: Gecodeerd als one-hot vectoren (114 dimensies in totaal), inclusief demografie, persoonlijkheid en domeeninteresse.
  • Afbeeldingseigenschappen: 45 lage-niveau Kwantitatieve Afbeeldingseigenschappen (QIPs) geëxtraheerd via een toolbox, die kleur, textuur, symmetrie en complexiteit dekken.
• Trainingspipeline:
  • General Image Aesthetic Assessment (GIAA): Een baseline model (NIMA met CLIP backbone) getraind om populatie-geaggregeerde scores te voorspellen.
  • Personalized Image Aesthetic Assessment (PIAA): Een tweefasige aanpak:
    1. Pre-training (Populatieniveau): Een personalisatiemodule wordt getraind op algemene gebruikers om populatie-brede voorkeurspatronen te leren.
    2. Fine-tuning (Individueel niveau): Het model wordt gefinetuned voor specifieke doelgebruikers met behulp van een klein aantal van hun beoordelingen (100 samples).
  • Baselines: De studie evalueert propriëtaire Large Language Models (GPT-5.4, Claude Opus 4.6, Gemini 3.0 Flash) via zero-shot inferentie en twee gevestigde PIAA-architecturen (MIR en ICI).
• Domeinadaptatiemethoden: De auteurs evalueerden systematisch 8 representatieve UDA-methoden:
  • Adversarial: DANN, CDAN, ALDA.
  • Discrepancy-based (Optimal Transport): DeepJDOT, JUMBOT.
  • Discrepancy-based (Feature Alignment): DeepCORAL, RSD, DARE-GRAM.
  • Opmerking: RSD en DARE-GRAM zijn regressie-bewuste varianten die specifiek zijn ontworpen voor continue scorevoorspelling.

2.3 Evaluatie

Prestaties werden gemeten met behulp van 5-voudige kruisvalidatie op gebruikersniveau. De metrieken waren:

• SCC (Spearman's Rank Correlation Coefficient): Meet de rangordecorrelatie.
• CCC (Concordance Correlation Coefficient): Meet zowel de rangorde als de absolute overeenstemming (gevoelig voor het gebruik van de beoordelingsschaal).

3. Belangrijkste Resultaten

3.1 Prestaties binnen het Domein

• PIAA vs. GIAA: Gepersonaliseerde modellen (ICI en MIR) presteerden significant beter dan het populatie-geaggregeerde GIAA-model (NIMA) en zero-shot LLM's. Het ICI-model behaalde de beste algehele prestaties (Gem. SCC = 0,470, CCC = 0,423).
• Domeinmoeilijkheid: Prestaties varieerden per domein, waarbij Art de hoogste scores opleverde en Fashion de laagste. Dit correleert met een lagere inter-annotator overeenstemming (ICC) in mode, wat wijst op een hogere subjectiviteit en moeilijkheid bij het modelleren van de populatieconsensus voor dit domein.
• Beperkingen van LLM's: Zero-shot propriëtaire LLM's presteerden vergelijkbaar met elkaar, maar slaagden er niet in om de NIMA-baseline in enig domein te overtreffen, wat aangeeft dat individuele oordelen moeilijk af te leiden zijn uit tekstuele attributen zonder trainingsdata.

3.2 Cross-Domein Transfer (UDA)

• Domeinverschuiving (Domain Shift): De "Source-Only" baseline (zonder adaptatie) presteerde slecht (Gem. SCC = 0,145), wat wijst op een substantiële domeinverschuiving.
• Succes van Adaptatie: De meeste UDA-methoden verbeterden ten opzichte van de Source-Only baseline.
  • Feature Alignment vs. Adversarial: Feature-alignment methoden (DeepCORAL, RSD, DARE-GRAM) presteerden beter dan adversarial en optimal-transport methoden.
  • Regressie-bewustzijn: De best presterende methoden waren RSD en DARE-GRAM, die expliciet zijn ontworpen voor regressietaken. Zij behaalden de hoogste SCC-scores van alle UDA-methoden.
• Overdraagbaarheid: De beste adaptatiemethoden herstelden ongeveer 60% van de Target-Only upper bound (de theoretische limiet als doel-labels beschikbaar waren) in termen van SCC. Dit levert bewijs dat gepersonaliseerde esthetische voorkeuren in een betekenisvolle mate overdraagbaar zijn naar andere visuele domeinen.
• Absoluut vs. Relatief: Hoewel de absolute scores lager waren voor mode-targets, was het herstelpercentage ten opzichte van de moeilijkheid van het doel-domein consistent over de meeste richtingen, wat suggereert dat de aanpasbaarheid van voorkeuren niet richtingafhankelijk is, maar eerder wordt beperkt door de inherente moeilijkheid van het doel-domein.
• CCC-beperkingen: Het herstel voor CCC (absolute overeenstemming) was lager (~38%) dan voor SCC, wat aangeeft dat unsupervised adaptatie moeite heeft met het vastleggen van annotator-specifieke beoordelingstendenities (bijv. het gebruik van de schaal).

3.3 Gebruikersanalyse

De auteurs onderzochten of specifieke gebruikersattributen (demografie, persoonlijkheid, beoordelingsstijl) voorspelden wie baat had bij domeinadaptatie.

• Bevinding: Naast een mechanisch "regressie naar het gemiddelde"-effect, voorspelde geen enkel gebruikersattribuut systematisch de winst door adaptatie. Significante effecten waren zeldzaam en beperkt tot specifieke transferrichtingen.
• Implicatie: De voordelen van marginal-alignment UDA zijn breed toegankelijk en worden niet bepaald door grove demografische of persoonlijkheids-subgroepen. Succes lijkt gedreven te worden door fijnere, intra-individuele eigenschappen (bijv. de mate van overlap in de structuur van voorkeuren tussen domeinen) in plaats van statische kenmerken.

4. Belangrijkste Bijdragen

1. XPASS-Vis Dataset: De release van de eerste dataset die expliciet is ontworpen voor cross-domein PIAA, met 129 annotatoren die 6.526 stimuli beoordelen over Art, Fashion en Landscape, met voldoende per-domein dekking (>200 samples/gebruiker) en rijke verzameling van gebruikersattributen.
2. Benchmark en Baselines: De vestiging van een nieuwe benchmark-taak voor cross-domein PIAA, inclusief een systematische evaluatie van 8 representatieve UDA-methoden en propriëtaire LLM's.
3. Empirisch Bewijs van Overdraagbaarheid: Het aantonen dat gepersonaliseerde esthetische voorkeuren overdraagbaar zijn naar visuele domeinen, waarbij regressie-bewuste feature-alignment methoden ~60% van de gesuperviseerde upper bound herstellen in volledig unsupervised settings.
4. Inzicht in Adaptatie: De bevinding dat adaptatie-winsten niet voorspelbaar zijn door standaard gebruikersattributen, wat suggereert dat toekomstige PIAA-specifieke adaptatiestrategieën zich moeten richten op het modelleren van de cross-domein voorkeurstructuur zelf, in plaats van te vertrouwen op demografische proxies.

5. Betekenis en Claims

Het artikel beweert dat XPASS-Vis een fundamentele bron biedt voor het bestuderen van cross-domein PIAA, waarmee een kritieke kloof in de bestaande literatuur wordt gedicht waar datasets ofwel single-domein waren of een tekort aan per-gebruiker dichtheid hadden. De resultaten bieden "aanmoedigend bewijs" dat esthetische voorkeuren niet volledig domeinspecifiek zijn, maar over draagbare, domein-invariante componenten beschikken.

De auteurs formuleren hun bevindingen bescheiden als een "gekwalificeerd ja" op de vraag naar overdraagbaarheid. Ze benadrukken dat hoewel huidige unsupervised methoden een aanzienlijk deel van de prestaties herstellen, er een aanzienlijke kloof blijft bestaan, met name bij het vastleggen van absolute beoordelingstendenities (CCC). Het artikel stelt dat de volgende stap voor het vakgebied de ontwikkeling is van PIAA-specifieke adaptatiestrategieën die expliciet de wisselwerking tussen gebruikersattributen en domeinverschuivingen modelleren, in plaats van te vertrouren op algemene UDA-technieken. Het werk benadrukt ook de noodzaak van toekomstig onderzoek naar cross-modale adaptatie en bredere visuele domeinen.