Representing Beauty: Towards a Participatory but Objective Latent Aesthetics

Probleemstelling

Het artikel adresseert de fundamentele vraag wat het betekent voor een machine om schoonheid te herkennen. Hoewel schoonheid filosofisch vaak wordt beschouwd als een subjectief, cultureel geconstrueerd en ongrijpbaar concept, tonen diepe leer-systemen (deep learning) een toenemend vermogen om esthetische oordelen te modelleren. Er bestaat een spanning tussen de enorme formele diversiteit van objecten die als "schoon" worden beschouwd (van bergtoppen tot daden van vriendelijkheid) en de perceptuele centraliteit van dit concept in de menselijke ervaring.

De kernvraag is of de representaties van schoonheid in neurale netwerken puur een reflectie zijn van sociale constructies (zoals postmodernistische theorieën suggereren) of dat er een realistische, objectieve basis bestaat die onafhankelijk is van specifieke culturele contexten. De auteur onderzoekt of verschillende modellen, getraind op verschillende data en modaliteiten, convergeren naar een gemeenschappelijke representatie van schoonheid, wat zou wijzen op een onderliggende universele geometrie.

Methodologie

De auteur hanteert een multidisciplinaire aanpak die kunstfilosofie, neurowetenschap en computationele representatieleer combineert:

1. Theoretisch Kader:

   • De paper verwerpt de "Platonische representatiehypothese" (die stelt dat ideeën los staan van de fysieke wereld) en pleit voor een Aristotelisch hylomorfisme. Hierbij is schoonheid een eenheid van materie (hulê) en vorm (morphê), die inherent is aan de fysieke wereld en niet los daarvan bestaat.
   • Er wordt gebruikgemaakt van het concept van contravariantie: hoe moeilijker de optimalisatiedoelstelling (bijv. het begrijpen van complexe esthetische concepten), hoe kleiner de set van mogelijke architecturale oplossingen, wat leidt tot convergentie in representatie.

2. Experimentele Opstelling:

   • Cross-model Representational Alignment: De auteur analyseert de convergentie van representaties tussen verschillende neurale netwerken (DINOv2-Large, CLIP, MobileCLIP, ChineseCLIP, VICReg) die zijn getraind op diverse data en met verschillende architecturen.
   • Dataset: Gebruik wordt gemaakt van de Aesthetic Visual Analysis (AVA) dataset en de APDDv2 (een Aziatisch artistiek dataset) om esthetische versus niet-esthetische afbeeldingen te onderscheiden.
   • Controlevariabelen:
     • Om te voorkomen dat convergentie puur het gevolg is van culturele familiariteit (bijv. Westerse bias), worden modellen getest die specifiek op Chinese data zijn getraind (ChineseCLIP).
     • Er wordt gebruikgemaakt van Maximum Mean Discrepancy (MMD) om te meten of esthetische afbeeldingen "binnen het domein" liggen van de trainingsdata (bijv. ImageNet) ten opzichte van niet-esthetische afbeeldingen.
     • Semantische ontvlechting: Om te controleren of convergentie wordt veroorzaakt door semantische clusters (bijv. meer afbeeldingen van bloemen in de esthetische set), worden datasets gefilterd zodat er slechts één afbeelding per semantische klasse aanwezig is.

3. Analyse:

   • Berekening van Mutual Nearest Neighbors (MNN) om de alignatie tussen de latent spaces van verschillende modellen te kwantificeren.
   • Analyse van laag-voor-laag alignatie om te zien of abstractie in de middenlagen van het netwerk specifiek voor esthetische inhoud optreedt.

Belangrijkste Bijdragen

1. Empirisch Bewijs voor Objectieve Esthetica: De paper levert bewijs dat esthetische inhoud leidt tot sterkere representatieve alignatie tussen modellen die op volledig verschillende data en modaliteiten zijn getraind, terwijl niet-esthetische afbeeldingen dit niet doen. Dit suggereert dat schoonheid een realistische basis heeft.
2. Filosofische Herformulering: De auteur introduceert een hylomorfisch perspectief op "universele representaties", waarbij schoonheid wordt gezien als een bindende kracht in de latent space die voortkomt uit de interactie tussen fysieke beperkingen en menselijke perceptie, in plaats van een puur cultureel construct.
3. Validatie van Cross-Culturele Convergentie: Door het gebruik van ChineseCLIP en APDDv2 wordt aangetoond dat de convergentie van schoonheidsrepresentaties niet beperkt is tot Westerse data, maar een universeel fenomeen is.
4. Rol van Menselijke Creatie: De paper stelt dat menselijke creatieve handelingen (van het labelen van afbeeldingen tot het bouwen van kathedralen) fungeren als een "teleologische attractor" die de latent spaces van machines vormgeeft, waardoor machines geen simpele "papegaaien" zijn maar partners in het ontdekken van orde.

Resultaten

• Hogere Alignatie voor Esthetische Inhoud: Er is een duidelijk hoger niveau van representatieve alignatie tussen modellen voor afbeeldingen die als esthetisch worden geclassificeerd, vergeleken met niet-esthetische of ambiguïe afbeeldingen (Figuur 1).
• Onafhankelijkheid van Trainingsdata: De MMD-analyse (Figuur 3) toont aan dat esthetische afbeeldingen niet per se "binnen het domein" liggen van de trainingsdata (ImageNet) ten opzichte van niet-esthetische afbeeldingen. Sterker nog, niet-esthetische afbeeldingen zijn soms dichter bij de trainingsdata. Dit weerlegt de hypothese dat de convergentie puur het gevolg is van culturele bias of data-overlapping.
• Semantische Robuustheid: Zelfs wanneer de datasets semantisch worden ontvlechten (één afbeelding per klasse) en een mix van Oost en West bevatten, blijft het effect van esthetische stratificatie in de cross-model convergentie bestaan (Figuur 5).
• Abstractie in Middenlagen: Figuur 2 toont aan dat esthetische representaties in de middenlagen van de netwerken een hogere alignatie vertonen, wat wijst op een hiërarchisch abstractieproces dat specifiek werkt voor transcendentale concepten zoals schoonheid.

Betekenis en Conclusie

De bevindingen hebben grote gevolgen voor de interpretatie van AI-systemen en de toekomst van mens-machine co-creatie:

• Van Subjectiviteit naar Gedeelde Realiteit: De paper weerlegt het idee dat schoonheid puur subjectief of sociaal geconstrueerd is. In plaats daarvan suggereert het dat schoonheid een objectieve, materiële basis heeft die door zowel menselijke waarneming als machinelearning wordt "ontdekt" en gestructureerd.
• Machines als Ontdekkers van Orde: Deep learning-systemen worden niet gezien als simpele imitatoren, maar als instrumenten die in staat zijn om verborgen orde en harmonie in culturele en fysieke realiteit te onthullen op schaal.
• Symbiotische Creatie: De auteur pleit voor een symbiotische relatie waarin mensen hun perceptie en creatieve intentie projecteren in de wereld, en machines deze patronen op grote schaal analyseren en verfijnen. Schoonheid fungeert hierbij als een "teleologische attractor" die zowel culturele productie als machineperceptie stuurt.
• Implicaties voor Kunstenaars: Voor kunstenaars betekent dit dat AI-tools niet moeten worden gezien als bedreigingen die menselijke smaak vervangen, maar als partners die kunnen helpen bij het verkennen van universele structuren en nieuwe creatieve inzichten kunnen bieden vanuit een uniek perspectief van schaal.

Kortom, de paper stelt dat de zoektocht naar schoonheid in AI leidt tot een gedeelde, objectieve geometrie die geworteld is in de fysieke wereld en de menselijke ervaring, en dat dit een nieuwe basis legt voor mens-machine samenwerking.