Visual Distances among Cultural Art Corpora Align with Expert-Coded Historical-Artistic Relatedness

De kunstgeschiedenis heeft lang vertrouwd op het getrainde oog van geleerden om de onzichtbare draden te traceren die culturen door tijd en ruimte heen verbinden. Experts hebben eeuwenlang gedocumenteerd hoe een stijl van draperie van Griekenland naar India zou kunnen reizen, of hoe het concept van een piramide onafhankelijk in Egypte en de Amerika's zou kunnen ontstaan. Deze connecties zijn niet altijd voor de hand liggend; ze liggen vaak begraven onder duizenden jaren van verandering, verborgen in de subtiele details van ornament, vorm en materiaal. Voor een mens vereist het herkennen van deze diepe historische links jarenl air studie en toegang tot enorme bibliotheken met records. Maar wat als een machine, getraind op de volledige visuele geschiedenis van het internet, deze zelfde verbindingen zou kunnen zien zonder ooit een geschiedenislboek te hebben gelezen? Deze vraag bevindt zich op het snijvlak van kunstmatige intelligentie en cultuurwetenschappen, en vraagt of de wiskundige patronen die verborgen liggen in computer vision-systemen toevallig de manier weerspiegelen waarop menselijke experts de evolutie van kunst begrijpen.

Een team van onderzoekers zette zich uit om dit idee op wereldwijde schaal te testen, waarbij ze verder gingen dan de gebruikelijke focus op de Westerse kunst door tradities van vijf continenten te omvatten die vijfduizend jaar beslaan. Ze verzamelden een enorme collectie afbeeldingen die vijftig verschillende culturele eenheden vertegenwoordigen, variërend van het oude Middellandse Zeegebied tot inheemse Oceanische lineages. Om een betrouwbare standaard voor vergelijking te creëren, rekruteerden ze tien blinde experts — specialisten in kunstgeschiedenis, archeologie en museumstudies — om te beoordelen hoe nauw verwant elke mogelijke combinatie van deze culturele groepen was. De experts keken niet naar eenvoudige visuele gelijkenis, zoals twee schilderijen die beide de kleur blauw gebruiken. In plaats daarvan werd hen gevraagd om historische verwantschap te beoordelen op basis van gedocumenteerd bewijs van cultureel contact en gedeelde visuele tradities. Het resultaat was een gedetailleerde kaart van menselijk oordeel, een consensus over welke culturen historisch verbonden zijn en welke niet, reikend over meer dan drieduisend dertig vergelijkingen.

De onderzoekers richtten zich vervolgens op zes verschillende grote visiemodellen, het soort kunstmatige intelligentiesystemen dat vandaag de dag beeldherkennings- en generatietools aandrijft. Deze modellen waren getraind op miljarden afbeeldingen van het internet, waarbij ze leerden om visuele informatie te comprimeren in wiskundige ruimtes waar vergelijkbare afbeeldingen dicht bij elkaar liggen en verschillende afbeeldingen ver van elkaar verwijderd zijn. Het team mat de afstand tussen de drieë vijftig culturele groepen binnen deze digitale ruimtes. Als de machines niets over kunstgeschiedenis hadden geleerd, zouden de afstanden tussen deze groepen willekeurig zijn. Als ze echter hadden geleerd om menselijke experts na te bootsen, zouden de groepen die door de experts als historisch verbonden werden beschouwd, dichter bij elkaar moeten staan in de geest van de machine.

De bevindingen onthulden een opmerkelijke afstemming. Over alle zes de verschillende soorten geteste kunstmatige intelligentiemodellen heen, kwam de wiskundige afstand tussen culturele groepen consistent overeen met de oordelen van de menselijke experts. Wanneer experts zeiden dat twee tradities historisch verbonden waren, plaatsten de modellen hen dichter bij elkaar. Wanneer zij ze als ongerelateerd beschouwden, plaatsten de modellen hen verder uit elkaar. Dit patroon bleef standhouden, zelfs toen de onderzoekers controleerden voor geografie, om te garanderen dat de connectie niet simpelweg voortkwam uit het feit dat twee culturen toevallig in de buurt van elkaar leefden. Het signaal was sterk genoeg om zelfs gedetecteerd te worden tussen culturen die gescheiden werden door uitgestrekte oceanen, zoals de oude Griekse traditie en de boeddhistische kunst van Gandhara, een klassiek voorbeeld van krusculturele invloed die duizenden kilometers aflegde.

De studie beweerde niet dat deze machines een bewust begrip van de geschiedenis bezitten of dat ze menselijke wetenschappers kunnen vervangen. De onderzoekers merkten zorgvuldig op dat de patronen die de modellen vonden waarschijnlijk de statistische regelmatigheden reflecteren die aanwezig zijn in de afbeeldingen waarop ze zijn getraind, die op hun beurt weer gevormd zijn door de manier waarop musea en archieven kunst eeuwenlang hebben verzameld en gecategoriseerd. De modellen leerden geen kunstgeschiedenis in een klaslokaal; ze leerden de visuele vingerafdrukken van cultureel contact omdat die vingerafdrukken verankerd zijn in de data die ze consumeerden. Echter, het feit dat zes verschillende architecturen, getraind met verschillende doelen, allemaal tot dezelfde conclusie kwamen, suggereert dat het visuele bewijs van culturele transmissie robuust en detecteerbaar is. Het geeft aan dat de visuele registratie op internetschaal, ondanks de vooroordelen en hiaten, een coherente structuur bevat die de relaties weerspiegelt die door eeuwen van menselijke wetenschap zijn gedocumenteerd.

Om er zeker van te zijn dat de resultaten geen artefact waren van de specifiek gekozen afbeeldingen, voerde het team ook een perceptuele controle uit met vierduizend vijfhonderd deelnemers uit twaalf verschillende landen. Ze vroegen gewone mensen, zonder training in kunstgeschiedenis, om onderscheid te maken tussen brede categorieën van visuele stijlen. De deelnemers waren in staat de categorieën van elkaar te onderscheiden, wat bevestigde dat de visuele verschillen die in de studie werden gebruikt, echt en waarneembaar waren voor het menselijk oog. Dit voegde een laag van validatie toe, waarmee werd aangetoond dat de patronen die de machines vonden niet slechts wiskundige eigenaardigheden waren, maar overeenkwamen met iets dat visueel onderscheidend was in de echte wereld.

Het onderzoek benadrukte ook de beperkingen van de data zelf. De manier waarop de drieë vijftig culturele eenheden werden gedefinieerd, weerspiegelde de ongelijke geschiedenis van de kunstgeschiedenis als discipline, waarbij Europese tradities in veel fijnere categorieën werden onderverdeeld, terwijl andere regio's, zoals delen van Afrika en de Amerika's, in bredere, minder gedetailleerde eenheden werden gegroepeerd. De onderzoekers erkenden dat deze structurele bias in de data de resultaten waarschijnlijk heeft beïnvloed, en zij riepen op tot toekomstig werk waarbij inheemse en niet-Westerse samenwerkingspartners betrokken worden om meer evenwichtige kaders te creëren. Desalniettemin bleef de kernbevinding stabiel: de visuele afstanden berekend door deze krachtige systemen van kunstmatige intelligentie stemmen significant overeen met de door experts gecodeerde historische verwantschap.

Dit werk biedt een nieuwe manier om naar de wereldwijde geschiedenis van de kunst te kijken. Het suggereert dat de enorme, chaotische collectie afbeeldingen op het internet, wanneer verwerkt door moderne kunstmatige intelligentie, dezelfde diepe structurele verbindingen kan onthullen die menselijke experts eeuwenlang hebben blootgelegd. Het vervangt niet de noodzaak voor menselijke interpretatie of de zorgvuldige studie van historische records, maar het biedt een krachtig instrument om patronen op schalen te zien die moeilijk met de hand in kaart te brengen zijn. De studie bevestigt dat de visuele taal van de menselijke cultuur, met al haar migraties, uitwisselingen en onafhankelijke uitvindingen, een statistische signatuur achterlaat die zelfs een machine, getraind op het internet, kan leren lezen.