Detecting Cross-Medium Stylistic Signals in Sketches and Paintings with Pretrained Visual Encoders

Technische Samenvatting: Detectie van Cross-Medium Stijlkenmerken in Schetsen en Schilderijen met Pretrained Visuele Encoders

Probleemstelling
Deze studie behandelt de uitdaging van visueel begrip over verschillende media heen binnen de computationele kunstgeschiedenis. Specifiek wordt onderzocht of aspecten van de visuele stijl van een kunstenaar standhouden over verschillende mediatipe heen—namelijk schetsen (tekeningen) en afgewerkte schilderijen—en of computationele modellen deze persistentie kunnen detecteren. Het onderzoek gaat verder dan eenvoudige kunstenaarsattributie (het benoemen van een maker) om de relatie tussen artistieke identiteit, medium en visuele vorm te onderzoeken. De kernmoeilijkheid ligt in de aanzienlijke visuele en materiële kloof tussen schetsen (vaak snel, verkennend en lineair) en schilderijen (waarbij andere materialen, temporele ritmes en oppervlakte-effecten betrokken zijn). De taak wordt geformuleerd als een relationeel verificatieprobleem: gegeven een schets en een schilderij, kan een model bepalen of ze dezelfde auteur delen, zelfs wanneer het model die specifieke kunstenaar niet tijdens de training heeft gezien?

Methodologie
De auteurs hebben een gecontroleerde corpus samengesteld van 666 gedigitaliseerde kunstwerken van tien historische kunstenaars, verdeeld over vijf brede historische groeperingen (Renaissance, Barok, Neoclassicisme, Impressionisme en Pre-Rafaëlitisch). De dataset bestaat uit 333 schetsen en 333 schilderijen.

Het experimentele ontwerp maakt gebruik van een leave-one-artist-out (LOAO) protocol. In elke fold wordt een verifier getraind op negen kunstenaars en getest op de tiende, buitengesloten kunstenaar. Dit ontwerp zorgt ervoor dat de prestaties de generalisatie naar onbekende identiteiten reflecteren in plaats van het memoriseren van de trainingsset.

De studie evalueert zes featurefamilies:

1. Pretrained Visuele Encoders (bevroren gewichten):
   • CLIP (ViT-B/32): Een vision-language model embedding.
   • DINOv2 (ViT-S/14): Een vision-only zelfgesuperviseerd model (geen taalsupervisie).
   • SigLIP (ViT-B/16): Een vision-language model dat een sigmoid contrastieve objectief gebruikt.
2. Handgemaakte Descriptor Families:
   • Compositie en Vorm: 1398-dimensionale features inclusief randenergie, HOG, contourenkromming en symmetrie.
   • Tonale Organisatie: 69-dimensionale features inclusief luminantie-kwantielen en bezetting van schaduw/hooglichten.
   • Oppervlaktestructuur: 92-dimensionale features inclusief LBP, Gabor-filters en wavelet-energieën.

Voor elke featurefamily wordt een pairwise verifier (logistische regressie met gebalanceerde klassengewichten) getraind op een paar descriptor dat cosinus-gelijkenis, Euclidische afstand, elementgewijze absolute verschil en elementgewijze product combineert.

Evaluatie maakt gebruik van drie negatieve sampling-niveaus om robuustheid te testen:

• Niet-overeenkomende Negatieven: Willekeurige koppelingen van schetsen en schilderijen door verschillende kunstenaars.
• Periode-gematchte Negatieven: Koppelingen beperkt tot kunstenaars uit dezelfde historische periode.
• Hard Negatieven: Koppelingen waarbij het negatieve schilderij het visueel meest gelijkaardige werk is van een andere kunstenaar (nearest-neighbor search).

Belangrijkste Resultaten

• Pretrained Encoders: CLIP en SigLIP vertoonden de sterkste cross-medium transfer. In de LOAO-evaluatie behaalden zij respectievelijk gemiddelde AUC-waarden van 0,766 en 0,759. DINOv2 presteerde zwakker maar bleef boven toeval met een gemiddelde AUC van 0,612.
• Handgemaakte Descriptors: Geen van de handgemaakte families (Compositie, Tonaal, Textuur) behaalde prestaties die significant boven toeval uitkwamen in de LOAO-setting (AUC's variërend van 0,508 tot 0,537).
• Robuustheid en Limieten: Hoewel de pretrained modellen succesvol waren onder niet-overeenkomende en periode-gematchte negatieven, stortte de prestatie in onder harde negatieve condities. CLIP daalde naar een AUC van 0,469, DINOv2 naar 0,372 en SigLIP naar 0,518. Dit geeft aan dat het gedetecteerde signaal statistisch en op populatieniveau is, en niet robuust genoeg om een kunstenaar te onderscheiden van visueel gelijkaardige impostors.
• Representatieve Gelijkenis: Mantel matrix correlatietests toonden aan dat CLIP, DINOv2 en SigLIP kunstenaars organiseren in vergelijkbare relationele geometrieën (correlaties tussen 0,45 en 0,66), wat suggereert dat het signaal reproduceerbaar is over verschillende architecturen en trainingsdoelstellingen.
• Closed-Set Upper Bound: Een secundaire analyse met triplet metric learning op CLIP-features bereikte 100% retrieval-accuratesse binnen de vaste corpus, wat bevestigt dat de features voldoende informatie bevatten voor discriminatie wanneer alle kunstenaars bekend zijn, maar dit vertaalt zich niet naar generalisatie.

Kernbijdragen

1. Systematische Empirische Studie: Het artikel biedt een gecontroleerde evaluatie van cross-medium kunstenaarsverificatie tussen schetsen en schilderijen, een setting die veeleisender is dan single-medium attributie.
2. Bewijs van Generalisatie: Het demonstreert dat pretrained visuele encoders (specifiek CLIP en SigLIP) aspecten van artistieke gelijkenis kunnen detecteren die standhouden over verschillende media en generaliseren naar kunstenaars die niet tijdens de training zijn gezien. De overeenkomst tussen CLIP en SigLIP (ondanks verschillende architecturen en doelstellingen) en het succes van de vision-only DINOv2 suggereren dat het signaal geen artefact is van een enkele model of taalsupervisie.
3. Identificatie van Methodologische Limieten: De studie identificeert expliciet een duidelijke grens waar de methode faalt: onder harde negatieve condities (visueel gelijkaardige paren van verschillende kunstenaars) wordt het signaal fragiel. Dit voorkomt dat de methode kan worden geïnterpreteerd als een betrouwbaar bewijs voor authenticatie.

Betekenis en Claims
De auteurs stellen dat cross-medium verificatie niet moet worden beschouwd als een op zichzelf staand hulpmiddel voor het toeschrijven van auteurschap of het authenticeren van kunstwerken. In plaats daarvan ligt de waarde in het onderzoeken van hoe kunstmatige intelligentie modellen visuele stijl begrijpen.

De bevindingen suggereren dat:

• Pretrained encoders aspecten van artistieke gelijkenis vastleggen (mogelijk betrokken bij compositie, ruimtelijke organisatie of de behandeling van vorm) die niet herstelbaar zijn door standaard handgemaakte descriptors van compositie, toon of textuur.
• Deze signalen instabiel zijn onder moeilijke visuele vergelijkingen, wat de kloof benadrukt tussen huidige computationele representaties en de genuanceerde vereisten van kunsthistorische authenticatie.
• De studie draagt bij aan debatten over de interpreteerbaarheid, betrouwbaarheid en evaluatie van visuele representaties voor complexe culturele media, waarbij wordt benadrukt dat hoewel computationele systemen regelmatigheden kunnen identificeren, hun outputs met voorzichtigheid moeten worden geïnterpreteerd met betrekking tot hun bewijskracht.

Het artikel concludeert dat hoewel pretrained encoders persistente cross-medium signalen coderen, deze encodings opaak en afhankelijk blijven van de corpusontwerp. Toekomstig werk vereist meer diverse datasets en interpreteerbare modellering voordat dergelijke methoden een sterkere rol kunnen spelen in provenance-onderzoek.