Style or Signature? Artist-Disjoint Evaluation of Style Classification in Frozen Vision Embeddings

Sintesi Tecnica: Valutazione Disgiunta per Artista della Classificazione dello Stile in Embedding Visivi Congelati

Enunciato del Problema
Gli embedding d'immagine congelati provenienti da modelli di visione pre-addestrati su larga scala, in particolare CLIP, sono sempre più utilizzati per classificare i dipinti secondo lo stile storico-artistico con un'elevata accuratezza riportata. I protocolli di valutazione standard impiegano tipicamente divisioni casuali del dataset, in cui opere dello stesso artista possono apparere sia nel set di addestramento/riferimento che nel set di test/query. Il saggio sostiene che questa metodologia confonde il riconoscimento dello stile artistico con il riconoscimento dell'identità dell'artista. Poiché gli embedding congelati codificano forti "firme neurali" di specifici artisti, un classificatore può raggiungere un'elevata accuratezza identificando il pittore piuttosto che il movimento. Di conseguenza, le metriche di accuratezza aggregata standard possono sopravvalutare la reale comprensione delle caratteristiche stilistiche da parte di un modello, mascherando l'entità di quanto la performance dipenda dalla memorizzazione dell'artista.

Metodologia
L'autore propone e implementa un protocollo di valutazione disgiunto per artista (leave-one-artist-out) per separare la classificazione dello stile dall'identità dell'artista.

• Dataset: Un dataset bilanciato di 320 dipinti appartenenti a quattro movimenti del XX secolo: Impressionismo, Cubismo, Espressionismo Astratto e Surrealismo. Il dataset include otto artisti per movimento, con dieci opere per artista.
• Protocollo: Invece della divisione casuale, la valutazione tiene da parte tutte le opere di un singolo artista come set di query, utilizzando le restanti 310 opere (degli altri 31 artisti) come pool di riferimento. Ciò garantisce che nessuna opera venga classificata utilizzando vicini creati dal proprio autore.
• Modelli: Gli esperimenti primari utilizzano CLIP ViT-B/32. Per garantire la generalità, la pipeline è replicata su altri tre encoder: CLIP ViT-L/14, il modello puramente visivo e auto-supervisionato DINOv2 ViT-B/14, e un ResNet-50 di ImageNet supervisionato.
• Metriche: Lo studio confronta l'accuratezza dello stile 5-NN (5-Nearest Neighbor) in condizioni di full-pool (divisione casuale) rispetto a quelle disgiunte per artista. Inoltre, viene introdotto un "controllo di riconoscibilità dell'artista", in cui il modello predice l'artista invece dello stile (permettendo vicini dello stesso artista) per quantificare quanto fortemente siano codificati i singoli artisti.

Risultati Chiave

1. Calo delle Performance Aggregate: Sotto il protocollo disgiunto per artista, l'accuratezza complessiva 5-NN dello stile scende da 0,87 a 0,77. Sebbene il calo aggregato appaia modesto, esso nasconde un effetto drasticamente disomogeneo tra i movimenti.
2. Varianza Specifica per Movimento:
   • Impressionismo e Cubismo: Questi movimenti mostrano un'alta robustezza, con cali di accuratezza di soli 3,8 e 5,0 punti, rispettivamente. I loro artisti sono difficili da distinguere individualmente per il modello (bassa riconoscibilità dell'artista), suggerendo che gli embedding catturino una forma visiva condivisa e genuina che sottende l'autoria individuale.
   • Surrealismo: Questo movimento mostra un crollo drammatico, con l'accuratezza che scende di 20 punti (da 0,713 a 0,513). Il modello classifica erroneamente quasi la metà delle opere tenute da parte. La fragilità è guidata da artisti specifici (ad es. Miró e Masson) il cui punteggio di stile dipendeva fortemente dalla loro riconoscibilità individuale.
   • Espressionismo Astratto: Mostra un calo intermedio (12,5 punti) ma rimane relativamente robusto (0,850), nonostante abbia la più alta riconoscibilità del singolo artista tra i gruppi.
3. Generalizzazione dell'Encoder: Il pattern si mantiene in tutti e quattro gli encoder, incluso DINOv2 (visione-only, senza linguaggio). Ciò conferma che la fragilità osservata nel Surrealismo e la robustezza nell'Impressionismo/Cubismo sono proprietà della struttura visiva catturata dagli embedding, non artefatti dell'allineamento linguaggio-testo.

Contributi Chiave

1. Protocollo Disgiunto per Artista: Il saggio introduce uno standard di valutazione leave-one-artist-out per gli embedding visivi congelati, dimostrando come questo esponga la fragilità nella classificazione dello stile che le valutazioni standard a divisione casuale nascondono.
2. Quantificazione del Divario: L'autore quantifica la discrepanza tra l'accuratezza standard e quella disgiunta per artista, mostrando che è dipendente dal movimento piuttosto che uniforme. Identificano il meccanismo tramite un controllo di riconoscibilità dell'artista, distinguendo tra genuina forma condivisa e memorizzazione dell'artista.
3. Origine Visiva vs Linguistica: Includendo un modello puramente visivo, il saggio esclude spiegazioni basate sul linguaggio per i pattern osservati, collocando l'effetto fermamente nella struttura visiva dei movimenti.

Significato e Rivendicazioni
Il saggio sostiene che la domanda "L'embedding cattura lo stile?" è mal posta perché lo stile opera diversamente tra i movimenti. Per movimenti come l'Impressionismo e il Cubismo, lo stile è definito da forme visive condivise che persistono anche quando i singoli artisti vengono rimossi. Per il Surrealismo, lo "stile" è spesso indissolubilmente legato ai linguaggi visivi idiosincratici di specifici artisti; pertanto, rimuovere l'artista rimuove il segnale dello stile.

La significatività primaria è metodologica: le valutazioni standard a divisione casuale rischiano di certificare il "riconoscimento dell'artista" come "comprensione dello stile". L'autore propone l'uso della valutazione disgiunta per artista come standard predefinito necessario per misurare la comprensione stilistica negli embedding congelati. Questo approccio trasforma una metrica aggregata fragile in un quadro interpretabile per movimento e per artista, rivelando quali movimenti possiedono una forma visiva condivisa recuperabile e quali dipendono dalla riconoscibilità di specifici pittori. Il saggio non afferma che il fine-tuning risolverebbe questi problemi, né propone nuove applicazioni, ma richiede uno standard di valutazione più rigoroso per evitare di sopravvalutare le capacità dei modelli nella storia dell'arte computazionale.