Detecting Cross-Medium Stylistic Signals in Sketches and Paintings with Pretrained Visual Encoders

Sintesi Tecnica: Rilevamento di Segnali Stilistici Cross-Medium in Schizzi e Pitture con Encoder Visivi Pre-addestrati

Definizione del Problema
Questo studio affronta la sfida della comprensione visiva cross-medium (tra diversi media) all'interno della storia dell'arte computazionale. Nello specifico, investiga se alcuni aspetti dello stile di un artista persistano attraverso tipi di media distinti — ovvero, schizzi (disegni) e pitture finite — e se i modelli computazionali siano in grado di rilevarne la persistenza. La ricerca va oltre la semplice attribuzione dell'artista (nominare un autore) per indagare la relazione tra identità artistica, medium e forma visiva. La difficoltà principale risiede nel significativo divario visivo e materiale tra lo schizzo (spesso rapido, esplorativo e lineare) e la pittura (che coinvolge materiali diversi, ritmi temporali e effetti superficiali). Il compito è formulato come un problema di verifica relazionale: dato uno schizzo e una pittura, un modello può determinare se condividono lo stesso autore, anche quando il modello non ha visto quell'artista specifico durante l'addestramento?

Metodologia
Gli autori hanno costruito un corpus controllato di 666 opere d'arte digitalizzate di dieci artisti storici suddivisi in cinque ampi raggruppamenti storici (Rinascimento, Barocco, Neoclassicismo, Impressionismo e Preraffaellismo). Il dataset comprende 333 schizzi e 333 pitture.

Il design sperimentale impiega un protocollo leave-one-artist-out (LOAO). In ogni fold, un verificatore viene addestrato su nove artisti e testato sul decimo artista escluso. Questo design assicura che le prestazioni riflettano la generalizzazione a identità non viste piuttosto che la memorizzazione del set di addestramento.

Lo studio valuta sei famiglie di feature:

1. Encoder Visivi Pre-addestrati (pesi congelati):
   • CLIP (ViT-B/32): Un embedding di un modello visione-linguaggio.
   • DINOv2 (ViT-S/14): Un modello di sola visione auto-supervisionato (senza supervisione linguistica).
   • SigLIP (ViT-B/16): Un modello visione-linguaggio che utilizza un obiettivo contrastivo sigmoidale.
2. Famiglie di Descrittori Handcrafted (artigianali):
   • Composizione e Forma: Feature a 1398 dimensioni che includono energia dei bordi, HOG, curvatura del contorno e simmetria.
   • Organizzazione Tonale: Feature a 69 dimensioni che includono quantili di luminanza e occupazione di ombre/luci.
   • Texture Superficiale: Feature a 92 dimensioni che includono LBP, filtri di Gabor ed energie wavelet.

Per ogni famiglia di feature, un verificatore a coppie (regressione logistica con pesatura delle classi bilanciata) viene addestrato su un descrittore di coppia che combina similarità del coseno, distanza euclidea, differenza assoluta elemento per elemento e prodotto elemento per elemento.

La valutazione utilizza tre livelli di campionamento negativo per testare la robustezza:

• Negativi Non Corrispondenti (Unmatched Negatives): Accoppiamenti casuali di schizzi e pitture di artisti diversi.
• Negativi Corrispondenti per Periodo (Period-Matched Negatives): Accoppiamenti limitati ad artisti dello stesso periodo storico.
• Negativi Difficili (Hard Negatives): Accoppiamenti in cui la pittura negativa è l'opera visivamente più simile prodotta da un artista diverso (ricerca del vicino più prossimo).

Risultati Chiave

• Encoder Pre-addestrati: CLIP e SigLIP hanno dimostrato il più forte trasferimento cross-medium. Nella valutazione LOAO, hanno raggiunto valori medi di Area Under the Curve (AUC) di 0,766 e 0,759, rispettivamente. DINOv2 ha performato più debolmente ma è rimasto sopra il caso con un AUC medio di 0,612.
• Descrittori Handcrafted: Nessuna delle famiglie di descrittori handcrafted (Composizione, Tono, Texture) ha raggiunto una performance significativamente superiore al caso nella configurazione LOAO (AUC compresi tra 0,508 e 0,537).
• Robustezza e Limiti: Mentre i modelli pre-addestrati hanno avuto successo con negativi non corrispondenti e corrispondenti per periodo, le performance sono crollate nelle condizioni di negativi difficili (hard negatives). CLIP è sceso a un AUC di 0,469, DINOv2 a 0,372 e SigLIP a 0,518. Ciò indica che il segnale rilevato è statistico e a livello di popolazione, non abbastanza robusto da distinguere un artista da impostori visivamente simili.
• Similarità Rappresentazionale: I test di correlazione della matrice di Mantel hanno rivelato che CLIP, DINOv2 e SigLIP organizzano gli artisti in geometrie relazionali simili (correlazioni tra 0,45 e 0,66), suggerendo che il segnale è riproducibile attraverso diverse architetture e obiettivi di addestramento.
• Limite Superiore a Set Chiuso (Closed-Set Upper Bound): Un'analisi secondaria utilizzando l'apprendimento metrico a triplette sulle feature di CLIP ha ottenuto un'accuratezza di recupero del 100% all'interno del corpus fisso, confermando che le feature contengono informazioni sufficienti per la discriminazione quando tutti gli artisti sono noti, ma ciò non si traduce in generalizzazione.

Contributi Chiave

1. Studio Empirico Sistematico: Il documento fornisce una valutazione controllata della verifica cross-medium tra schizzi e pitture, un setting più impegnativo rispetto all'attribuzione a singolo medium.
2. Evidenza di Generalizzazione: Dimostra che gli encoder visivi pre-addestrati (specificamente CLIP e SigLIP) possono rilevare segnali stilistici che persistono attraverso i media e si generalizzano ad artisti non visti durante l'addestramento. L'accordo tra CLIP e SigLIP (nonostante diverse architetture e obiettivi) e il successo di DINOv2 (solo visione) suggeriscono che il segnale non è un artefatto di un singolo modello o della supervisione linguistica.
3. Identificazione dei Limiti Metodologici: Lo studio identifica esplicitamente un confine chiaro dove il metodo fallisce: nelle condizioni di negativi difficili (coppie di artisti diversi visivamente simili), il segnale diventa fragile. Questo impedisce al metodo di essere interpretato come una prova affidabile per l'autenticazione.

Significato e Rivendicazioni
Gli autori sostengono che la verifica cross-medium non debba essere vista come uno strumento autonomo per l'assegnazione dell'autoria o l'autenticazione delle opere d'arte. Invece, il suo valore risiede nell'esaminare come l'intelligenza artificiale percepisce lo stile visivo.

I risultati suggeriscono che:

• Gli encoder pre-addestrati catturano aspetti della somiglianza artistica (potenzialmente coinvolgendo composizione, organizzazione spaziale o gestione della forma) che non sono recuperabili dai descrittori standard handcrafted di composizione, tono o texture.
• Tali segnali sono instabili sotto confronti visivi difficili, evidenziando il divario tra le attuali rappresentazioni computazionali e i requisiti sfumati dell'autenticazione storico-artistica.
• Lo studio contribuisce ai dibattiti sulla interpretabilità, l'affidabilità e la valutazione delle rappresentazioni visive per i complessi media culturali, sottolineando che, sebbene i sistemi computazionali possano identificare regolarità, i loro output devono essere interpretati con cautela riguardo ai loro limiti evidenti.

Il documento conclude che, sebbene gli encoder pre-addestrati codifichino segnali cross-medium persistenti, tali codifiche rimangono opache e dipendenti dal design del corpus. Il lavoro futuro richiede dataset più diversificati e una modellazione più interpretabile prima che tali metodi possano giocare un ruolo più forte nella ricerca sulla provenienza.