Detecting Cross-Medium Stylistic Signals in Sketches and Paintings with Pretrained Visual Encoders

Resumo Técnico: Detecção de Sinais Estilísticos Transmídia em Esboços e Pinturas com Codificadores Visuais Pré-treinados

Definição do Problema
Este estudo aborda o desafio da compreensão de mídia visual trans-mídia dentro da história da arte computacional. Especificamente, investiga se aspectos do estilo de um artista persistem através de distintos tipos de mídia — nomeadamente, esboços (desenhos) e pinturas finalizadas — e se modelos computacionais podem detectar essa persistência. A pesquisa vai além da simples atribuição de artista (nomear um autor) para investigar a relação entre identidade artística, mídia e forma visual. A dificuldade central reside na lacuna visual e material significativa entre os esboços (frequentamente rápidos, exploratórios e lineares) e as pinturas (envolvendo materiais diferentes, ritmos temporais e efeitos de superfície). A tarefa é formulada como um problema de verificação relacional: dado um esboço e uma pintura, pode um modelo determinar se eles compartilham o mesmo autor, mesmo quando o modelo não viu esse artista específico durante o treinamento?

Metodologia
Os autores construíram um corpus controlado de 666 obras de arte digitalizadas de dez artistas históricos abrangendo cinco amplos agrupamentos históricos (Renascimento, Barroco, Neoclássico, Impressionista e Pré-Rafaelita). O conjunto de dados compreende 333 esboços e 333 pinturas.

O design experimental emprega um protocolo de deixar um artista de fora (LOAO - leave-one-artist-out). Em cada dobra (fold), um verificador é treinado em nove artistas e testado no décimo artista retido. Este design garante que o desempenho reflita a generalização para identidades não vistas, em vez da memorização do conjunto de treinamento.

O estudo avalia seis famílias de características:

1. Codificadores Visuais Pré-treinados (pesos congelados):
   • CLIP (ViT-B/32): Um embedding de modelo de linguagem-visão.
   • DINOv2 (ViT-S/14): Um modelo auto-supervisionado apenas de visão (sem supervisão de linguagem).
   • SigLIP (ViT-B/16): Um modelo de linguagem-visão que utiliza um objetivo contrastivo sigmoide.
2. Famílias de Descritores Artesanais (Handcrafted):
   • Composição e Forma: Características de 1398 dimensões incluindo energia de borda, HOG, curvatura de contorno e simetria.
   • Organização Tonal: Características de 69 dimensões incluindo quantis de luminância e ocupação de sombras/luzes.
   • Textura de Superfície: Características de 92 dimensões incluindo LBP, filtros de Gabor e energias de wavelet.

Para cada família de características, um verificador de pares (regressão logística com ponderação de classe balanceada) é treinado em um descritor de par combinando similaridade de cosseno, distância euclidiana, diferença absoluta elemento a elemento e produto elemento a elemento.

A avaliação utiliza três níveis de amostragem negativa para testar a robustez:

• Negativos Não Correspondentes: Pareamentos aleatórios de esboços e pinturas de artistas diferentes.
• Negativos Correspondentes ao Período: Pareamentos restritos a artistas do mesmo período histórico.
• Negativos Difíceis (Hard Negatives): Pareamentos onde a pintura negativa é a obra visualmente mais semelhante de um artista diferente (busca de vizinho mais próximo).

Principais Resultados

• Codificadores Pré-treinados: CLIP e SigLIP demonstraram a transferência trans-mídia mais forte. Na avaliação LOAO, alcançaram valores médios de Área Sob a Curva (AUC) de 0,766 e 0,759, respectivamente. O DINOv2 apresentou um desempenho mais fraco, mas permaneceu acima do acaso com um AUC médio de 0,612.
• Descritores Artesanais: Nenhuma das famílias artesanais (Composição, Tonal, Textura) alcançou desempenho significativamente acima do acaso na configuração LOAO (AUCs variando de 0,508 a 0,537).
• Robustez e Limites: Embora os modelos pré-treinados tenham tido sucesso sob negativos não correspondentes e correspondentes ao período, o desempenho colapsou sob condições de negativos difíceis. O CLIP caiu para um AUC de 0,469, o DINOv2 para 0,372 e o SigLIP para 0,518. Isso indica que o sinal detectado é estatístico e de nível populacional, não sendo robusto o suficiente para distinguir um artista de impostores visualmente semelhantes.
• Similaridade Representacional: Testes de correlação da matriz de Mantel revelaram que CLIP, DINOv2 e SigLIP organizam os artistas em geometrias relacionais semelhantes (correlações entre 0,45 e 0,66), sugerindo que o sinal é reproduzível através de diferentes arquiteturas e objetivos de treinamento.
• Limite Superior de Conjunto Fechado: Uma análise secundária usando aprendizado métrico de tripletos nas características do CLIP alcançou 100% de precisão de recuperação dentro do corpus fixo, confirmando que as características contêm informação suficiente para discriminação quando todos os artistas são conhecidos, mas isso não se traduz em generalização.

Principais Contribuições

1. Estudo Empírico Sistemático: O artigo fornece uma avaliação controlada da verificação de artista trans-mídia entre esboços e pinturas, um cenário mais exigente do que a atribuição de mídia única.
2. Evidência de Generalização: Demonstra que codificadores visuais pré-treinados (especificamente CLIP e SigLIP) podem detectar sinais estilísticos que persistem através das mídias e se generalizam para artistas não vistos durante o treinamento. O acordo entre CLIP e SigLIP (apesar de diferentes arquiteturas e objetivos) e o sucesso do DINOv2 (apenas de visão) sugerem que o sinal não é um artefato de um único modelo ou de supervisão de linguagem.
3. Identificação de Limites Metodológicos: O estudo identifica explicitamente um limite claro onde o método falha: sob condições de negativos difíceis (pares de artistas diferentes visualmente semelhantes), o sinal torna-se frág-il. Isso impede que o método seja interpretado como evidência confiável para autenticação.

Significância e Alegações
Os autores argumentam que a verificação trans-mídia não deve ser vista como uma ferramenta isolada para atribuir autoria ou autenticar obras de arte. Em vez disso, seu valor reside em examinar como os modelos de inteligência artificial percebem o estilo visual.

As descobertas sugerem que:

• Codificadores pré-treinados capturam aspectos da similaridade artística (potencialmente envolvendo composição, organização espacial ou tratamento da forma) que não são recuperáveis por descritores artesanais padrão de composição, tom ou textura.
• Esses sinais são instáveis sob comparações visuais difíceis, destacando a lacuna entre as representações computacionais atuais e os requisitos matizados da autenticação da história da arte.
• O estudo contribui para os debates sobre a interpretabilidade, confiabilidade e avaliação de representações visuais para mídias culturais complexas, enfatizando que, embora os sistemas computacionais possam identificar regularidades, seus resultados devem ser interpretados com cautela quanto aos seus limites de evidência.

O artigo conclui que, embora os codificadores pré-treinados codifiquem sinais trans-mídia persistentes, essas codificações permanecem opacas e dependentes do design do corpus. Trabalhos futuros exigem conjuntos de dados mais diversos e modelagem interpretável antes que tais métodos possam desempenhar um papel mais forte na pesquisa de proveniência.