Detecting Cross-Medium Stylistic Signals in Sketches and Paintings with Pretrained Visual Encoders

Resumen Técnico: Detección de Señales Estilísticas Transmediales en Bocetos y Pinturas con Codificadores Visuales Preentrenados

Planteamiento del Problema
Este estudio aborda el desafío de la comprensión de medios visuales transmediales dentro de la historia del arte computacional. Específicamente, investiga si ciertos aspectos del estilo de un artista persisten a través de distintos tipos de medios —a saber, bocetos (dibujos) y pinturas terminadas— y si los modelos computacionales pueden detectar esta persistencia. La investigación va más allá de la simple atribución de artista (nombrar a un autor) para indagar en la relación entre la identidad artística, el medio y la forma visual. La dificultad central radica en la significativa brecha visual y material entre el boceto (a menudo rápido, exploratorio y lineal) y la pintura (que involucra diferentes materiales, ritmos temporales y efectos de superficie). La tarea se formula como un problema de verificación relacional: dado un boceto y una pintura, ¿puede un modelo determinar si comparten el mismo autor, incluso cuando el modelo no ha visto a ese artista específico durante el entrenamiento?

Metodología
Los autores construyeron un corpus controlado de 666 obras de arte digitalizadas de diez artistas históricos que abarcan cinco agrupaciones históricas amplias (Renacimiento, Barroco, Neoclásico, Impresionista y Prerrafaelita). El conjunto de datos comprende 333 bocetos y 333 pinturas.

El diseño experimental emplea un protocolo de dejar un artista fuera (LOAO, por sus siglas en inglés). En cada iteración, un verificador se entrena con nueve artistas y se prueba con el décimo artista excluido. Este diseño asegura que el rendimiento refleje la generalización a identidades no vistas en lugar de la memorización del conjunto de entrenamiento.

El estudio evalúa seis familias de características:

1. Codificadores Visuales Preentrenados (pesos congelados):
   • CLIP (ViT-B/32): Un modelo de incrustación (embedding) de lenguaje-visión.
   • DINOv2 (ViT-S/14): Un modelo de auto-supervisión puramente visual (sin supervisión de lenguaje).
   • SigLIP (ViT-B/16): Un modelo de lenguaje-visión que utiliza un objetivo de contraste sigmoideo.
2. Familias de Descriptores Artesanales:
   • Composición y Forma: Características de 1398 dimensiones que incluyen energía de bordes, HOG, curvatura de contorno y simetría.
   • Organización Tonal: Características de 69 dimensiones que incluyen cuantiles de luminancia y ocupación de sombras/luces.
   • Textura de Superficie: Características de 92 dimensiones que incluyen LBP, filtros de Gabor y energías de wavelet.

Para cada familia de características, se entrena un verificador de pares (regresión logística con ponderación de clase equilibrada) utilizando un descriptor de pares que combina similitud de coseno, distancia euclidiana, diferencia absoluta elemento a elemento y producto elemento a elemento.

La evaluación utiliza tres niveles de muestreo negativo para probar la robustez:

• Negativos No Emparejados: Emparejamientos aleatorios de bocetos y pinturas de diferentes artistas.
• Negativos Emparejados por Periodo: Emparejamientos restringidos a artistas del mismo periodo histórico.
• Negativos Difíciles (Hard Negatives): Emparejamientos donde la pintura negativa es la obra más similar visualmente realizada por un artista diferente (búsqueda de k-vecinos más cercanos).

Resultos Clave

• Codificadores Preentrenados: CLIP y SigLIP demostraron la transferencia transmedia más fuerte. En la evaluación LOAO, alcanzaron valores medios de Área Bajo la Curva (AUC) de 0.766 y 0.759, respectivamente. DINOv2 funcionó de manera más débil pero se mantuvo por encima del azar con un AUC medio de 0.612.
• Descriptores Artesanales: Ninguna de las familias artesanales (Composición, Tonal o Textura) logró un rendimiento significativamente superior al azar en el entorno LOAO (AUC entre 0.508 y 0.537).
• Robustez y Límites: Mientras que los modelos preentrenados tuvieron éxito bajo negativos no emparejados y emparejados por periodo, su rendimiento colapsó bajo condiciones de negativos difíciles. CLIP cayó a un AUC de 0.469, DINOv2 a 0.372 y SigLIP a 0.518. Esto indica que la señal detectada es estadística y a nivel de población, no lo suficientemente robusta para distinguir a un artista de impostores visualmente similares.
• Similitud de Representación: Las pruebas de correlación de la matriz de Mantel revelaron que CLIP, DINOv2 y SigLIP organizan a los artistas en geometías relacionales similares (correlaciones entre 0.45 y 0.66), lo que sugiere que la señal es reproducible a través de diferentes arquitecturas y objetivos de entrenamiento.
• Límite Superior de Conjunto Cerrado: Un análisis secundario utilizando aprendizaje de métricas de tripletas sobre las características de CLIP logró una precisión de recuperación del 100% dentro del corpus fijo, confirmando que las características contienen información suficiente para la discriminación cuando todos los artistas son conocidos, pero esto no se traduce en generalización.

Contribuciones Clave

1. Estudio Empírico Sistemático: El artículo proporciona una evaluación controlada de la verificación de artistas transmedia entre bocetos y pinturas, un entorno que es más exigente que la atribución de un solo medio.
2. Evidencia de Generalización: Demuestra que los codificadores visuales preentrenados (específicamente CLIP y SigLIP) pueden detectar señales estilísticas que persisten a través de los medios y se generalizan a artistas no vistos durante el entrenamiento. El acuerdo entre CLIP y SigLIP (a pesar de sus diferentes arquitecturas y objetivos) y el éxito de DINOv2 (basado solo en visión) sugieren que la señal no es un artefacto de un solo modelo o de la supervisión de lenguaje.
3. Identificación de Límites Metodológicos: El estudio identifica explícitamente un límite claro donde el método falla: bajo condiciones de negativos difíciles (pares de diferentes artistas visualmente similares), la señal se vuelve frágil. Esto evita que el método sea interpretado como una evidencia fiable para la autenticación.

Significado y Reivindicaciones
Los autores argumentan que la verificación transmedia no debe verse como una herramienta independiente para la asignación de autoría o la autenticación de obras de arte. En cambio, su valor reside en examinar cómo los modelos de inteligencia artificial comprenden el estilo visual.

Los hallazgos sugieren que:

• Los codificadores preentrenados capturan aspectos de la similitud artística (posiblemente involucrando composición, organización espacial o manejo de la forma) que no son recuperables mediante descriptores artesanales estándar de composición, tono o textura.
• Estas señales son inestables bajo comparaciones visuales difíciles, lo que resalta la brecha entre las representaciones computacionales actuales y los requisitos matizados de la autenticación en la historia del arte.
• El estudio contribuye a los debates sobre la interpretabilidad, la fiabilidad y la evaluación de las representaciones visuales para medios culturales complejos, enfatizando que, si bien los sistemas computacionales pueden identificar regularidades, sus resultados deben interpretarse con cautela respecto a sus límites de evidencia.

El artículo concluye que, aunque los codificadores preentrenados codifican señales transmedia persistentes, estas codificaciones siguen siendo opacas y dependientes del diseño del corpus. El trabajo futuro requiere conjuntos de datos más diversos y un modelado más interpretable antes de que tales métodos puedan desempeñar un papel más sólido en la investigación de la procedencia.