Style or Signature? Artist-Disjoint Evaluation of Style Classification in Frozen Vision Embeddings

Resumen Técnico: Evaluación de Disjunto de Artistas en la Clasificación de Estilo en Embeddings de Visión Congelados

Planteamiento del Problema
Los embeddings de imagen congelados de modelos de visión preentrenados a gran escala, particularmente CLIP, se utilizan cada vez más para clasificar pinturas por estilo histórico-artístico con una alta precisión reportada. Los protocolos de evaluación estándar suelen emplear divisiones aleatorias del conjunto de datos, donde obras del mismo artista pueden aparecer tanto en el conjunto de entrenamiento/referencia como en el de prueba/consulta. El artículo sostiene que esta metodología confunde el reconocimiento del estilo artístico con el reconocimiento de la identidad del artista individual. Dado que los embeddings congelados codifican "firmas neurales" fuertes de artistas específicos, un clasificador puede lograr una alta precisión identificando al pintor en lugar del movimiento. En consecuencia, las métricas de precisión agregada estándar pueden sobreestimar la comprensión genuina de un modelo sobre las características estilísticas, ocultando la medida en que el rendimiento depende de la memorización del artista.

Metodología
El autor propone e implementa un protocolo de evaluación de disjunto de artistas (dejar un artista fuera) para desacoplar la clasificación de estilo de la identidad del artista.

• Conjunto de Datos: Un conjunto de datos equilibrado de 320 pinturas que abarcan cuatro movimientos del siglo XX: Impresionismo, Cubismo, Expresionismo Abstracto y Surrealismo. El conjunto incluye ocho artistas por movimiento, con diez obras por artista.
• Protocolo: En lugar de divisiones aleatorias, la evaluación retiene todas las obras de un solo artista como el conjunto de consulta, mientras utiliza las 310 obras restantes (de los otros 31 artistas) como el grupo de referencia. Esto asegura que ninguna obra sea clasificada utilizando vecinos creados por su propio pintor.
• Modelos: Los experimentos principales utilizan CLIP ViT-B/32. Para asegurar la generalidad, el pipeline se replica en tres codificadores adicionales: CLIP ViT-L/14, el modelo de visión pura autosupervisado DINOv2 ViT-B/14, y un ResNet-50 de ImageNet supervisado.
• Métricas: El estudio compara la precisión de estilo de 5-Vecinos Más Cercanos (5-NN) bajo condiciones de grupo completo (división aleatoria) frente a condiciones de disjunto de artista. Además, se introduce un "control de reconocibilidad del artista", donde el modelo predice el artista en lugar del estilo (permitiendo vecinos del mismo artista) para cuantificar qué tan fuertemente se codifican los artistas individuales.

Resultados Clave

1. Caída del Rendimiento Agregado: Bajo el protocolo de disjunto de artista, la precisión de 5-NN de estilo agregada cae de 0.87 a 0.77. Aunque la caída agregada parece modesta, oculta un efecto marcadamente desigual entre los movimientos.
2. Varianza Específica por Movimiento:
   • Impresionismo y Cubismo: Estos movimientos muestran una alta robustez, con caídas de precisión de solo 3.8 y 5.0 puntos, respectivamente. Sus artistas son difíciles de distinguir individualmente para el modelo (baja reconocibilidad del artista), lo que sugiere que los embeddings capturan una forma visual compartida genuina que subsume la autoría individual.
   • Surrealismo: Este movimiento exhibe un colapso dramático, con una caída de 20 puntos (de 0.713 a 0.513). El modelo clasifica erróneamente casi la mitad de las obras retenidas. La fragilidad es impulsada por artistas específicos (ej. Miró y Masson) cuyos puntajes de estilo dependían fuertemente de su reconocibilidad individual.
   • Expresionismo Abstracto: Muestra una caída intermedia (12.5 puntos) pero permanece relativamente robusto (0.850), a pesar de tener la mayor reconocibilidad de artista individual entre los grupos.
3. Generalización del Codificador: El patrón se mantiene en los cuatro codificadores, incluyendo DINOv2 (visión pura, sin lenguaje). Esto confirma que la fragilidad observada en el Surrealismo y la robustez en el Impresionismo/Cubismo son propiedades de la estructura visual capturada por los embeddings, no artefactos de la alineación lenguaje-texto.

Contribuciones Clave

1. Protocolo de Disjunto de Artista: El artículo introduce un estándar de evaluación de dejar un artista fuera para los embeddings de visión congelados, demostrando que expone la fragilidad en la clasificación de estilo que las evaluaciones estándar de división aleatoria ocultan.
2. Cuantificación de la Brecha: El autor cuantifica la discrepancia entre la precisión estándar y la de disjunto de artista, mostrando que es dependiente del movimiento y no uniforme. Identifican el mecanismo mediante un control de reconocibilidad de artista, distinguiendo entre la forma compartida genuina y la memorización del artista.
3. Origen Visual vs. Lingüístico: Al incluir un modelo de visión pura, el artículo descarta explicaciones basadas en el lenguaje para los patrones observados, situando el efecto firmemente en la estructura visual de los movimientos.

Significancia y Reivindicaciones
El artículo argumenta que la pregunta "¿Captura el embedding el estilo?" está mal planteada porque el estilo opera de manera diferente entre los movimientos. Para movimientos como el Impresionismo y el Cubismo, el estilo se define por formas visuales compartidas que persisten incluso cuando se eliminan los artistas individuales. Para el Surrealismo, el "estilo" suele estar inextricablemente ligado a los lenguajes visuales idiosincrásicos de artistas específicos; por lo tanto, eliminar al artista elimina la señal del estilo.

La principal significancia es metodológica: las evaluaciones estándar de división aleatoria corren el riesgo de certificar el "reconocimiento de artista" como "comprensión de estilo". El autor aboga por la evaluación de disjunto de artista como un estándar por defecto necesario para medir la comprensión estilística en los embeddings congelados. Este enfoque transforma una métrica agregada frágil en una imagen interpretable por movimiento y por artista, revelando qué movimientos poseen una forma visual compartida recuperable y cuáles dependen de la reconocibilidad de pintores específicos. El artículo no afirma que el ajuste fino (fine-tuning) resolvería estos problemas, ni propone nuevas aplicaciones, sino que exige un estándar de evaluación más riguroso para evitar la sobreestimación de las capacidades de los modelos en la historia del arte computacional.