Resumen Técnico: Etología de los Espacios Latentes

Planteamiento del Problema

Este estudio desafía la suposición prevaleciente de que los espacios latentes en los Modelos de Visión y Lenguaje (VLM), específicamente las arquitecturas de tipo CLIP, son neutrales, homogéneos o ontológicamente indeterminados. Si bien estos modelos operan sobre espacios vectoriales matemáticos donde la similitud métrica se equipara con la similitud semántica, el artículo sostiene que esta equivalencia es localmente inestable y depende fuertemente de las distribuciones de entrenamiento. El problema central es el "punto ciego" respecto a las modalidades de estructuración interna de estos modelos: los usuarios suelen asumir el control sobre la generación y la interpretación, ignorando que el espacio latente completa la realidad visual basándose en distribuciones aprendidas y no intencionales. El artículo postula que estos espacios no son contenedores vacíos de significado, sino que están estructurados por "sensibilidades algorítmicas" específicas y "formaciones discursivas" heredadas de sus datos de entrenamiento y diseños arquitectónicos, lo que conduce a sesgos políticos y culturales emergentes que son invisibles para los agentes humanos.

Metodología

La investigación emplea un "enfoque etológico", observando los comportamientos de los procesos algorítmicos en lugar de deducir sus mecanismos internos, basándose en el marco de Machine Behaviour (Rahwan et al., 2019). El estudio utiliza un análisis comparativo de tres VLM distintos aplicados a un corpus de 301 obras de arte que abarcan desde el siglo XV hasta el XX (incluyendo producciones no occidentales):

1. OpenAI CLIP Large (ViT-L/14): Entrenado con WIT, un conjunto de datos curado y propietario (~400M de pares).
2. OpenCLIP ViT-L/14: Entrenado con LAION-2B, un conjunto de datos abierto, mínimamente filtrado y extraído de la web (~5.85B de pares).
3. SigLIP Large: Entrenado con WebLI, un conjunto de datos propietario de Google que utiliza una arquitectura de aprendizaje por pares en lugar de aprendizaje contrastivo.

Protocolo Técnico:

• Ejes Semánticos Bipolares: Inspirados en analogías vectoriales (Mikolov et al., 2013), los autores construyen ejes semánticos computando la diferencia vectorial entre embeddings de texto opuestos (por ejemplo, "neutral apolítico" frente a "políticamente comprometido").
• Proyección y Puntuación: Las obras de arte se proyectan sobre estos ejes para medir su proximidad relativa a los polos, creando un gradiente de saliencia en lugar de una clasificación binaria.
• Reducción de Dimensionalidad: Se utiliza T-SNE para visualizar vecindades locales y tensiones relativas dentro del espacio latente de alta dimensión, reconociendo que la geometría global está distorsionada pero las asimetrías locales se preservan.
• Análisis de Múltiples Niveles: El análisis opera en tres niveles:
  1. Nivel de Píxel: Campos de luminancia y cromatismo.
  2. Nivel de Objeto: Reconocimiento de cuerpos, rostros y arquitectura.
  3. Nivel Semántico: Atribución de conceptos abstractos (por ejemplo, compromiso político, colonialismo).

Contribuciones Clave

El artículo introduce tres conceptos operativos para describir el comportamiento de los VLM:

1. Politización Latente Computacional: El proceso por el cual las categorías políticas emergen dentro del espacio latente, no mediante una codificación intencional, sino como un efecto estructural de las distribuciones discursivas desiguales en los datos de entrenamiento. El conjunto de datos funciona como un "cuasi-archivo" (Foucault) que estructura qué es lo que se vuelve saliente.
2. Sesgo Emergente: Una tercera categoría de sesgo distinta del sesgo estadístico (desviación de una distribución de referencia) y del sesgo normativo (desviación de una norma ética). El sesgo emergente es irreducible a las distribuciones de entrada; surge de los entrelazamientos vectoriales durante la formación del espacio latente y solo es diagnosticable mediante el análisis contrastivo entre modelos.
3. Regímenes Escópicos Algorítmicos: Una tipología que caracteriza distintos modos de estructuración de lo visible:
   • Entrópico (LAION): Caracterizado por una politización accidental y estocástica heredada de datos web no curados.
   • Institucional (OpenAI): Un régimen controlado que reproduce jerarquías museográficas occidentales y discursos críticos.
   • Semiótico (SigLIP): Un régimen que proyecta un vocabulario crítico contemporáneo sobre formas visuales con alta coherencia interna pero con una potencial sistematicidad reductiva.

Resultados Clave

El análisis comparativo revela divergencias significativas en cómo los modelos atribuyen categorías culturales y políticas, demostrando que la "similitud métrica" no garantiza la "similitud semántica" entre modelos.

• Compromiso Político:
  • SigLIP clasificó el 59.4% de las obras de arte como políticamente comprometidas. Notablemente, las máscaras africanas recibieron las puntuaciones más altas, lo que sugiere una asociación entre el arte no occidental y la intención política.
  • OpenCLIP/LAION clasificó solo el 4% como políticamente comprometido.
  • OpenAI CLIP clasificó el 33.3%, asociando la política principalmente con los movimientos de vanguardia y el discurso institucional.
• Eje Estético/Colonial: La divergencia fue más extrema aquí, con una brecha de 72.6 puntos porcentuales entre los modelos. SigLIP clasificó solo el 9.2% de las imágenes hacia el polo "colonial", mientras que OpenAI CLIP y OpenCLIP/LAION clasificaron el 69.6% y 81.8% respectivamente.
• Reconocimiento de Objetos (Cuerpo vs. Paisaje):
  • SigLIP reconoció solo el 6.9% de las imágenes como representaciones de un cuerpo humano, favoreciendo fuertemente los desnudos académicos/naturalistas (por ejemplo, Degas) e invisibilizando los cuerpos modernistas, deformados o estilizados (por ejemplo, Bacon, Schiele) y las máscaras africanas.
  • OpenAI CLIP y OpenCLIP reconocieron el 59.7% y 52.1% respectivamente, integrando representaciones transgresoras y modernistas.
• Sensibilidad a la Luminancia:
  • OpenAI CLIP clasificó el 97.7% de las obras de arte como "brillantes", confundiendo el concepto de luz (por ejemplo, la palabra "neón" en los pies de foto) con la luminancia física.
  • SigLIP identificó correctamente a los maestros del claroscuro (Rembrandt, Vermeer) como las imágenes más oscuras, demostando una sensibilidad más cercana a las proporciones de nivel de píxel.

Significado y Reivindicaciones

El artículo argumenta que los espacios latentes no son herramientas neutrales, sino dispositivos activos que estructuran lo visible y lo decible. Su importancia radica en:

• Crítica de las Condiciones Interpretativas: Establece que la historia del arte digital no puede constituirse sin interrogar la lógica específica de los modelos empleados. Las "condiciones de posibilidad interpretativas" están inscritas dentro de los propios espacios representacionales de los modelos.
• Reencuadre del Sesgo: Al identificar el "sesgo emergente", el estudio va más allá de la simple auditoría de conjuntos de datos. Demuestra que los sesgos pueden surgir de la interacción entre arquitectura, optimización y datos, produciendo efectos políticos (ideologemas) que no son rastreables a una intención explícita o a una simple subrepresentación estadística.
• Cambio Metodológico: Hace un llamado a una metodología etológica que integre el análisis de las arquitecturas de aprendizaje en cualquier delegación de la interpretación cultural a agentes algorítmicos. El artículo afirma que "mirar los datos con modelos multimodales significa mirar los modelos multimodales con datos", lo que requiere una crítica recíproca del espacio conceptual inherente a las herramientas.

El estudio concluye que, si bien la historia del arte centrada en el ser humano ha lidiado durante mucho tiempo con los sesgos, una perspectiva digital debe interrogar críticamente los procesos fundacionales de la producción de modelos, reconociendo que la cultura visual del arte está ahora mediada por regímenes algorítmicos de visibilidad que escapan tanto a la conciencia humana como a los sistemas mismos.