Processing and acquisition traces in visual encoders: What does CLIP know about your camera?

1. Planteamiento del Problema

Los codificadores visuales (como CLIP, ResNet, ViT) son fundamentales para tareas de visión por computadora. La investigación previa se ha centrado en la robustez de estos modelos ante transformaciones severas o corrupciones visibles (ruido, distorsiones geométricas) que degradan la señal semántica.

Sin embargo, este trabajo identifica un problema subyacente y menos explorado: los parámetros de procesamiento de imagen y adquisición de datos dejan "rastros" identificables en los espacios de representación de los modelos, incluso cuando estos cambios son imperceptibles para el ojo humano.

El problema central es que estos modelos no solo codifican el contenido semántico (qué objeto hay en la imagen), sino que también retienen información sobre cómo se obtuvo o procesó la imagen (ej. modelo de cámara, configuración ISO, calidad de compresión JPEG). Esta información de metadatos puede:

1. Ser recuperada con alta precisión a partir de los embeddings.
2. Oscurecer o sesgar las predicciones semánticas en tareas posteriores, especialmente cuando existe una correlación entre los metadatos y las etiquetas semánticas.

2. Metodología

Los autores analizaron 47 codificadores visuales congelados (sin fine-tuning), categorizados en tres grupos según su entrenamiento:

• Supervisados (SUP): Entrenados para clasificación en ImageNet (ej. ResNet, ConvNeXt, ViT).
• Aprendizaje Auto-supervisado (SSL): Entrenados con aprendizaje contrastivo (ej. DINO, DINOv2, MoCo v3).
• Visión-Lenguaje Contrastivo (CVL): Entrenados para alineación imagen-texto (ej. CLIP, OpenCLIP, SigLIP).

Parámetros Analizados:

• Procesamiento (Proc.): Parámetros modificables post-captura (Compresión JPEG, enfoque/sharpening, redimensionado, tipo de interpolación).
• Adquisición (Acq.): Parámetros fijos en el momento de la captura (Fabricante, modelo de cámara, exposición, apertura, ISO, distancia focal).

Datasets:

• Se utilizaron ImageNet e iNaturalist para parámetros de procesamiento.
• Se crearon dos nuevos datasets para parámetros de adquisición:
  • FlickrExif: ~356k imágenes con metadatos Exif extraídos.
  • PairCams: 730 pares de imágenes del mismo objeto/escena capturados con diferentes tipos de cámaras (smartphone vs. cámara digital) bajo condiciones idénticas.

Experimentos Clave:

1. Predicción de Metadatos: Se entrenaron clasificadores lineales simples sobre los embeddings congelados para predecir los parámetros de procesamiento y adquisición.
2. Evaluación de Sesgo Semántico: Se midió cómo la coincidencia o discrepancia entre etiquetas semánticas y de metadatos afecta la precisión en clasificación y recuperación de imágenes (retrieval).
3. Análisis de Enmascaramiento: Se aplicó un enmascaramiento del 95% del contenido de la imagen para aislar si la predicción de metadatos dependía de la semántica o de "ruido" de adquisición.

3. Contribuciones Clave

1. Descubrimiento de Rastros Ocultos: Demostraron que los parámetros de adquisición y procesamiento están sistemáticamente codificados en los espacios de representación de los modelos fundacionales, permitiendo su predicción con una precisión muy superior al azar.
2. Impacto en Tareas Semánticas: Evidenciaron que estos rastros pueden dominar el espacio de representación, causando que la similitud entre imágenes dependa más del modelo de cámara o la compresión que del contenido real del objeto.
3. Sensibilidad Diferencial: Identificaron que los modelos CVL (Visión-Lenguaje) son los más sensibles a estos rastros, mientras que los modelos SSL (Auto-supervisados) son los menos afectados.
4. Causalidad de la Augmentación: Demostraron que la falta de aumentos de datos agresivos (geométricos y fotométricos) en el pre-entrenamiento de modelos CVL es una causa principal de que retengan esta información de metadatos.

4. Resultados Principales

A. Predicción de Metadatos

• CVL (ej. CLIP): Lograron la mayor precisión en la predicción de todos los parámetros. Por ejemplo, superaron el 80% de precisión en la predicción de calidad JPEG, enfoque y redimensionado en ImageNet.
• Supervisados: También mostraron alto rendimiento, especialmente los basados en ConvNeXt.
• SSL: Generalmente obtuvieron el rendimiento más bajo, aunque aún por encima del azar.
• Adquisición: Incluso con un 95% de enmascaramiento (eliminando casi todo el contenido semántico), los modelos CVL pudieron predecir el tipo de cámara (smartphone vs. no smartphone) con una precisión del 59-70%, muy por encima de los modelos supervisados (~53-58%).

B. Impacto en Tareas Descendentes (Downstream)

• Clasificación: Cuando las etiquetas semánticas y de metadatos están correlacionadas (ej. todas las imágenes de una clase tienen la misma compresión JPEG), la precisión de los modelos CVL cae drásticamente si se prueba con una compresión diferente. Esto indica que el modelo está aprendiendo a clasificar basándose en el "ruido" de procesamiento en lugar de la semántica.
• Recuperación de Imágenes (Retrieval): En el dataset PairCams, los modelos CVL fallaron consistentemente al recuperar la imagen "positiva" (mismo objeto, diferente cámara) si las imágenes "negativas" (diferente objeto) compartían el mismo tipo de cámara que la consulta. La precisión cayó de casi 1.0 a <0.85 simplemente por un cambio en el tipo de cámara de las imágenes negativas.

C. El Rol de los Aumentos (Augmentations)

Los experimentos en el material suplementario mostraron que al entrenar un modelo CVL desde cero con aumentos agresivos (similar a los usados en SSL), la capacidad del modelo para codificar metadatos de procesamiento y adquisición disminuye significativamente. Esto confirma que la falta de estos aumentos en el entrenamiento estándar de CLIP es la causa raíz de la sensibilidad a los rastros de la cámara.

5. Significado e Implicaciones

Negativas:

• Fiabilidad y Robustez: Los modelos pueden ser engañosamente precisos en datos de entrenamiento pero fallar catastróficamente en escenarios del mundo real donde la distribución de metadatos cambia (ej. cambiar de cámara o formato de archivo).
• Ataques Adversarios: La capacidad de manipular metadatos para engañar a un modelo plantea riesgos de seguridad en dominios críticos como la salud, la vigilancia o los sistemas autónomos.
• Sesgo: Los modelos pueden aprender a clasificar basándose en el dispositivo de captura en lugar del contenido, perpetuando sesgos de datos.

Positivas:

• Detección de Deepfakes: La misma capacidad que permite a los modelos CVL detectar rastros de cámara puede ser aprovechada para identificar imágenes sintéticas o manipuladas, ya que estas carecen de los patrones naturales de adquisición o presentan artefactos de procesamiento inconsistentes.

Conclusión

El artículo concluye que los codificadores visuales, especialmente los modelos de visión-lenguaje como CLIP, no son "cajas negras" puramente semánticas. Son sensibles a la "huella digital" de la cámara y el procesamiento. Para mejorar la robustez y la generalización, es crucial incorporar aumentos de datos más agresivos durante el pre-entrenamiento y considerar la distribución de metadatos en los conjuntos de datos de evaluación.