Processing and acquisition traces in visual encoders: What does CLIP know about your camera?

Título: Rastros de Processamento e Aquisição em Codificadores Visuais: O que o CLIP sabe sobre a sua câmera?

1. O Problema

Os codificadores visuais (visual encoders) são a base de modelos de visão computacional modernos, projetados para extrair representações semânticas de imagens (objetos, atributos, cenas). A literatura tradicional foca na robustez desses modelos contra corrupções severas (como ruído, desfoque ou adversários) que degradam o sinal semântico visível ao olho humano.

No entanto, este trabalho identifica uma lacuna crítica: parâmetros sutis de processamento de imagem e aquisição (metadados) são sistematicamente codificados nas representações aprendidas pelos modelos, mesmo quando imperceptíveis aos humanos. O problema central é que esses "rastros" de metadados (ex: modelo da câmera, nível de compressão JPEG, configurações de exposição) podem ofuscar o conteúdo semântico, levando a vieses em tarefas downstream (como classificação e recuperação de imagens), onde o modelo prioriza a origem da imagem em vez do seu conteúdo real.

2. Metodologia

Os autores analisaram 47 codificadores visuais congelados (frozen), cobrindo três categorias de treinamento:

• Supervisionados (SUP): Treinados para classificação no ImageNet (ex: ResNet, ConvNeXt, ViT).
• Aprendizado Auto-supervisionado (SSL): Treinados com aprendizado contrastivo (ex: DINO, DINOv2, MoCo v3).
• Visão-Linguagem Contrastiva (CVL): Alinhamento de imagem e texto (ex: CLIP, OpenCLIP, SigLIP).

Parâmetros Analisados:

• Processamento (Proc.): Compressão JPEG, nitidez (sharpening), redimensionamento e tipo de interpolação.
• Aquisição (Acq.): Fabricante da câmera, modelo específico, smartphone vs. não-smartphone, exposição, abertura, ISO e distância focal.

Datasets Utilizados:

• ImageNet e iNaturalist: Para análise de parâmetros de processamento (aplicados artificialmente).
• FlickrExif: Um novo dataset coletado via API do Flickr com metadados Exif completos (356k imagens).
• PairCams: Um dataset controlado com 730 pares de imagens do mesmo objeto/scene, capturados simultaneamente por uma câmera de smartphone e uma câmera digital tradicional, eliminando variáveis semânticas.

Protocolos Experimentais:

1. Predição de Metadados: Treinamento de classificadores lineares simples sobre os embeddings (vetores de representação) congelados para prever os parâmetros de processamento e aquisição. Se a acurácia for superior ao acaso, prova-se que o modelo codifica essas informações.
2. Impacto em Tarefas Downstream:
   • Classificação Semântica: Uso de um classificador k-NN para verificar se a coincidência ou divergência entre metadados de treino e teste afeta a precisão da classificação de objetos.
   • Recuperação de Imagens (Near-duplicate): Teste de recuperação onde o objetivo é encontrar a mesma cena tirada por uma câmera diferente, verificando se o modelo falha quando os negativos (distratores) compartilham o mesmo modelo de câmera da consulta.
3. Análise de Augmentations: Treinamento de um modelo CVL do zero e fine-tuning com e sem aumentações pesadas (geometria e cor) para isolar a causa da sensibilidade aos metadados.

3. Principais Contribuições e Resultados

A. Rastros Identificáveis nos Espaços de Representação

• Os modelos conseguem prever parâmetros de processamento e aquisição com acurácia muito superior ao acaso, mesmo sem fine-tuning.
• CVLs (como CLIP) são os mais sensíveis: Modelos de Visão-Linguagem Contrastiva demonstram a maior capacidade de codificar metadados. Por exemplo, a previsão de compressão JPEG em CVLs atinge >80% de acurácia, enquanto modelos SSL (auto-supervisionados) performam pior.
• Recuperação de Metadados: Em tarefas de vizinhança (k-NN), imagens com o mesmo modelo de câmera tendem a agrupar-se no espaço de representação, mesmo que semanticamente diferentes.

B. O Efeito de "Distratores" Metadados

• Viés Semântico: Quando os metadados de treino e teste estão correlacionados com a classe semântica (ex: treinar com imagens de "gatos" todas em JPEG de alta qualidade e testar com "gatos" em baixa qualidade), a performance cai drasticamente.
• Falha em Recuperação: No dataset PairCams, modelos CVL falham em recuperar a imagem "positiva" (mesmo objeto, câmera diferente) se houver "negativos" (objetos diferentes) que compartilham o mesmo modelo de câmera da consulta. O modelo prioriza a similaridade de câmera em vez da similaridade semântica.
• Sensibilidade por Arquitetura:
  • CVLs: Altamente sensíveis. A ausência de aumentações geométricas e fotométricas pesadas durante o pré-treinamento permite que o modelo aprenda "atalhos" baseados em metadados.
  • SSLs: Menos sensíveis. O uso intenso de augmentations durante o treinamento força o modelo a ser invariante a essas variações, reduzindo a codificação de metadados.
  • SUPs: Sensibilidade intermediária.

C. Causa Raiz: Aumentações de Treinamento

• Experimentos de controle (Apêndice A) mostraram que treinar um modelo CVL com aumentações pesadas (jitter de cor, desfoque aleatório, etc.) reduz significativamente a capacidade do modelo de prever metadados e mitiga o impacto negativo desses metadados nas tarefas semânticas. Isso confirma que a falta de robustez nas aumentações de CVLs é uma causa principal do problema.

4. Significância e Implicações

• Confiabilidade do Modelo: A descoberta de que modelos fundamentais (Foundation Models) codificam informações de aquisição e processamento levanta preocupações sobre sua confiabilidade em cenários do mundo real, onde a distribuição de metadados pode variar ou ser explorada.
• Segurança e Adversários: O efeito pode ser explorado maliciosamente. Um atacante poderia manipular metadados (ex: alterar o modelo da câmera ou nível de compressão) para enganar o modelo, causando erros de classificação ou recuperação sem alterar o conteúdo visual perceptível.
• Aplicações Positivas: A capacidade de detectar esses rastros pode ser útil para tarefas como detecção de Deepfakes, onde modelos CVL congelados já são usados para identificar inconsistências de geração, sugerindo que a detecção de atributos de câmera é uma habilidade inerente a esses modelos.
• Direção Futura: O trabalho sugere que o pré-treinamento de modelos CVL deve incorporar aumentações mais robustas (similares às usadas em SSL) para "limpar" as representações de metadados indesejados, garantindo que o foco permaneça estritamente na semântica do conteúdo.

Em resumo, o paper demonstra que "o que o CLIP sabe sobre sua câmera" é uma informação robusta e codificada em seus vetores, capaz de distorcer a percepção semântica do modelo, um fenômeno que deve ser mitigado para garantir a generalização e a segurança de sistemas de visão computacional.