NearID: Identity Representation Learning via Near-identity Distractors

Título: NearID: Aprendizado de Representação de Identidade via Distratores de Quase-Identidade

1. O Problema: Entrelaçamento de Identidade e Contexto

O artigo identifica uma vulnerabilidade crítica nos codificadores de visão modernos (como CLIP, DINOv2, SigLIP2 e grandes modelos de linguagem-vídeo) quando aplicados a tarefas focadas em identidade de instância (ex: geração personalizada, edição de imagens).

• A Falha: Esses modelos tendem a "entrelaçar" a identidade do objeto com o contexto de fundo. Quando o fundo é idêntico, o modelo frequentemente falha em distinguir entre dois objetos diferentes (mas visualmente semelhantes), dando maior similaridade ao objeto impostor do que a uma verdadeira variação de vista do mesmo objeto em um fundo diferente.
• Consequência: Métricas padrão (como CLIP-I ou DINO scores) tornam-se enganosas, inflando a pontuação de preservação de identidade quando o modelo gera um objeto diferente no fundo correto, em vez do objeto original.
• O Cenário de Teste: O problema é exposto através de um teste adversário onde um objeto é substituído por um "distrator de quase-identidade" (NearID) — um objeto semanticamente similar, mas distinto — mantendo o mesmo fundo exato. Sob essas condições, os modelos base congelados falham drasticamente (ex: SigLIP2 atinge apenas ~30% de taxa de sucesso).

2. Metodologia: O Framework NearID

Os autores propõem o NearID, um framework unificado composto por três componentes principais para aprender representações que isolam a identidade intrínseca do objeto:

A. Construção de Dados (NearID Dataset)

• Distratores de Quase-Identidade: Criam um conjunto de dados massivo onde, para cada imagem de âncora, geram distratores que são instâncias distintas, mas visualmente similares, inpainted (pintados) exatamente no mesmo fundo da imagem de referência.
• Escala: O dataset contém 19.000 identidades únicas e mais de 316.000 distratores de quase-identidade.
• Diversidade: Utilizam quatro modelos generativos de ponta (SDXL, FLUX.1, Qwen-Image, PowerPaint) para garantir que os distratores não compartilhem "impressões digitais" de geração, forçando o modelo a aprender características reais do objeto e não artefatos do gerador.
• Integração: Combinam dados de nível de objeto (NearID) com dados de nível de parte (dataset Mind the Glitch - MTG) para refinar a sensibilidade a edições localizadas.

B. Objetivo de Aprendizado (Loss Function Hierárquica)
Em vez de tratar todos os negativos igualmente (como no InfoNCE padrão), o NearID impõe uma hierarquia de similaridade estrita:

1. Mesma Identidade > Distrator de Quase-Identidade > Negativo Aleatório do Batch.

• Componente de Discriminação ($L_{disc}$): Um termo de entropia cruzada que força a imagem de âncora a ser mais próxima dos positivos (mesma identidade) do que dos distratores e negativos aleatórios.
• Regularizador de Classificação ($L_{rank}$): Um termo que garante que os distratores de quase-identidade sejam classificados acima dos negativos aleatórios do batch, preservando a estrutura semântica graduada (evitando que o modelo colapse a vizinhança semântica).
• Arquitetura: Utilizam um backbone de visão congelado (SigLIP2) e treinam apenas uma cabeça de projeção leve baseada em Multi-head Attention Pooling (MAP). Isso preserva os priores semânticos gerais do modelo base enquanto adapta a geometria do espaço de embedding para a tarefa de identidade, atualizando apenas ~3,6% dos parâmetros.

C. Protocolo de Avaliação

• Introduzem o NearID-bench, um protocolo que mede a "Taxa de Sucesso da Amostra" (SSR) e a "Precisão de Pares" (PA) sob condições de contexto combinado.
• O sucesso é definido quando a similaridade entre duas vistas do mesmo objeto (em fundos diferentes) é maior do que a similaridade entre o objeto e um distrator de quase-identidade (no mesmo fundo).

3. Resultados Principais

Os resultados demonstram uma melhoria drástica em relação aos modelos base e métodos existentes:

• Discriminação de Quase-Identidade (Nível de Objeto):
  • SigLIP2 (Congelado): 30,74% de SSR.
  • NearID (Ours): 99,17% de SSR e 99,71% de PA.
  • O modelo consegue rejeitar distratores visualmente enganosos com quase perfeição.
• Avaliação de Nível de Parte (MTG):
  • Modelos padrão (CLIP, DINO, SigLIP) atingem 0,0% de SSR em edições de partes.
  • NearID: Atinge 35,0% de SSR, superando significativamente o VSM (7,0%) e outros métodos.
• Alinhamento Humano e com Oráculos:
  • No benchmark DreamBench++, o NearID melhora a correlação com julgamentos humanos (M-H) de 0,516 (SigLIP) para 0,545.
  • A correlação com o oráculo de severidade de edição (M-O) no MTG salta de 0,180 para 0,465.
• Generalização: O modelo treinado apenas em objetos rígidos generaliza bem para animais e humanos, indicando que aprendeu a desconectar a identidade do contexto de fundo de forma robusta.
• Visualização: Projeções KernelPCA mostram que, enquanto o SigLIP2 entrelaça distratores com positivos, o NearID separa claramente os clusters.

4. Contribuições Chave

1. Formalização de Distratores de Quase-Identidade: Definição e criação de um benchmark rigoroso (NearID-bench) para quantificar o entrelaçamento de contexto em codificadores de visão.
2. Dataset em Grande Escala: Liberação de um dataset com 19k identidades e 316k+ distratores sintetizados via múltiplos modelos generativos.
3. Objetivo de Aprendizado Hierárquico: Uma função de perda contrastiva de duas camadas que impõe uma ordem de similaridade estruturada (Positivo > Distrator > Negativo) sem margens duras ou supervisão de oráculo direta.
4. Adaptação Eficiente: Demonstração de que é possível obter representações de identidade superiores congelando o backbone e treinando apenas uma cabeça leve, evitando o esquecimento catastrófico.

5. Significado e Impacto

O trabalho resolve um problema fundamental na avaliação e aprendizado de representações para geração personalizada e edição de imagens.

• Diagnóstico: Fornece uma ferramenta para detectar se um codificador de visão está realmente "vendo" o objeto ou apenas explorando atalhos contextuais (background).
• Aplicação Prática: Melhora a confiabilidade de métricas automáticas em pipelines de personalização (como DreamBooth ou LoRA), onde a preservação da identidade do sujeito é crítica.
• Futuro: Estabelece um novo padrão para avaliação de modelos de visão, sugerindo que a simples similaridade cosínica em embeddings gerais é insuficiente para tarefas de identidade de instância sem treinamento específico contra distratores contextuais.

Em resumo, o NearID prova que, ao forçar o modelo a distinguir entre objetos similares no mesmo fundo, é possível aprender representações de identidade puras, superando as limitações dos modelos fundacionais atuais e alinhando-se melhor com a percepção humana de identidade de objeto.