Common Inpainted Objects In-N-Out of Context

1. O Problema

A compreensão visual de contexto é fundamental para a inteligência artificial, permitindo que modelos julguem a coerência entre objetos e seu ambiente. No entanto, datasets de visão computacional existentes (como o COCO) são predominantemente compostos por cenas naturais e coerentes. Isso cria uma escassez crítica de exemplos "fora de contexto" (objetos que não pertencem à cena, seja por tamanho, localização ou co-ocorrência improvável).
Sem dados suficientes de violações contextuais, é difícil treinar modelos de aprendizado profundo para:

• Detectar inconsistências semânticas em cenas.
• Identificar imagens manipuladas ou falsas (forense).
• Realizar raciocínio contextual fino.

2. Metodologia

Os autores propõem o COinCO, um novo dataset e pipeline de criação de dados que gera sistematicamente exemplos de violações contextuais controladas.

• Base de Dados: O dataset é derivado do COCO (Common Objects in Context), utilizando suas 80 classes de objetos comuns e anotações de máscaras de instância.
• Geração de Dados (Inpainting):
  • Utiliza o modelo de difusão Stable Diffusion para realizar inpainting (pintura generativa).
  • Para cada imagem do COCO, um objeto é selecionado aleatoriamente e substituído por um objeto de outra categoria (uma das 80 classes do COCO).
  • O processo envolve o uso de máscaras dilatadas e bounding boxes para reduzir artefatos residuais, além de técnicas de alpha blending para integração suave.
  • Uma estratégia de cropping e redimensionamento é usada para melhorar a qualidade de objetos pequenos.
• Validação e Raciocínio Contextual:
  • Detecção de Sucesso: Um detector (YOLOv8x) verifica se o novo objeto foi inserido corretamente na região da máscara.
  • Classificação Contextual (In- vs. Out-of-Context): Três Grandes Modelos de Linguagem Visuais (LVLMs) de última geração (Molmo-72B, Qwen2.5-VL-72B e InternVL3.5-38B) avaliam independentemente cada imagem.
  • Critérios de Avaliação: A classificação baseia-se em três dimensões:
    1. Localização: O objeto está em um lugar fisicamente impossível ou ilógico?
    2. Tamanho: O objeto tem uma escala incompatível com a cena?
    3. Co-ocorrência: O objeto não deveria aparecer junto com os outros objetos presentes (ex: uma vaca no céu com a lua).
  • Consenso: Apenas imagens onde os três LVLMs concordam na decisão final são rotuladas com alta confiança, resultando em 73.929 imagens com anotações detalhadas de raciocínio. O dataset total possui 97.722 imagens inpainted.

3. Principais Contribuições

O artigo apresenta quatro contribuições principais:

1. Dataset COinCO: O primeiro dataset em larga escala com objetos inpainted que possuem anotações ricas de contexto (in-context e out-of-context), permitindo o estudo de violações semânticas em cenas reais.
2. Tarefa de Raciocínio Contextual de Alta Granularidade: Introdução de uma tarefa que classifica objetos baseando-se nos três critérios acima. Os autores utilizam distilação de conhecimento para treinar modelos estudantes eficientes (3B parâmetros) a partir de um professor grande (72B), permitindo raciocínio contextual interpretável e rápido para implantação prática.
3. Tarefa "Objects-from-Context" (Objetos a partir do Contexto): Uma nova tarefa que prevê quais objetos (em nível de instância e de "clique" ou supercategoria) pertencem naturalmente a uma dada cena. Isso testa a capacidade do modelo de entender a semântica do ambiente e prever objetos ausentes ou originais.
4. Detecção de Falsificações Aprimorada por Contexto: Demonstra que o raciocínio contextual pode ser integrado a pipelines de detecção de fake images sem necessidade de fine-tuning dos modelos de detecção, melhorando significativamente a localização de regiões manipuladas.

4. Resultados

• Classificação Contextual: Os modelos estudantes distilados alcançaram alta precisão. No conjunto de teste COinCO, a precisão média aumentou de 66,2% para 73,7%. Em imagens originais do COCO (não manipuladas), os modelos mostraram melhoria significativa na compreensão de localização (+43,8%) e tamanho (+30,6%), provando que aprenderam princípios contextuais reais e não apenas artefatos de inpainting.
• Predição de Objetos: O modelo proposto superou largamente as linhas de base (aleatória e baseada apenas em co-ocorrência) na tarefa de prever objetos que se encaixam no contexto.
  • Precisão Top-1 (Nível de Instância): 16,32% vs 1,25% (aleatório).
  • Precisão Top-1 (Nível de Clique): 35,10% vs 8,33% (aleatório).
• Detecção de Falsificações: A aplicação de um fator de reforço contextual (aumentando a pontuação de falsidade em regiões identificadas como "fora de contexto") melhorou o desempenho de detectores de estado da arte (SOTA) como CAT-Net e TruFor sem qualquer treinamento adicional. O método demonstrou ser robusto e eficaz na localização de pixels manipulados.

5. Significado e Impacto

O COinCO estabelece um berço de testes controlado para avançar a compreensão visual sensível ao contexto.

• Para Visão Computacional: Permite o desenvolvimento de modelos que não apenas reconhecem objetos, mas entendem a lógica e a física das cenas.
• Para Forense de Imagens: Oferece uma nova abordagem complementar para detectar deepfakes e manipulações, focando na inconsistência semântica (contexto) em vez de apenas em artefatos de baixo nível (ruído, compressão).
• Eficiência: A abordagem de distilação demonstra que é possível ter raciocínio contextual complexo e interpretável em modelos leves, viabilizando aplicações em tempo real.

Em resumo, o trabalho preenche uma lacuna crítica na disponibilidade de dados de violação contextual, fornecendo ferramentas e benchmarks essenciais para a próxima geração de sistemas de visão computacional mais inteligentes e robustos contra manipulações.