💻 computer science

SCLARO: A Dataset for Grounded Scenario-Level Scene Understanding and ScenarioCLIP for Benchmarking

Este artigo apresenta o SCLARO, um conjunto de dados de grande escala com 615.805 imagens anotadas com informações fundamentadas de objeto, relação e ação através de diversos cenários, e propõe o ScenarioCLIP, um modelo de benchmarking de três níveis que supera os métodos existentes em compreensão de cena conjunta e generalização fora do domínio.

Autores originais: Advik Sinha, Saurabh Atreya, Aashutosh A V, Sk Aziz Ali, Abhijit Das

Publicado 2026-07-03

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Advik Sinha, Saurabh Atreya, Aashutosh A V, Sk Aziz Ali, Abhijit Das

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a entender uma fotografia.

A maioria dos robôs atuais é como turistas com uma câmera: eles conseguem dizer: "Esta é uma foto de uma mulher comendo brócolis". Eles acertam o panorama geral. Mas eles têm dificuldade com os detalhes. Eles podem não perceber qual mulher está segurando a colher, ou que o brócolis está, na verdade, dentro de uma tigela, ou que a tigela está sobre um fogão. Eles veem a cena como um borrão de objetos em vez de uma história conectada.

Este artigo apresenta uma solução para esse problema, consistindo em duas partes principais: um novo e massivo livro didático (o conjunto de dados) e um novo aluno (o modelo de IA) projetado para aprender com ele.

1. O Livro Didático: SCLARO

Os autores criaram uma biblioteca gigante chamada SCLARO (Scene-Contextual Localisation of Actions, Relations & Objects). Pense nisso como uma coleção de mais de 615.000 fotos da vida cotidiana — cozinhas, ruas, parques e cenas de direção.

O que torna este livro didático especial é como ele é anotado (rotulado). Em vez de apenas escrever uma frase na parte inferior da página, os autores decomporam cada imagem em três camadas específicas de compreensão:

A Grande História (Ação Global): "Uma mulher está comendo brócolis."
O Elenco de Personagens (Objetos): "Mulher", "Brócolis", "Tigela", "Colher", "Fogão".
As Conexões (Relações): Esta é o ingrediente secreto. O livro não apenas lista os itens; ele desenha pequenas caixas de "holofote" ao redor de interações específicas.
- Ele destaca exatamente onde a mulher está segurando a colher.
- Ele destaca onde o brócolis está sentado dentro da tigela.
- Ele destaca onde a tigela está sobre o fogão.

Os autores usaram uma equipe de assistentes de IA para ler as imagens, identificar os objetos e, em seguida, desenhar essas caixas de "holofote" para mostrar exatamente onde a ação está acontecendo. Eles combinaram dados de cinco fontes públicas diferentes para construir esta biblioteca massiva.

2. O Aluno: ScenarioCLIP

Para provar que este livro didático é útil, os autores construíram um novo modelo de IA chamado ScenarioCLIP.

Imagine um aluno fazendo uma prova.

Antigos Alunos (como o PyramidCLIP): Esses modelos tentam aprender a imagem inteira, os objetos e as relações de uma só vez usando um único "cérebro". É como tentar ouvir uma sinfonia, um solo de violino e um solo de bateria simultaneamente com um único ouvido. Eles pegam a vibração geral, mas perdem as notas específicas.
O Novo Aluno (ScenarioCLIP): Este modelo possui três ouvidos especializados (codificadores/encoders):
1. Um ouvido escuta a cena inteira (a grande história).
2. Um ouvido foca apenas em objetos individuais (o elenco).
3. Um ouvido foca apenas nas interações (as conexões).

Para garantir que esses três ouvidos não se confundam ou se contradigam, o modelo usa um sistema de "professor" (chamado Destilação de Conhecimento/Knowledge Distillation). Imagine um professor sábio que guia lentamente o aluno, dizendo: "Ei, o detalhe que você vê na colher deve corresponder à história que você conta sobre a mulher". Isso mantém a compreensão do aluno consistente em todos os níveis.

3. Os Resultados: O Aluno Passou?

Os autores testaram este novo aluno contra os antigos usando uma variedade de desafios:

Encontrar a Imagem Certa (Recuperação Zero-Shot/Zero-Shot Retrieval): Se você perguntar à IA: "Mostre-me uma foto de uma mulher segurando uma colher", o ScenarioCLIP é muito melhor em encontrar a correspondência exata do que os modelos antigos. Ele melhorou significativamente na identificação de objetos e relações específicas.
Detectar Detalhes (Detecção de Objetos/Object Detection): Quando solicitado a desenhar caixas ao redor de objetos, o novo modelo foi ligeiramente mais preciso.
Compreender a História (Classificação de Grafo de Cena/Scene Graph Classification): Quando solicitado a descrever as relações (ex: "O que o brócolis está fazendo?"), o novo modelo foi melhor em conectar os pontos.
O Teste do "Mundo Real" (Generalização/Generalization): Os autores testaram o modelo em fotos que ele nunca tinha visto antes (de diferentes conjuntos de dados como o MS-COCO). Embora tenha sido treinado com o livro didático SCLARO, ele não esqueceu como lidar com imagens gerais. Na verdade, ele teve um desempenho melhor do que os modelos antigos, provando que aprender relações específicas ajuda a entender o mundo melhor, não pior.

A Conclusão

Este artigo argumenta que, para compreender verdadeiramente uma cena, uma IA precisa parar de apenas olhar para o "todo" e começar a prestar atenção às conexões específicas entre as coisas.

Ao criar um conjunto de dados massivo que destaca essas conexões (SCLARO) e construir um modelo que as aprende separadamente, mas em conjunto (ScenarioCLIP), os autores mostraram que a IA pode passar de simplesmente reconhecer "o que está lá" para entender "como as coisas se relacionam umas com as outras".

Nota sobre Limitações: Os autores admitem que, como usaram robôs para criar o livro didático, pode haver alguns erros (como um robô pensando que uma nuvem é um chapéu). Além disso, algumas relações raras são difíceis de encontrar porque não aparecem com frequência nas fotos. Mas, no geral, o sistema funciona melhor do que o que veio antes.

Resumo Técnico: SCLARO e ScenarioCLIP

Declaração do Problema

Os paradigmas atuais de visão computacional para compreensão de cenas enfrentam uma lacuna crítica em raciocínio fundamentado e multinível. Embora conjuntos de dados de Pré-treinamento de Visão-Linguagem (VLP) de larga escala forneçam pares imagem-texto globais, eles carecem da estrutura relacional necessária para o raciocínio sobre a composição detalhada da cena (ou seja, objetos específicos, suas relações entre objetos e as ações realizadas). Por outro lado, os conjuntos de dados de grafos de cena existentes (ex: Visual Genome, OpenPSG) oferecem estrutura relacional, mas carecem da escala e da diversidade de anotações necessárias para um pré-treinamento VLP eficaz.

Consequentemente, modelos como o CLIP têm dificuldade em distinguir entre cenários semanticamente semelhantes, mas contextualmente distintos (ex: "pessoa segurando uma bolsa" vs. "pessoa segurando um guarda-chuva"), porque carecem de supervisão relacional fundamentada durante o treinamento. Além disso, modelos hierárquicos como o PyramidCLIP, que alinham características globais e de nível de objeto, falham em modelar explicitamente as relações entre objetos, deixando a eficácia da supervisão contextual fundamentada sem quantificação.

Metodologia

1. O Conjunto de Dados SCLARO

Para abordar a lacuna de dados, os autores introduzem o SCLARO (Scene-Contextual Localisation of Actions, Relations & Objects), um corpus de 615.805 imagens abrangendo cenários internos, externos e de condução. O conjunto de dados é construído a partir de cinco fontes públicas: CC3M, OpenPSG, Panoptic Video Scene Graph (PVSG), Multi-Moments in Time e KITTI2015.

O conjunto de dados é único em sua estrutura de anotação de três níveis, gerada via um pipeline automatizado de três estágios:

Estágio 1 (Anotação Estruturada de Cena): Um Modelo de Visão-Linguagem de pesos abertos (Ovis-Gemma 9B) gera uma legenda de ação global, uma lista de instâncias de objetos e um conjunto de tripletos de relação (objeto1, relação, objeto2).
Estágio 2 (Localização de Objetos): O GroundingDINO prevê caixas delimitadoras (bounding boxes) para todos os objetos identificados.
Estágio 3 (Construção de Regiões Focadas): Usando o SAM (Segment Anything Model) e ponderação de Função de Base Radial (RBF), o pipeline constrói regiões focadas em relações. Estas são recortes de imagem específicos que destacam o contexto espacial onde uma interação específica ocorre (ex: a região onde uma "mulher" está "segurando" uma "tigela"), fornecendo fundamentação visual explícita para a supervisão de nível de relação.

O conjunto de dados final inclui 740 classes de ação, 4.812 classes de objetos e 225.609 tripletos de relação únicos.

2. O Modelo ScenarioCLIP

Para testar o SCLARO, os autores propõem o ScenarioCLIP, um Modelo de Visão-Linguagem tri-nível hierárquico projetado para codificar conjuntamente o contexto global, objetos e relações.

Arquitetura: Ao contrário do PyramidCLIP, que utiliza um codificador compartilhado para todos os níveis, o ScenarioCLIP emprega codificadores desentrançados:
- Três codificadores visuais distintos ( $f_{V,G}, f_{V,O}, f_{V,R}$ ) para imagens globais, recortes de objetos e regiões focadas em relações, respectivamente.
- Três codificadores de texto distintos ( $f_{T,G}, f_{T,O}, f_{T,R}$ ) para legendas de ação, nomes de objetos e tripletos de relação.
Objetivos de Treinamento:
- Alinhamento Contrastivo ( $L_{CA}$ ): Alinha os embeddings visuais e textuais em cada nível de forma independente (Global-Global, Objeto-Objeto, Relação-Relação) usando uma perda contrastiva imagem-texto simétrica.
- Destilação de Conhecimento ( $L_{KD}$ ): Um mecanismo professor-aluno de Média Móvel Exponencial (EMA) impõe consistência semântica através dos níveis hierárquicos.
  - Modalidade Visual: O professor visual global regulariza os embeddings de objeto e relação locais (contexto global $\to$ local).
  - Modalidade de Texto: A direção é invertida; os embeddings de texto de objetos e relações mais detalhados regularizam o embedding de texto global (detalhes locais $\to$ global), pois descrições específicas fornecem conteúdo mais preciso do que legendas de ação amplas.

Principais Contribuições

Conjunto de Dados SCLARO: Um conjunto de dados de grande escala e fundamentado, fornecendo legendas de ação, caixas delimitadoras de objetos e regiões focadas em relações através de diversos domínios visuais, preenchendo a lacuna entre a escala VLP e a estrutura de grafos de cena.
ScenarioCLIP: Um modelo tri-nível com codificadores desentrançados e destilação de conhecimento intra-modal assimétrica, demonstrando que a supervisão explícita ao nível de relação melhora a qualidade da representação.
Benchmarking Abrangente: Um protocolo de avaliação cobrindo recuperação zero-shot, sondagem linear (linear probing), detecção de objetos, classificação de predicados, classificação de grafos de cena e generalização fora de domínio, estabelecendo o SCLARO como um padrão para compreensão de nível de cenário.

Resultados Experimentais

Os autores avaliam o ScenarioCLIP contra o PyramidCLIP e vários baselines zero-shot (CLIP, SLIP, TripletCLIP, FineCLIP) em múltiplas tarefas:

Recuperação Zero-Shot: O ScenarioCLIP supera substancialmente o PyramidCLIP e os baselines. Ganhos notáveis são observados na recuperação de Objetos (Top-1: +14,19% sobre o PyramidCLIP) e na recuperação de Relações (Top-1: +3,13%). Os resultados indicam que codificadores desentrançados aprendem melhores representações do que codificadores compartilhados para tarefas finas.
Sondagem Linear (Linear Probe): O ScenarioCLIP atinge maior precisão Top-1 em Ações, Objetos e Relações em comparação ao PyramidCLIP.
Classificação de Predicado e Grafo de Cena: O ScenarioCLIP melhora o recall médio a K (mR@K) tanto para Classificação de Predicado (PredCls) quanto para Classificação de Grafo de Cena (SGCls), confirmando a melhoria nas capacidades de raciocínio relacional.
Detecção de Objetos: Usando cabeças de Faster R-CNN, o ScenarioCLIP mostra ganhos consistentes em Precisão Média (AP) sobre o PyramidCLIP, sugerindo que representações de objetos desentrançadas servem como um backbone superior.
Generalização Fora de Domínio: Em benchmarks externos (MS-COCO e Visual Genome), o ScenarioCLIP iguala ou supera o vanilla CLIP e supera significativamente o PyramidCLIP. Isso indica que o pré-treinamento SCLARO não causa esquecimento catastrófico e que o pré-treinamento focado em relações transfere efetivamente para domínios não vistos.

Significância e Alegações

O artigo afirma que o SCLARO e o ScenarioCLIP demonstram o valor da supervisão fundamentada ao nível de relação no pré-treinamento de visão-linguagem. Os autores afirmam que:

Modelos anteriores que carecem de modelagem de relação explícita (como o PyramidCLIP) são limitados em sua capacidade de raciocinar sobre estruturas de cena composicionais.
O conjunto de dados SCLARO preenche um vazio crítico ao fornecer dados em escala de pré-treinamento que pareiam texto específico de relação com regiões espacialmente fundamentadas.
A arquitetura desentrançada do ScenarioCLIP, combinada com a destilação de conhecimento assimétrica, produz desempenho superior na compreensão de objetos e relações sem sacrificar as capacidades de uso geral.

Os autores posicionam este trabalho como uma base para pesquisas futuras em compreensão de cena composta e fundamentada, incluindo geração de grafos de cena e raciocínio relacional. Eles reconhecem modestamente as limitações, observando que o conjunto de dados depende de um pipeline automatizado (podendo reter algumas alucinações) e que o vocabulário de relações é naturalmente de cauda longa.