💻 computer science

SCLARO: A Dataset for Grounded Scenario-Level Scene Understanding and ScenarioCLIP for Benchmarking

Este artículo presenta SCLARO, un conjunto de datos a gran escala con 615.805 imágenes anotadas con información de objetos, relaciones y acciones fundamentadas a través de diversos escenarios, y propone ScenarioCLIP, un modelo de evaluación de tres niveles que supera a los métodos existentes en la comprensión conjunta de escenas y la generalización fuera del dominio.

Autores originales: Advik Sinha, Saurabh Atreya, Aashutosh A V, Sk Aziz Ali, Abhijit Das

Publicado 2026-07-03

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Advik Sinha, Saurabh Atreya, Aashutosh A V, Sk Aziz Ali, Abhijit Das

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot cómo entender una fotografía.

La mayoría de los robots actuales son como turistas con una cámara: pueden decirte: "Esta es una foto de una mujer comiendo brócoli". Entienden bien la imagen general. Pero tienen dificultades con los detalles. Puede que no se den cuenta de qué mujer sostiene la cuchara, o de que el brócoli está en realidad dentro de un tazón, o de que el tazón está sobre una estufa. Ven la escena como un conjunto borroso de objetos en lugar de una historia conectada.

Este artículo presenta una solución a ese problema, que consiste en dos partes principales: un nuevo y masivo libro de texto (el conjunto de datos) y un nuevo estudiante (el modelo de IA) diseñado para aprender de él.

1. El Libro de Texto: SCLARO

Los autores crearon una gigantesca biblioteca llamada SCLARO (Localización de Acciones, Relaciones y Objetos Contextual de la Escena). Piensa en ella como una colección de más de 615,000 fotos de la vida cotidiana: cocinas, calles, parques y escenas de conducción.

Lo que hace que este libro de texto sea especial es cómo está anotado (etiquetado). En lugar de simplemente escribir una frase al pie de la página, los autores desglosaron cada imagen en tres capas específicas de comprensión:

La Gran Historia (Acción Global): "Una mujer está comiendo brócoli".
El Elenco de Personajes (Objetos): "Mujer", "Brócoli", "Tazón", "Cuchara", "Estufa".
Las Conexiones (Relaciones): Esta es la esencia del asunto. El libro no solo enumera los elementos; dibuja pequeños recuadros de "foco de atención" alrededor de interacciones específicas.
- Resalta exactamente dónde la mujer sostiene la cuchara.
- Resalta dónde el brócoli está sentado dentro del tazón.
- Resalta dónde el tazón está sobre la estufa.

Los autores utilizaron un equipo de asistentes de IA para leer las imágenes, identificar los objetos y luego dibujar estos recuadros de "foco de atención" para mostrar exactamente dónde está ocurriendo la acción. Combinaron datos de cinco fuentes públicas diferentes para construir esta enorme biblioteca.

2. El Estudiante: ScenarioCLIP

Para demostrar que este libro de texto es útil, los autores construyeron un nuevo modelo de IA llamado ScenarioCLIP.

Imagina a un estudiante tomando un examen.

Estudiantes Antiguos (como PyramidCLIP): Estos modelos intentan aprender toda la imagen, los objetos y las relaciones al mismo tiempo usando un único "cerebro". Es como intentar escuchar una sinfonía, un solo de violín y un solo de batería simultáneamente con un solo oído. Captan la vibra general, pero pierden las notas específicas.
El Nuevo Estudiante (ScenarioCLIP): Este modelo tiene tres oídos especializados (codificadores):
1. Un oído escucha la escena completa (la gran historia).
2. Un oído se concentra solo en objetos individuales (el elenco).
3. Un oído se concentra solo en las interacciones (las conexiones).

Para asegurar que estos tres oídos no se confundan o se contradigan entre sí, el modelo utiliza un sistema de "maestro" (llamado Destilación de Conocimiento). Imagina a un maestro sabio que guía lentamente al estudiante, diciéndole: "Oye, el detalle que ves en la cuchara debe coincidir con la historia que cuentas sobre la mujer". Esto mantiene la comprensión del estudiante consistente en todos los niveles.

3. Los Resultados: ¿Aprobó el Estudiante?

Los autores probaron a este nuevo estudiante contra los antiguos utilizando una variedad de desafíos:

Encontrar la Imagen Correcta (Recuperación Zero-Shot): Si le pides a la IA: "Muéstrame una foto de una mujer sosteniendo una cuchara", ScenarioCLIP es mucho mejor para encontrar la coincidencia exacta que los modelos antiguos. Mejoró significamente en la identificación de objetos y relaciones específicas.
Detectar los Detalles (Detección de Objetos): Cuando se le pide que dibuje recuadros alrededor de los objetos, el nuevo modelo es ligeramente más preciso.
Comprender la Historia (Clasificación de Grafos de Escena): Cuando se le pregunta por las relaciones (por ejemplo, "¿Qué está haciendo el brócoli?"), el nuevo modelo es mejor conectando los puntos.
La Prueba del "Mundo Real" (Generalización): Los autores probaron el modelo con imágenes que nunca había visto (de otros conjuntos de datos como MS-COCO). Aunque fue entrenado con el libro de texto SCLARO, no olvidó cómo manejar imágenes generales. De hecho, funcionó mejor que los modelos antiguos, demostando que aprender relaciones específicas ayuda a comprender el mundo mejor, no peor.

La Conclusión

Este artículo argumenta que, para comprender verdaderamente una escena, una IA debe dejar de solo mirar la "imagen completa" y empezar a prestar atención a las conexiones específicas entre las cosas.

Al crear un conjunto de datos masivo que resalta estas conexiones (SCLARO) y construir un modelo que las aprende por separado pero en conjunto (ScenarioCLIP), los autores han demostrado que la IA puede pasar de simplemente reconocer "qué hay ahí" a comprender "cómo se relacionan las cosas entre sí".

Nota sobre las Limitaciones: Los autores admiten que, debido a que utilizaron robots para crear el libro de texto, puede haber algunos errores (como un robot pensando que una nube es un sombrero). Además, algunas relaciones poco comunes son difíciles de encontrar porque no aparecen con frecuencia en las fotos. Pero, en general, el sistema funciona mejor que lo que existía anteriormente.

Resumen Técnico: SCLARO y ScenarioCLIP

Planteamiento del Problema

Los paradigmas actuales de visión por computadora para la comprensión de escenas enfrentan una brecha crítica en el razonamiento fundamentado y multinivel. Si bien los conjuntos de datos de preentrenamiento de visión-lenguaje (VLP) a gran escala proporcionan pares imagen-texto globales, carecen de la estructura relacional y la fundamentación necesarias para razonar sobre la composición de escenas finas (es decir, objetos específicos, sus relaciones entre objetos y las acciones realizadas). Por el contrario, los conjuntos de datos de grafos de escena existentes (por ejemplo, Visual Genome, OpenPSG) ofrecen estructura relacional, pero carecen de la escala y la diversidad de anotación requeridas para un preentrenamiento VLP efectivo.

En consecuencia, modelos como CLIP tienen dificultades para distinguir entre escenarios semánticamente similares pero contextualmente distintos (por ejemplo, "persona sosteniendo un bolso" frente a "persona sosteniendo un paraguas") porque carecen de una supervisión relacional fundamentada durante el entrenamiento. Además, los modelos jerárquicos como PyramidCLIP, que alinean características globales y de nivel de objeto, no logran modelar explícitamente las relaciones entre objetos, dejando sin cuantificar la eficacia de la supervisión contextual fundamentada.

Metodología

1. El Conjunto de Datos SCLARO

Para abordar la brecha de datos, los autores presentan SCLARO (Localización Contextual de Escenas de Acciones, Relaciones y Objetos), un corpus de 615.805 imágenes que abarcan escenarios de interiores, exteriores y conducción. El conjunto de datos se construye a partir de cinco fuentes públicas: CC3M, OpenPSG, Panoptic Video Scene Graph (PVSG), Multi-Moments in Time y KITTI2015.

El conjunto de datos es único por su estructura de anotación de tres niveles, generada mediante un proceso automatizado de tres etapas:

Etapa 1 (Anotación de Escena Estructurada): Un modelo de Visión-Lenguaje de pesos abiertos (Ovis-Gemma 9B) genera un pie de foto de acción global, una lista de instancias de objetos y un conjunto de tripletas de relación (objeto1, relación, objeto2).
Etapa 2 (Localización de Objetos): GroundingDINO predice cajas delimitadoras para todos los objetos identificados.
Etapa 3 (Construcción de Regiones Enfocadas): Utilizando SAM (Segment Anything Model) y ponderación de Función de Base Radial (RBF), el proceso construye regiones enfocadas en la relación. Estas son recortes de imagen específicos que resaltan el contexto espacial donde ocurre una interacción específica (por ejemplo, la región donde una "mujer" está "sosteniendo" un "tazón"), proporcionando una fundamentación visual explícita para la supervisión a nivel de relación.

El conjunto de datos final incluye 740 clases de acción, 4.812 clases de objetos y 225.609 tripletas de relación únicas.

2. El Modelo ScenarioCLIP

Para evaluar SCLARO, los autores proponen ScenarioCLIP, un modelo de Visión-Lenguaje jerárquico de tres niveles diseñado para codificar conjuntamente el contexto global, los objetos y las relaciones.

Arquitectura: A diferencia de PyramidCLIP, que utiliza un codificador compartido para todos los niveles, ScenarioCLIP emplea codificadores desentrelazados:
- Tres codificadores visuales distintos ( $f_{V,G}, f_{V,O}, f_{V,R}$ ) para imágenes globales, recortes de objetos y regiones enfocadas en la relación, respectivamente.
- Tres codificadores de texto distintos ( $f_{T,G}, f_{T,O}, f_{T,R}$ ) para pies de foto de acción, nombres de objetos y tripletas de relación.
Objetivos de Entrenamiento:
- Alineación Contrastiva ( $L_{CA}$ ): Alinea las incrustaciones (embeddings) visuales y textuales en cada nivel de forma independiente (Global-Global, Objeto-Objeto, Relación-Relación) utilizando una pérdida contrastiva imagen-texto simétrica.
- Destilación de Conocimiento ( $L_{KD}$ ): Un mecanismo profesor-alumno de Promedio Móvil Exponencial (EMA) impone consistencia semántica a través de los niveles jerárquicos.
  - Modalidad Visual: El profesor visual global regulariza las incrustaciones locales de objetos y relaciones (contexto global $\to$ local).
  - Modalidad de Texto: La dirección se invierte; las incrustaciones de texto de objetos y relaciones finas regularizan la incrustación de texto global (detalles locales $\to$ global), ya que las descripciones específicas proporcionan un contenido más preciso que los pies de foto de acciones generales.

Principales Contribuciones

Conjunto de Datos SCLARO: Un conjunto de datos a gran escala y fundamentado que proporciona pies de foto de acciones, cajas delimitadoras de objetos y regiones enfocadas en la relación a través de diversos dominios visuales, cerrando la brecha entre la escala de VLP y la estructura de grafos de escena.
ScenarioCLIP: Un modelo de tres niveles con codificadores desentrelazados y destilación de conocimiento intra-modal asimétrica, demostrando que la supervisión explícita a nivel de relación mejora la calidad de la representación.
Evaluación Exhaustiva: Un protocolo de evaluación que cubre recuperación zero-shot, probación lineal, detección de objetos, clasificación de predicados, clasificación de grafos de escena y generalización fuera de dominio, estableciendo a SCLARO como un estándar para la comprensión a nivel de escenario.

Resultados Experimentales

Los autores evalúan ScenarioCLIP frente a PyramidCLIP y varios baselines zero-shot (CLIP, SLIP, TripletCLIP, FineCLIP) en múltiples tareas:

Recuperación Zero-Shot: ScenarioCLIP supera sustancialmente a PyramidCLIP y a los baselines. Se observan ganancias notables en la recuperación de Objetos (Top-1: +14.19% sobre PyramidCLIP) y de Relaciones (Top-1: +3.13%). Los resultados indican que los codificadores desentrelazados aprenden mejores representaciones que los codificadores compartidos para tareas finas.
Probación Lineal (Linear Probe): ScenarioCLIP logra una mayor precisión Top-1 en Acciones, Objetos y Relaciones en comparación con PyramidCLIP.
Clasificación de Predicados y Grafos de Escena: ScenarioCLIP mejora el Recall@K medio (mR@K) tanto para la Clasificación de Predicados (PredCls) como para la Clasificación de Grafos de Escena (SGCls), confirmando una mejor capacidad de razonamiento relacional.
Detección de Objetos: Utilizando cabezales Faster R-CNN, ScenarioCLIP muestra ganancias consistentes en la Precisión Media (AP) sobre PyramidCLIP, lo que sugiere que las representaciones de objetos desentrelazadas sirven como un backbone superior.
Generalización Fuera de Dominio: En benchmarks externos (MS-COCO y Visual Genome), ScenarioCLIP iguala o supera al vanilla CLIP y supera significativamente a PyramidCLIP. Esto indica que el preentrenamiento con SCLARO no causa olvido catastrófico y que el preentrenamiento enfocado en la relación se transfiere eficazmente a dominios no vistos.

Significado y Reivindicaciones

El artículo afirma que SCLARO y ScenarioCLIP demuestran el valor de la supervisión fundamentada a nivel de relación en el preentrenamiento de visión-lenguaje. Los autores sostienen que:

Los modelos previos que carecen de un modelado de relación explícito (como PyramidCLIP) están limitados en su capacidad para razonar sobre estructuras de escena compositivas.
El conjunto de datos SCLARO llena un vacío crítico al proporcionar datos a escala de preentrenamiento que emparejan texto específico de la relación con regiones espacialmente fundamentadas.
La arquitectura desentrelazada de ScenarioCLIP, combinada con la destilación de conocimiento asimétrica, produce un rendimiento superior en la comprensión de objetos y relaciones sin sacrificar las capacidades de propósito general.

Los autores posicionan este trabajo como una base para la investigación futura en la comprensión de escenas compositivas y fundamentadas, incluyendo la generación de grafos de escena y el razonamiento relacional. Reconocen modestamente las limitaciones, señalando que el conjunto de datos depende de un proceso automatizado (que potencialmente retiene algunas alucinaciones) y que el vocabulario de relaciones es naturalmente de cola larga (long-tailed).