Resumen Técnico: SceneGraphVLM

Declaración del Problema

La Generación de Grafos de Escena (SGG) tiene como objetivo representar escenas visuales como grafos estructurados y compactos, donde los nodos denotan objetos y las aristas codifican relaciones. Aunque es esencial para tareas posteriores como la robótica y el análisis de video, generar grafos de escena precisos, estructuralmente válidos y compactos sigue siendo un desafío. Las pipelines tradicionales de múltiples etapas sufren de propagación de errores y fragilidad. Los enfoques recientes de Modelos Visuales-Lingüísticos (VLM) ofrecen una generación de extremo a extremo, pero a menudo producen salidas largas e ineficientes en tokens que contienen objetos irrelevantes y relaciones alucinadas. Además, los métodos existentes basados en VLM priorizan frecuentemente la recuperación (recall), lo que conduce a grafos excesivamente completos que diluyen la información útil y reducen la fiabilidad para la toma de decisiones. Extender estos desafíos al video, manteniendo la consistencia temporal sin seguimiento complejo o postprocesamiento, sigue siendo un problema abierto.

Metodología

Los autores proponen SceneGraphVLM, un método compacto de extremo a extremo para la generación de grafos de escena en imágenes y videos utilizando pequeños modelos visuales-lingüísticos. La metodología se basa en tres pilares fundamentales:

1. Serialización Eficiente en Tokens (Formato TOON)

Para abordar los altos costos de decodificación y la longitud de las representaciones JSON estándar, los autores serializan los grafos de escena en un formato TOON. Este esquema almacena los objetos como filas bajo un encabezado compartido y las relaciones en bloques compactos, eliminando claves repetidas y la estructura anidada redundante. Esto reduce la longitud de la anotación en aproximadamente 1.17× a 1.24× en diversos conjuntos de datos (PSG, PVSG, Action Genome) mientras preserva toda la información de objetos, cajas delimitadoras y relaciones, acelerando así la generación y reduciendo la latencia.

2. Pipeline de Entrenamiento en Dos Etapas

El modelo experimenta un proceso de optimización en dos etapas:

• Ajuste Fino Supervisado (SFT): El VLM base (específicamente Qwen3.5-0.8B) se entrena para mapear entradas visuales al esquema TOON objetivo. Esta etapa enseña al modelo a seguir el formato requerido, utilizar vocabularios específicos del conjunto de datos y producir salidas estructuradas analizables.
• Aprendizaje por Refuerzo (RL) con GRPO: Para optimizar la calidad a nivel de grafo más allá de la supervisión a nivel de token, los autores emplean la Optimización de Política Relativa de Grupo (GRPO). Crucialmente, introducen recompensas conscientes de las alucinaciones que equilibran la cobertura de relaciones con la precisión. La función de recompensa total ($R_{total}$) combina:
  • Recompensas Base de Grafo: Validez del formato, clasificación de objetos y localización de objetos (mediante emparejamiento húngaro e IoU).
  • Recompensas de Equilibrio de Relaciones: Términos basados en precisión y F1 para evitar que el modelo genere en exceso relaciones para maximizar la recuperación.
  • Penalizaciones por Alucinaciones: Penalizaciones explícitas para objetos y relaciones no emparejados (sin soporte), desalentando la generación de entidades no fundamentadas.

3. Inferencia en Video con Contexto Temporal

Para secuencias de video, SceneGraphVLM procesa los fotogramas secuencialmente. Puede condicionar la generación del grafo del fotograma actual en el grafo generado para el fotograma anterior. Esto proporciona un contexto temporal a corto plazo ligero sin requerir módulos de seguimiento separados. Los autores evalúan dos protocolos:

• GT-prompt: Utilizando grafos anteriores de verdad fundamental (configuración oráculo).
• Generated-prompt: Utilizando las predicciones anteriores del propio modelo (configuración de implementación realista), lo que prueba la robustez frente a la propagación de errores.

Contribuciones Clave

1. Arquitectura SceneGraphVLM: Un método compacto de extremo a extremo que utiliza pequeños VLM (por ejemplo, Qwen3.5-0.8B) y la representación eficiente en tokens TOON, logrando fuertes compensaciones entre calidad y velocidad.
2. Entrenamiento Consciente de Alucinaciones: La introducción de un entrenamiento basado en GRPO con recompensas orientadas a grafos que penalizan explícitamente objetos y relaciones sin soporte, equilibrando la recuperación con la precisión para producir grafos fundamentados y compactos.
3. SGG Eficiente en Video: Un enfoque ligero para la generación de grafos de escena en video que aprovecha los grafos de fotogramas anteriores para el contexto temporal sin postprocesamiento complejo, logrando una inferencia casi en tiempo real.

Resultados Experimentales

El método fue evaluado en PSG (Grafo de Escena Panóptico), PVSG (Grafo de Escena Panóptico de Video) y Action Genome.

• Rendimiento vs. Líneas Base: En PSG, SceneGraphVLM logra una puntuación SGG de 0.442 (Estricta) y 0.460 (Suave), superando a los VLM comerciales de cero disparos (por ejemplo, Gemini-3-flash con 0.318) y a modelos de código abierto más grandes. Mejora significativamente las métricas orientadas a la precisión en comparación con líneas base pesadas en recuperación como R1-SGG.
• Rendimiento en Video: En PVSG, el modelo demuestra robustez en la configuración Generated-prompt. La etapa de RL mejora la puntuación SGG Estricta en un 19% (de 0.306 a 0.365) sobre el punto de control solo SFT, superando a todas las líneas base comerciales y de código abierto.
• Eficiencia: Aprovechando el formato TOON y la decodificación acelerada por vLLM, SceneGraphVLM genera grafos de escena completos en aproximadamente 0.64 segundos para imágenes y 1.07 segundos para videos en una sola GPU A100.
• Action Genome: El modelo logra una Precisión@50 de 38.74 y un F1@50 de 30.75, superando sustancialmente a la línea base OED (P@50=8.02, F1@50=13.37) en precisión, demostrando su capacidad para evitar relaciones alucinadas.

Significado y Afirmaciones

El artículo afirma que SceneGraphVLM establece una nueva compensación calidad-velocidad para la generación generativa de grafos de escena. Al combinar una representación eficiente en tokens con aprendizaje por refuerzo consciente de la precisión, el método permite que pequeños VLM produzcan grafos de escena fiables, compactos y fundamentados visualmente, adecuados para aplicaciones casi en tiempo real. Los autores enfatizan que su enfoque aborda el modo de fallo común de la SGG basada en VLM —la sobre-generación y las alucinaciones— penalizando explícitamente el contenido sin soporte durante el entrenamiento. La capacidad de mantener la consistencia temporal en videos utilizando únicamente el grafo generado anterior, sin seguimiento externo, se destaca como un paso significativo hacia la implementación práctica en robótica y análisis de video.

Los autores señalan limitaciones, incluida la dependencia de conjuntos de datos de vocabulario cerrado, la posible acumulación de errores en secuencias de video y la necesidad de recursos específicos de GPU para la inferencia en tiempo real, pero afirman que el método proporciona una base práctica para la SGG basada en VLM en tareas posteriores.