SGG-R$^{\rm 3}$: From Next-Token Prediction to End-to-End Unbiased Scene Graph Generation

El paper presenta SGG-R³, un marco de razonamiento estructurado que combina ajuste fino supervisado con aprendizaje por refuerzo y optimización de políticas de secuencia grupal para generar gráficos de escena completos y sin sesgos, abordando eficazmente la dispersión de relaciones y las distribuciones de cola larga mediante estrategias de aumento de relaciones y un esquema de recompensa de doble granularidad.

Lo esencial

¡Claro que sí! Imagina que tienes una foto de una calle muy concurrida. Tu cerebro puede ver a las personas, los coches, los árboles y entender que "el hombre está montando en la bicicleta" o "el perro está junto al poste".

Scene Graph Generation (SGG) es simplemente la tarea de enseñarle a una computadora a hacer lo mismo: convertir una imagen en una lista estructurada de "quién está haciendo qué con quién".

El problema es que las computadoras actuales suelen ser como estudiantes que memorizan respuestas de un examen: si ven un perro, siempre dicen "perro junto a una casa", incluso si el perro está en un coche. Les falta imaginación y cometen errores, especialmente con cosas raras o poco comunes.

Aquí es donde entra SGG-R3, la nueva propuesta de este paper. Vamos a explicarlo con una analogía sencilla: Entrenar a un Detective de Imágenes.

El Problema: El Detective Novato

Antes, los modelos de IA intentaban adivinar todo de golpe, como si un detective intentara resolver un crimen sin mirar las pistas una por una.

1. Caos: Se perdían en el "ruido" de la imagen.
2. Sesgo: Solo veían lo que ya conocían (el "sesgo de lo común"). Si nunca habían visto a un "gato en un globo", no lo inventarían.
3. Falta de lógica: Saltaban de una conclusión a otra sin un plan.

La Solución: SGG-R3 (El Detective con un Plan Maestro)

Los autores crearon un sistema llamado SGG-R3 que entrena a la IA en tres pasos lógicos, como si le dieran un manual de instrucciones paso a paso.

Paso 1: El "Entrenamiento con Ejemplos Extra" (Augmentación de Relaciones)

Imagina que el detective solo tiene 10 casos de "perros en parques" en su libreta, pero necesita aprender sobre "perros en globos".

• La magia: Usan una IA muy inteligente (Qwen2.5-VL) para inventar nuevos casos plausibles. Le dicen: "Imagina un perro en un globo".
• El filtro: Antes de guardar esa idea, la comparan con la realidad usando una "regla de similitud" (como comparar huellas dactilares). Si la idea inventada suena muy rara o falsa, la tiran a la basura. Si suena realista, la guardan.
• Resultado: Ahora el detective tiene miles de ejemplos extra para estudiar, no solo los pocos que tenía al principio.

Paso 2: Los "Tres Pasos de la Lógica" (Reasoning Estructurado)

En lugar de pedirle al detective que adivine todo de una vez, le obligan a seguir un proceso estricto de tres etapas (como un formulario que no se puede saltar):

1. Etapa 1: ¿Qué hay aquí? (Categorías): Primero, el detective solo hace una lista de qué cosas ve (ej: "veo un hombre, una bicicleta, una acera"). No toca nada más.
2. Etapa 2: ¿Dónde están? (Localización): Ahora, busca a cada uno de esos objetos y les pone un nombre y una dirección exacta (ej: "Hombre.1 está en [coordenadas], Bicicleta.2 está en [coordenadas]").
3. Etapa 3: ¿Qué hacen juntos? (Relaciones): Solo ahora, con la lista y las ubicaciones claras, conecta los puntos: "El Hombre.1 está montando la Bicicleta.2".

Esto evita que la IA alucine cosas que no existen, porque no puede inventar una relación hasta que no ha identificado y localizado los objetos primero.

Paso 3: El "Juez Estricto" (Recompensas Inteligentes)

Durante el entrenamiento, la IA juega a un juego donde gana puntos. Pero aquí hay un truco:

• El problema de lo raro: Normalmente, la IA gana muchos puntos por acertar cosas comunes (como "perro en parque") y casi nada por cosas raras.
• La solución (Recompensa de Doble Granularidad): Los autores crearon un sistema de puntos especial.
  • Si acierta algo común, gana puntos normales.
  • Si acierta algo raro o poco común (como "gato en globo"), ¡gana múltiples puntos extra!
  • Además, si la IA describe algo que casi es correcto (semánticamente similar), también recibe puntos. Esto la anima a ser creativa y precisa, no solo a repetir lo que ya sabe.

¿Por qué es importante?

Imagina que quieres que un robot te ayude a encontrar tus llaves en una foto desordenada.

• Antes: El robot decía: "Veo una mesa". (Punto final).
• Con SGG-R3: El robot dice: "Veo una mesa. Sobre la mesa hay un vaso. Dentro del vaso hay una llave. La llave está dentro del vaso".

El sistema SGG-R3 logra que las computadoras entiendan las imágenes de forma más humana, lógica y completa, evitando que se queden atascadas en lo obvio y permitiéndoles descubrir detalles ocultos y relaciones complejas. Es como pasar de un niño que grita "¡Mira un perro!" a un detective experto que escribe un informe detallado de la escena.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "SGG-R3: From Next-Token Prediction to End-to-End Unbiased Scene Graph Generation" en español.

1. El Problema

La Generación de Grafos de Escena (SGG) busca estructurar escenas visuales como grafos que representan objetos y sus relaciones. Aunque los Modelos de Lenguaje Multimodales (MLLM) han avanzado hacia la generación de SGG de extremo a extremo, los métodos actuales enfrentan dos desafíos críticos:

• Falta de razonamiento estructurado: La ausencia de un pipeline de razonamiento específico para SGG obliga a los modelos a navegar en un espacio de búsqueda excesivamente amplio, lo que genera alucinaciones, baja recuperación (recall) y predicciones incompletas.
• Distribución sesgada y dispersa: Las relaciones en los datos de entrenamiento siguen una distribución de "cola larga" (long-tailed), donde algunas relaciones son muy frecuentes y otras son extremadamente raras. Esto provoca que los modelos fine-tuned predigan grafos incompletos con un fuerte sesgo hacia las relaciones comunes, ignorando las relaciones raras y la diversidad semántica.

2. Metodología: SGG-R3

El artículo propone SGG-R3, un marco de razonamiento estructurado que integra Fine-Tuning Supervisado (SFT) guiado por Cadena de Pensamiento (CoT) y Aprendizaje por Refuerzo (RL) con Optimización de Política de Secuencia de Grupo (GSPO). El proceso se divide en tres etapas secuenciales:

A. Razonamiento Estructurado en Tres Etapas

En lugar de generar el grafo de golpe, el modelo sigue un proceso cognitivo estricto:

1. Detección de Categorías de Objetos: Identifica primero qué categorías de objetos están presentes en la imagen, reduciendo el espacio de búsqueda.
2. Anclaje de Instancias (Instance Grounding): Localiza y detecta todas las instancias de cada categoría identificada secuencialmente, asignando IDs únicos.
3. Extracción de Relaciones Multi-tipo: Extrae tripletes (sujeto-predicado-objeto) basándose en las instancias ancladas, clasificándolos en tipos semánticos (espaciales, posesivos, interactivos).

• Nota: Todas las etapas se formalizan en formato JSON dentro de etiquetas específicas (<CATEGORY>, <OBJECT>, <RELATION>) para garantizar la integridad estructural.

B. Fase de Fine-Tuning Supervisado (SFT) con Aumento de Relaciones

Para abordar la escasez de datos:

• Aumento de Relaciones (Relation Augmentation): Se utiliza un MLLM potente (Qwen2.5-VL-32B) para generar relaciones adicionales basadas en las anotaciones originales.
• Filtrado Semántico: Las relaciones generadas se filtran calculando la similitud coseno de sus embeddings (usando Sentence-BERT) con los tripletes de la verdad fundamental (ground-truth). Solo se retienen aquellas que superan un umbral de similitud, asegurando calidad y alineación semántica.
• Entrenamiento: El modelo se entrena con estos datos aumentados formateados como CoT.

C. Fase de Aprendizaje por Refuerzo (RL) con Recompensas de Doble Granularidad

Para refinar el razonamiento y mitigar el sesgo de cola larga, se introduce un esquema de recompensas novedoso:

• Recompensa de Granularidad Fina: Utiliza un ponderamiento adaptativo basado en la frecuencia de los predicados. Las relaciones raras (cola larga) reciben un peso mayor para incentivar su predicción.
• Recompensa de Granularidad Gruesa (Coarse-grained): Emplea un algoritmo de agrupamiento (DBSCAN) en el espacio de embeddings semánticos. Esto permite que el modelo sea recompensado si genera relaciones semánticamente cercanas a la verdad fundamental, incluso si no hay una coincidencia exacta de sujeto/objeto, mejorando así la cobertura y la generalización.
• Algoritmo: Se utiliza GSPO (Group Sequence Policy Optimization) para estabilizar el entrenamiento en la generación de secuencias largas y estructuradas.

3. Contribuciones Clave

1. Marco de Razonamiento Estructurado: Un pipeline de tres etapas (Categoría -> Instancia -> Relación) que mejora la coherencia lógica y el control en la generación de grafos de escena.
2. Estrategia de Aumento y Recompensa: Una combinación de aumento de datos basado en CoT para SFT y una recompensa de doble granularidad para RL, diseñadas específicamente para resolver el problema de la distribución de cola larga y la dispersión de relaciones.
3. Rendimiento Superior: Demostración experimental de que el enfoque supera a los métodos basados en clasificación tradicional y a otros MLLMs en métricas clave.

4. Resultados Experimentales

El modelo fue evaluado en dos benchmarks estándar: VG150 y PSG.

• Comparativa: SGG-R3 (basado en Qwen2.5-VL-3B) superó a métodos no-VLM y a otros enfoques basados en VLM/MLLM.
• Métricas: Logró el mejor mRecall (Recall medio) entre los métodos basados en VLM en VG150 y superó a la mayoría de los métodos no-VLM en PSG.
• Generalización: Mostró un rendimiento superior en Recall de Cero-Shot (zsRecall), indicando una mejor capacidad para generalizar a relaciones no vistas durante el entrenamiento.
• Análisis de Ablación:
  • El Aumento de Relaciones (RA) mejoró significativamente la detección de predicados de "cuerpo" y "cola".
  • La Recompensa de Doble Granularidad (DGR) mitigó el sesgo, mejorando el recall en predicados raros y aumentando la cobertura semántica.
• Eficiencia: Aunque el modelo base es pequeño (3B), tras el entrenamiento RL, superó a modelos base mucho más grandes (7B y 32B) en tareas de razonamiento denso.

5. Significado e Impacto

SGG-R3 representa un avance significativo al demostrar que los MLLMs pueden realizar razonamiento visual denso y estructurado si se les guía mediante un proceso de inferencia paso a paso (CoT) y se optimizan con recompensas alineadas a la estructura del grafo.

• Sesgo Reducido: Aborda directamente el problema de la "cola larga" en SGG, permitiendo la generación de grafos más completos y menos sesgados.
• Aplicaciones: Mejora la comprensión de escenas para aplicaciones downstream como la respuesta a preguntas visuales (VQA), la recuperación de imágenes y la navegación de agentes embebidos.
• Limitaciones: El método aún presenta latencia de inferencia debido al uso de MLLMs y depende de la calidad de los datos aumentados. El entrenamiento actual está limitado a un vocabulario cerrado, aunque el marco es prometedor para futuras extensiones a vocabularios abiertos.

En resumen, el trabajo transforma la generación de grafos de escena de una tarea de predicción de tokens suelta a un proceso de razonamiento estructurado y optimizado, logrando un equilibrio superior entre precisión, cobertura y equidad en la predicción de relaciones.