SceneCritic: A Symbolic Evaluator for 3D Indoor Scene Synthesis

1. El Problema

La generación de entornos interiores 3D mediante Grandes Modelos de Lenguaje (LLM) y Modelos Visión-Lenguaje (VLM) ha avanzado significativamente, utilizando representaciones estructuradas como planos y grafos de escena. Sin embargo, la evaluación de estas escenas generadas sigue siendo un cuello de botella crítico:

• Inestabilidad de los Evaluadores Basados en VLM: Los métodos actuales suelen pedir a un VLM que juzgue la calidad de una escena basándose en unas pocas vistas renderizadas 2D. Estos evaluadores son altamente inestables: sus puntuaciones varían drásticamente según el ángulo de visión, la formulación del prompt y son propensos a alucinaciones (falsas detecciones).
• Falta de Diagnóstico Preciso: Las evaluaciones actuales suelen proporcionar una puntuación global o un ranking grueso, sin identificar qué restricciones espaciales específicas se violaron (ej. escala incorrecta, orientación errónea, superposición de objetos).
• Dependencia de Juicios Subjetivos: Las alternativas más fiables son los estudios con humanos, pero estos son costosos, difíciles de escalar y no ofrecen un análisis automatizado y reproducible de las violaciones.

2. Metodología Propuesta

Los autores proponen SceneCritic, un evaluador simbólico que opera directamente sobre la representación del plano de la planta (layout), evitando la necesidad de renderizado y juicios de modelos generativos.

A. SceneOnto: Ontología Espacial Estructurada

El núcleo de SceneCritic es SceneOnto, una base de conocimientos construida a partir de la agregación de priores espaciales de tres grandes conjuntos de datos: 3D-FRONT, ScanNet y Visual Genome.

• Estructura: Es un grafo relacional por tipo de habitación que codifica:
  • Dimensiones de objetos: Distribuciones estadísticas (percentiles) de ancho, alto y profundidad.
  • Relaciones de soporte: Qué superficies sostienen a qué objetos.
  • Estadísticas de co-ocurrencia: Probabilidades condicionales de que ciertos objetos aparezcan juntos (ej. cama y mesita de noche).
  • Relaciones de orientación: Preferencias canónicas (ej. "espalda a la pared", "frente al centro de la habitación", "frente a otro objeto").

B. El Evaluador SceneCritic

SceneCritic recorre la estructura de SceneOnto para verificar la coherencia de un layout generado en tres dimensiones principales:

1. Semántica Espacial: Verifica la escala de los objetos, la co-ocurrencia plausible, la proximidad, la completitud (todos los objetos pedidos están presentes) y la plausibilidad general.
2. Verificación de Orientación: Comprueba si la orientación (yaw) de cada objeto cumple con las reglas canónicas (ej. ¿la silla está frente a la mesa?).
3. Detección de Superposición (Overlap): Identifica violaciones físicas utilizando dos métodos:
   • Superposición de proximidad (AABB): Detecta si las huellas espaciales gruesas se invaden.
   • Superposición real (OBB): Detecta colisiones geométricas precisas considerando la rotación.

A diferencia de los VLM, SceneCritic proporciona evaluaciones a nivel de objeto y relación, identificando exactamente qué pares de objetos fallaron y por qué.

C. Testbed de Refinamiento Iterativo

Para probar la utilidad del evaluador, los autores diseñaron un entorno de pruebas donde modelos de IA intentan mejorar un layout inicial bajo la retroalimentación de tres tipos de "críticos":

• Crítico Heurístico: Basado en reglas simples (colisiones, límites).
• Crítico LLM: Opera sobre el layout como texto.
• Crítico VLM: Opera sobre las observaciones renderizadas (imágenes).

3. Contribuciones Clave

1. Construcción de SceneOnto: Un dataset ontológico grounded en datos reales que captura estadísticas de dimensiones, co-ocurrencias y orientaciones para 79 categorías de objetos en múltiples tipos de habitaciones.
2. Desarrollo de SceneCritic: Un evaluador simbólico, interpretable y estable que no depende de renderizado ni de modelos de caja negra, alineándose significativamente mejor con el juicio humano que los evaluadores basados en VLM.
3. Marco de Evaluación Iterativa: Un testbed que permite estudiar cómo diferentes modelos (con distintos objetivos de post-entrenamiento) construyen y corrigen estructuras espaciales paso a paso.
4. Hallazgos Comparativos: Demostración de que los LLMs puramente textuales pueden superar a los VLMs en calidad semántica, y que el refinamiento basado en imágenes es superior para corregir orientaciones y semántica.

4. Resultados Principales

• Alineación con Humanos: SceneCritic alcanza un 94.44% de acuerdo con juicios humanos en escenas simples y 83.33% en escenas complejas. En contraste, los evaluadores basados en VLM (Gemini-2.5-Pro) solo alcanzan un 58.82% (simple) y 47.06% (complejo), mostrando una alta inestabilidad.
• Inestabilidad de los VLM: Se demostró que la puntuación de un VLM para la misma escena puede variar drásticamente (ej. de 75% a 55%) dependiendo de la vista renderizada (izquierda, derecha, frente), mientras que SceneCritic es invariante a la vista.
• Rendimiento de Modelos:
  • LLMs de Texto vs. VLMs: Modelos de texto puro (como DeepSeek-3.2V) lograron puntuaciones semánticas más altas que VLMs propietarios (como Gemini-2.5-Flash) bajo refinamiento heurístico y basado en LLM.
  • Refinamiento Basado en Imágenes: Se encontró que el refinamiento guiado por imágenes (VLM criticando vistas renderizadas) es la modalidad más efectiva para corregir errores de orientación y semántica, superando a los críticos puramente textuales o heurísticos.
  • Efecto del Entrenamiento Matemático: Modelos más pequeños pero entrenados con objetivos de razonamiento matemático (GRPO) mostraron una capacidad superior para resolver problemas de orientación precisa en comparación con modelos mucho más grandes.

5. Significado e Impacto

Este trabajo es fundamental para el campo de la síntesis de escenas 3D porque:

• Establece un Estándar de Evaluación Robusto: Proporciona una métrica objetiva y reproducible que elimina el ruido introducido por la variabilidad de los VLMs y la subjetividad de los estudios humanos a gran escala.
• Habilita el Diagnóstico de Errores: Al identificar violaciones específicas (ej. "la silla no mira a la mesa"), permite a los desarrolladores de modelos de generación entender exactamente dónde fallan sus sistemas y cómo mejorarlos.
• Guía el Futuro del Entrenamiento: Sugiere que para tareas de razonamiento espacial, la combinación de entrenamiento en texto (para coherencia semántica) y retroalimentación visual (para corrección de orientación) es la estrategia óptima, desafiando la noción de que los VLMs son siempre superiores para tareas espaciales.

En resumen, SceneCritic cierra la brecha entre la generación de escenas 3D y su evaluación fiable, ofreciendo una herramienta simbólica grounded en datos reales que es esencial para el avance de agentes embodied, realidad virtual y robótica.