InHabit: Leveraging Image Foundation Models for Scalable 3D Human Placement

Resumen Técnico: InHabit

1. El Problema

El avance en la inteligencia artificial encarnada (embodied AI) y la robótica depende de la capacidad de los agentes para entender las escenas 3D desde una perspectiva centrada en el humano. Esto no solo implica la reconstrucción geométrica, sino comprender cómo interactúan naturalmente las personas con el entorno (ej. cocinar, sentarse, mirar por la ventana).

Sin embargo, existe una escasez crítica de datos que satisfagan esta necesidad:

• Captura de movimiento real: Es costosa, logística y está limitada a estudios controlados, con conjuntos de datos existentes que cubren menos de 30 escenas.
• Datos sintéticos actuales: Se basan en heurísticas geométricas simples (evitar colisiones) que ignoran el contexto semánico rico. Los humanos generados son físicamente válidos pero semánticamente absurdos (ej. parados en una pared sin razón).
• Brecha: No existen grandes conjuntos de datos de humanos 3D interactuando significativamente con entornos 3D diversos.

2. Metodología: InHabit

Los autores proponen InHabit, un generador de datos completamente automático y escalable que traslada el conocimiento implícito de los modelos fundacionales 2D al dominio 3D. El sistema sigue un principio de "Renderizar-Generar-Levantar" (Render–Generate–Lift) en cuatro etapas:

A. Inserción de Humanos Conscientes de la Escena en 2D (Render & Generate)

• Entrada: Se renderiza una vista de una escena 3D existente (ej. escaneos de HM3D).
• Razonamiento de Afecciones (Affordance Reasoning): Se utiliza un Modelo de Visión-Lenguaje (VLM) para analizar la escena y proponer acciones semánticamente coherentes.
  • Estrategia de Afecciones: El VLM identifica qué actividades son posibles (ej. una cocina permite cocinar).
  • Estrategia de Acciones: Para evitar la convergencia en acciones genéricas, se le pide al VLM contextualizar acciones predefinidas (ej. "de pie" en una habitación con una lámpara se convierte en "de pie en una silla para cambiar la bombilla").
  • Restricción: Se limita a interacciones que no alteren la geometría de la escena (no abrir puertas ni mover muebles).
• Generación Visual: Un Modelo de Edición de Imágenes (basado en fundaciones) inserta uno o más humanos en la imagen renderizada, ajustando la pose, proporciones y orientación al contexto local (ej. sentado frente a una TV). Esto permite variaciones de pose finas y naturales difíciles de lograr con optimización pura.

B. Levantamiento a 3D (Lift)

• Reconstrucción Física: Los humanos insertados en 2D se "levantan" a 3D utilizando un método de optimización inspirado en PhySIC y PROX, pero con una ventaja clave: se utiliza la geometría 3D completa y conocida de la escena.
• Optimización: Se estiman los parámetros del cuerpo humano (SMPL-X: pose $\theta$, forma $\beta$, traslación $t$ y escala $s$) minimizando una función de pérdida que incluye:
  • Consistencia de reproyección 2D.
  • Alineación con mapas de profundidad estimados.
  • Contacto plausible con superficies de la escena.
  • Penalización de penetración (intersección con la geometría de la escena).
• Parámetro de Escala: Se introduce un parámetro explícito de escala ($s$) para desacoplar el tamaño métrico de la forma del cuerpo, mejorando la convergencia.

C. Control de Calidad y Filtrado
Para eliminar artefactos generados por los modelos de edición, se aplican tres filtros post-reconstrucción:

1. Filtro de Visibilidad: Elimina humanos que aparecen solo en espejos o están severamente truncados.
2. Filtro de Consistencia de Profundidad: Detecta cambios geométricos no deseados en el fondo (ej. muebles "alucinados") comparando la profundidad editada con la geometría original de la escena.
3. Filtro de Volumen: Elimina casos donde el modelo intenta ajustar un cuerpo adulto (SMPL-X) a niños o objetos no humanos (posters, estatuas), detectados por volúmenes corporales anómalamente bajos.

3. Contribuciones Clave

1. Método Automatizado y Escalable: Un pipeline que combina razonamiento de VLM, generación de imágenes y reconstrucción 3D basada en optimización para crear interacciones humano-escena semánticamente significativas sin anotación manual.
2. Dataset "InHabitants": El primer conjunto de datos 3D de interacción humano-escena (HSI) a gran escala.
   • Escala: Más de 78,000 muestras generadas en aproximadamente 800 escenas a escala de edificio (Habitat-Matterport3D).
   • Contenido: Incluye geometría 3D completa, cuerpos SMPL-X alineados y imágenes RGB.
   • Diversidad: Cubre interacciones de una y múltiples personas, con una amplia variedad de acciones y objetos.
3. Validación Empírica: Evidencia cuantitativa y cualitativa de que los datos sintéticos mejoran el estado del arte (SOTA) en tareas de estimación de contacto y reconstrucción HSI.

4. Resultados y Evaluación

• Comparación Cualitativa: InHabit supera a métodos como GenZI y POSA++. Mientras que los métodos basados en optimización pura a menudo fallan en el contexto semántico (ej. pies pegados a paredes), InHabit genera poses naturales y coherentes (ej. tocar una estatua, recostarse en un sofá).
• Estudio de Usuarios: En un estudio perceptual con 726 respuestas, las interacciones generadas por InHabit fueron preferidas en un 78.1% de los casos frente a las de GenZI (6.7%) y POSA++ (15.2%), basándose en realismo, viabilidad física y naturalidad de la pose.
• Mejora en Tareas Descendentes:
  • Estimación de Contacto: Al entrenar el modelo DECO con datos de InHabitants, se mejoró el rendimiento en el benchmark DAMON (aumento del 10.6% en Recall y 7.4% en F1) comparado con usar solo datos reales o TRUMANS.
  • Reconstrucción HSI: Modelos feed-forward (Human3r y GRAFT) entrenados con InHabitants superaron a sus versiones entrenadas con datos originales en los benchmarks PROX y RICH, demostrando una mejor generalización y precisión en el contacto cuerpo-escena.

5. Significado e Impacto

El trabajo demuestra que los modelos fundacionales 2D entrenados con datos a escala de internet codifican suficiente conocimiento de sentido común sobre las interacciones humano-entorno para servir como una alternativa práctica y escalable a la costosa captura de movimiento 3D.

InHabit resuelve el cuello de botella de la escasez de datos para la IA encarnada, permitiendo la generación masiva de datos de entrenamiento semánticamente ricos. Esto facilita el entrenamiento de agentes robóticos y virtuales que no solo evitan colisiones, sino que comprenden y ejecutan comportamientos humanos naturales en entornos complejos. El código y el dataset se publicarán públicamente para fomentar la investigación en comprensión de escenas 3D.