Sapiens2

1. El Problema

El campo de la visión centrada en el humano ha enfrentado desafíos fundamentales para lograr un equilibrio entre la generalización semántica (entender qué es un objeto o una parte del cuerpo) y la fidelidad de los detalles de bajo nivel (texturas, bordes finos, geometría precisa).

• Limitaciones de los enfoques anteriores:
  • Los modelos basados en Modelado de Imágenes Enmascaradas (MIM), como MAE, son excelentes para preservar detalles espaciales y texturas, pero a menudo carecen de una comprensión semántica profunda sin supervisión intensiva.
  • Los métodos de Aprendizaje Contrastivo (CL) aprenden buenas representaciones semánticas globales, pero tienden a perder detalles espaciales finos y fidelidad fotométrica (crucial para tareas densas como la segmentación de cabello o la estimación de normales), debido a que sus objetivos de invarianza global pueden "desacoplar" al modelo de las observaciones reales (ej. perder información de color).
• Brecha de resolución: La mayoría de los modelos de visión existentes operan a resoluciones estándar (224px o 512px), lo que limita su capacidad para tareas de alta fidelidad como la creación de avatares realistas o la estimación geométrica precisa.

2. Metodología

Sapiens2 introduce una familia de modelos transformadores diseñados específicamente para la visión centrada en el humano, abordando el problema a través de tres ejes: datos, arquitectura y objetivos de entrenamiento.

A. Datos: El conjunto "Humans-1B"

• Se curó un dataset masivo de 1 mil millones de imágenes de alta calidad de personas extraídas de un corpus web a gran escala (~4B imágenes).
• Filtrado multi-etapa: Se aplicaron filtros de detección de cajas delimitadoras, estimación de pose de la cabeza, puntuación estética y de realismo, y detección de superposiciones de texto.
• Criterios de selección: Se retuvieron imágenes donde al menos una persona tenía un lado corto de ≥384 píxeles. Se eliminaron duplicados mediante hashing perceptual y se equilibró la distribución (posturas, etnias, iluminación, oclusiones) mediante muestreo selectivo.
• Enfoque inductivo: No se inyectaron priors humanos específicos ni etiquetas de tarea durante el preentrenamiento; el modelo aprende puramente de los datos visuales.

B. Objetivo de Preentrenamiento Unificado

Sapiens2 combina dos objetivos para aprender características que sean tanto semánticas como detalladas:

1. Reconstrucción de Imágenes Enmascaradas (MAE): Para aprender detalles de bajo nivel (texturas, bordes) y anclar las características en el espacio de píxeles.
2. Aprendizaje Contrastivo (CL): Utilizando un esquema estudiante-profesor (basado en DINOv3) con una pérdida de entropía cruzada sobre los tokens [CLS]. Esto organiza las características semánticamente y mejora la invarianza a las vistas.

• Resultado: Un objetivo unificado ($L = L_{MAE} + \lambda L_{CL}$) que permite generalización zero-shot y few-shot manteniendo la fidelidad necesaria para tareas densas.

C. Arquitectura y Escalabilidad

• Tamaños de modelo: La familia varía desde 0.4B hasta 5 mil millones de parámetros.
• Resolución Nativa: Soporta nativamente 1K (1024x768) y una variante jerárquica para 4K (4096x3072).
• Diseño Jerárquico para 4K: Para manejar la 4K de manera eficiente, se utiliza una arquitectura de atención en ventanas (windowed attention) en las primeras capas para capturar estructura local, seguida de un agrupamiento (pooling) de tokens y atención global en las capas posteriores.
• Estabilizaciones: Incorpora avances de modelos de vanguardia como RMSNorm (en lugar de LayerNorm), QK-Norm (para estabilidad en alta resolución), Gated SwiGLU en las capas feed-forward y Grouped-Query Attention (GQA) para mayor rendimiento.
• Decodificador: Utiliza pixel-shuffle para el razonamiento a nivel de sub-píxel y decodifica a resoluciones de salida de 1K (modelos base) y 2K (modelos 4K).

3. Contribuciones Clave

1. Familia de Modelos de Alta Resolución: Sapiens2 es la primera familia de transformadores centrados en humanos que escala a 5B de parámetros y soporta resoluciones de entrada de 4K, estableciendo un nuevo estándar en FLOPs para visión.
2. Objetivo de Preentrenamiento Híbrido: Demuestra que combinar la reconstrucción enmascarada con objetivos contrastivos es superior para tareas humanas, logrando tanto la precisión semántica como la fidelidad de detalles finos (ej. segmentación de labios, orejas, joyas).
3. Supervisión de Alta Calidad Post-entrenamiento: Se fine-tunea el modelo en cinco tareas fundamentales con anotaciones de alta calidad y sintéticas mejoradas:
   • Estimación de pose (308 puntos clave).
   • Segmentación de partes del cuerpo (29 clases, incluyendo gafas).
   • Estimación de Pointmap (mapa de puntos 3D por píxel).
   • Estimación de normales de superficie.
   • Estimación de albedo (reflejo difuso).
4. Generalización Robusta: Los modelos logran un rendimiento superior en imágenes "in-the-wild" (no controladas) sin necesidad de arquitecturas específicas para cada tarea.

4. Resultados

Los experimentos muestran mejoras significativas sobre la generación anterior (Sapiens) y sobre modelos de propósito general (DINOv2/3, PE) y específicos de tarea:

• Pose Estimation: Sapiens2-5B alcanza un 82.3 mAP en un conjunto de prueba de 11k imágenes, superando a Sapiens-2B (+4.0 mAP) y estableciendo un nuevo estado del arte (SOTA) para predicciones de 308 puntos clave.
• Segmentación: Mejora drástica en mIoU. Sapiens2-5B logra un 82.5% mIoU (+24.3 puntos sobre Sapiens-1B), logrando una segmentación precisa de accesorios pequeños y detalles anatómicos.
• Normal Estimation: Reduce el error angular medio en un 45.6% respecto a la generación anterior. El modelo Sapiens2-1B logra un error de 7.12°, superando a métodos monocular SOTA como DAViD.
• Pointmap y Albedo: Supera a métodos como MoGe y UniDepth en la estimación de geometría 3D y recupera tonos de piel y texturas de ropa con alta fidelidad bajo iluminación variable, a pesar de entrenarse principalmente con datos sintéticos para estas tareas.
• Eficiencia: A pesar de la alta resolución, el uso de atención en ventanas y GQA mantiene la viabilidad computacional.

5. Significado e Impacto

Sapiens2 representa un avance fundamental en la visión por computadora centrada en el humano:

• Unificación de Tareas: Demuestra que un único modelo base puede manejar una amplia gama de tareas (desde pose hasta albedo) con alta fidelidad, eliminando la necesidad de modelos especializados para cada tarea.
• Calidad de Salida: La capacidad de operar a 4K y generar salidas de 2K permite aplicaciones que requieren realismo extremo, como la creación de avatares digitales, realidad aumentada y análisis médico o biomecánico detallado.
• Escalabilidad: Establece que la escalabilidad de datos (1B de imágenes) y parámetros (hasta 5B) sigue siendo una vía efectiva para mejorar la comprensión de la complejidad humana en entornos no controlados.
• Reproducibilidad: Al ser un modelo de código abierto (GitHub proporcionado en el paper), Sapiens2 sirve como una base robusta para la investigación futura en visión generativa y análisis de comportamiento humano.

En resumen, Sapiens2 cierra la brecha entre la comprensión semántica global y la fidelidad de detalles locales, estableciendo un nuevo estándar para la visión artificial centrada en el ser humano.