Resumen Técnico: RegHead

Planteamiento del Problema

La creación de avatares de cabeza no humanos en 3D animables es crítica para la RA, las redes sociales y los videojuegos, pero sigue siendo un área poco explorada. Una interfaz de animación práctica requiere blendshapes semánticos: un vocabulario fijo de expresiones interpretables que comparten correspondencia de vértices a través de diversas identidades. Esto permite un control de baja dimensión y el retargeting entre identidades sin tener que resolver nuevos problemas de correspondencia en tiempo de ejecución.

Sin embargo, la construcción de estos conjuntos de blendshapes para cabezas no humanas enfrenta tres cuellos de botella principales:

1. Supervisión Escasa: Los modelos actuales de generación de imágenes/video tienen dificultades para producir la misma expresión predefinida (por ejemplo, "fruncir el ceño") de manera consistente en diferentes identidades no humanas, lo que dificulta la obtención de observaciones 2D a gran escala con etiquetas semánticas consistentes.
2. Falta de Correspondencia: Los métodos modernos de generación 3D/4D producen superficies de alta calidad específicas de cada expresión, pero típicamente carecen de correspondencia de vértices entre expresiones, lo que los hace inutilizables como una base directa de blendshapes. La recuperación de la correspondencia mediante la optimización de registro no rígido es computacionalmente costosa y difícil de escalar.
3. Deformaciones Localizadas: Las expresiones faciales no humanas suelen implicar deformaciones altamente localizadas y específicas de la especie (por ejemplo, articulación específica de la mandíbula o movimientos de los párpados) que son mal capturadas por los modelos de deformación global genéricos.

Los métodos existentes dependen de pipelines de optimización pesados (lentos) o de priors paramétricos como 3DMM (que fallan cuando la geometría se desvía significativamente de la anatomía humana).

Metodología

RegHead propone un framework feed-forward para convertir mallas de expresión no registradas en una base de blendshapes semánticos correspondidos en una sola pasada. El pipeline consta de tres etapas principales:

1. Construcción de un Conjunto de Datos a Gran Escala

Para abordar la falta de etiquetas semánticas consistentes, los autores definen un vocabulario de expresiones fijo $\mathcal{E}$ utilizando una pequeña biblioteca de activos no humanos de alta calidad con rigging artístico. Ajustan (fine-tune) un modelo de edición de imágenes sobre renderizados emparejados de esta biblioteca para realizar ediciones controladas desde una referencia neutra hacia expresiones objetivo. Este modelo se aplica a generaciones de texto a imagen para escalar el vocabulario a aproximadamente 20,000 identidades no humanas. Las superficies 3D específicas de cada expresión se reconstruyen a partir de estas imágenes utilizando pipelines de generación 3D/4D condicionados por imagen, lo que resulta en mallas puras $\{\tilde{M}_t\}$ que son semánticamente consistentes pero carecen de correspondencia de vértices.

2. Representación de Movimiento de Anclaje Estocástico Denso

Para manejar diversas topologías sin esqueletos o plantillas predefinidos, RegHead introduce una representación de anclaje estocástico denso:

• Anclajes Estocásticos: En lugar de optimizar coordenadas de anclaje fijas, el modelo vuelve a muestrear un conjunto de anclajes de deformación $\mathcal{A}$ en la malla neutra en cada iteración de entrenamiento. Esto incentiva al modelo a aprender predicciones invariantes al diseño de los anclajes.
• Puntos de Consulta (Query Points): Un conjunto más denso de puntos de consulta $\mathcal{Q}$ se muestrea en la forma neutra.
• Tokens de Vóxel: Las mallas de expresión se voxelizan para crear tokens de vóxel basados en un desproyectado multivista $\mathcal{V}_t$, que incluyen códigos latentes de 8 canales y máscaras de segmentación semántica desproyectadas (por ejemplo, para los ojos).
• Propagación: El modelo predice transformaciones de similitud por anclaje $\mathcal{T}_t$. Estas se propagan a los puntos de consulta densos mediante Skinning de Mezcla Lineal (LBS) usando pesos de skinning precomputados basados en distancias de Mahalanobis inversas hacia los anclajes más cercanos. Esto permite una deformación de esparcido-a-denso que es eficiente pero expresiva.

3. Modelo de Registro Feed-Forward

La novedad central es una red de emparejamiento consciente de la correspondencia de grueso a fino que predice la deformación desde la malla neutra hacia cada expresión objetivo:

• Emparejador Global (Global Matcher): Utiliza atención cruzada para agregar contexto de largo alcance de los tokens de vóxel globales hacia los tokens de anclaje. Predice una deformación gruesa para llevar los anclajes al "cuenco" (basin) correcto para el emparejamiento local, abordando movimientos de gran soporte (por ejemplo, la articulación de la mandíbula).
• Emparejador Local Estructurado (Structured Local Matcher): Para cada anclaje deformado groseramente, el modelo recolecta un vecindario de estarcido (stencil) multirradio estructurado de los tokens de vóxel (en lugar de un simple kNN). Utiliza atención cruzada local para refinar el token del anclaje y predecir una transformación residual. Esta etapa está diseñada para capturar cambios faciales finos y localizados.
• Entrenamiento: El modelo se entrena sin correspondencias de puntos de verdad fundamental (ground-truth). Utiliza una pérdida de renderizado diferenciable (comparando el RGB y la segmentación renderizados de los puntos predichos frente a los puntos objetivo) y una pérdida de distancia de Chamfer auxiliar en las posiciones de los anclajes gruesos para asegurar la consistencia geométrica.

4. Retargeting en Tiempo Real

Para su aplicación, un pequeño MLP mapea los coeficientes de seguimiento facial humano (desde un ajuste 3DMM estándar) a los pesos del vocabulario de blendshapes no humanos. Esto permite el retargeting en tiempo real desde el rendimiento humano hacia personajes no humanos sin optimización por fotograma.

Principales Contribuciones

1. Dataset: Construcción de un dataset a gran escala (~20k identidades) de cabezas no humanas con un vocabulario de expresiones semánticas fijo, permitiendo el estudio escalable de la generación de blendshapes.
2. Representación de Movimiento: Introducción de anclajes estocásticos densos, una representación agnóstica a la topología para la deformación facial no humana localizada que no depende de huesos, esqueletos o plantillas compartidas predefinidas.
3. Registro Feed-Forward: Un novedoso modelo de registro que convierte mallas no registradas en blendshapes correspondidos en una sola pasada, entrenado sin correspondencias o campos de deformación de verdad fundamental.
4. Rendimiento: Demostración de una mayor fidelidad y un tiempo de inferencia significativamente más rápido (órdenes de magnitud) en comparación con los baselines basados en optimización, permitiendo el retargeting en tiempo real.

Resultados Experimentales

Los autores evalúan RegHead contra ActionMesh (feed-forward), V2M4 (basado en optimización) y T2Bs (alineación basada en optimización).

• Métricas Cuantitativas: RegHead logra un rendimiento superior en apariencia renderizada (PSNR: 23.84, SSIM: 0.9078, LPIPS: 0.0551) y geometría visible (Distancia de Chamfer: 0.00358, IoU de Silueta: 0.9865) comparado con todos los baselines.
• Velocidad: RegHead se ejecuta en ~5 segundos por identidad, mientras que los métodos basados en optimización (V2M4, T2Bs) tardan de ~100s a ~1800s.
• Análisis Cualitativo: RegHead captura mejor los cambios de expresión finos y espacialmente localizados (por ejemplo, el cierre de los párpados) mientras mantiene la estructura global. Los baselines a menudo subestiman el movimiento localizado o presentan artefactos en regiones sutiles.
• Estudios de Ablación:
  • Eliminar los anclajes estocásticos (usando anclajes fijos) degrada el rendimiento, confirmando el beneficio de la invarianza de diseño.
  • Reducir la densidad de anclajes disminuye significativamente la fidelidad, probando la necesidad de anclajes densos para detalles finos.
  • Eliminar la etapa de emparejamiento local causa una degradación sustancial, validándola como el motor principal para la deformación de la expresión fina.
  • El uso de vecindarios de estarcido estructurados supera a los vecindarios kNN estándar.

Significancia y Reclamaciones

El artículo afirma que RegHead aborda el desafío central de generar activos correspondidos y semánticamente consistentes para cabezas no humanas de manera escalable y feed-forward. Al evitar las restricciones anatómicas basadas en plantillas y la optimización pesada, el framework permite la creación de avatares de alta fidelidad y animables que soportan el control en tiempo real y el retargeting entre identidades. Los autores señalan que el método está diseñado específicamente para deformaciones dependientes de la especie y de grano fino, un vacío dejado por los métodos de movimiento articulado o generación de objetos completos.

Limitaciones: Los autores reconocen que RegHead puede no ajustarse bien a identidades con anatomías muy alejadas de las estructuras de cabeza comunes (por ejemplo, insectos o especies de cola larga con regiones faciales ambiguas) donde la correspondencia semántica es débil. Además, los blendshapes finales están sujetos a los artefactos presentes en las mallas no registradas de origen.