Resumen Técnico: Dolor en 3D

Declaración del Problema

La evaluación automatizada del dolor a partir de las expresiones faciales es crítica para el monitoreo de pacientes no comunicativos (por ejemplo, personas con demencia o deterioros cognitivos). Sin embargo, el progreso está severamente limitado por dos cuellos de botella principales:

1. Escasez e Desequilibrio de Datos: Las restricciones éticas impiden la inducción de dolor severo en participantes diversos para la recolección de datos. En consecuencia, los benchmarks existentes como UNBC-McMaster son pequeños, carecen de diversidad demográfica y sufren de un desequilibrio de clases extremo donde los fotogramas de dolor de alta intensidad son valores atípicos poco frecuentes.
2. Limitaciones de los Modelos Generativos: Los enfoques generativos actuales (por ejemplo, inversión de GAN, difusión basada en prompts) luchan por proporcionar el control clínico preciso requerido para la evaluación del dolor. A menudo fallan al intentar apuntar a Unidades de Acción (AU) específicas definidas por el Sistema de Codificación de Acción Facial (FACS) o al garantizar la alineación con la métrica de Intensidad de Dolor de Prkachin y Solomon (PSPI). Además, muchos conjuntos de datos de entrenamiento estándar carecen de anotaciones para las AU relacionadas con el dolor críticas (específicamente AU7 y AU43), y los métodos basados en 2D carecen de la consistencia geométrica necesaria para la robustez multi-vista.

Metodología

1. El Pipeline de Generación del Conjunto de Datos 3DPain

Los autores presentan 3DPain, un conjunto de datos sintéticos a gran escala que comprende 82,500 fotogramas de 2,500 identidades únicas. La generación sigue un pipeline controlable de tres etapas diseñado para asegurar la consistencia anatómica, la diversidad demográfica y el control preciso de las AU:

• Etapa 1: Malla 3D y Condicionamiento de Profundidad:
  • Se muestrean diversas mallas faciales neutras 3D utilizando el modelo paramétrico FLAME, cubriendo un amplio espectro de edades, géneros y etnias.
  • Estas mallas se renderizan como mapas de profundidad frontales.
• Etapa 2: Síntesis Basada en Difusión:
  • Generación de Rostro Neutro: Un modelo Kandinsky 2.2 condicionado por profundidad (aumentado con ControlNet) traduce los mapas de profundidad de FLAME en rostros 2D fotorrealistas. Se utilizan prompts de texto para imponer la diversidad demográfica.
  • Síntesis de Textura: Se utiliza Hunyuan3D 2.1 para generar texturas de renderizado basado en física (PBR) condicionadas en las imágenes neutras, capturando detalles finos de la piel y rasgos étnicos.
• Etapa 3: Rigging Neural y Renderizado:
  • Rigging Facial Neural (NFR): Utilizando DiffusionNet y Campos Jacobianos Neurales, el sistema aplica deformaciones precisas a la malla 3D basadas en configuraciones específicas de AU (AU4, AU6, AU7, AU9, AU10, AU43) derivadas de la fórmula PSPI. Esto permite la generación de expresiones de dolor con puntuaciones PSPI exactas y conocidas.
  • Renderizado Multi-Vista e Inpainting: Las mallas con rigging se renderizan desde múltiples puntos de vista. Posteriormente, se utiliza Kandinsky 2.2 para el inpainting del fondo y la completación del cabello para asegurar el fotorrealismo.

El conjunto de datos resultante incluye imágenes neutras/de dolor emparejadas, configuraciones exactas de AU, puntuaciones PSPI y mapas de calor de regiones de dolor.

2. La Arquitectura ViTPain

Para aprovechar los datos sintéticos, los autores proponen ViTPain, un marco basado en Vision Transformer para la estimación del dolor:

• Atención Cruzada de Referencia Neutra: El modelo procesa una imagen de dolor objetivo ($I_{pain}$) y una imagen de referencia neutra ($I_{neutral}$) de la misma identidad. Ambas son codificadas utilizando backbones Dino-V3 con adaptadores LoRA. Un mecanismo de atención cruzada permite que las características de dolor consulten las características de la referencia neutra. Esto está diseñado para desenredar las expresiones dinámicas de dolor de las características estáticas de identidad.
• Atención Cruzada de AU Basada en Queries: Tokens de consulta aprendibles correspondientes a las seis AU relevantes para el dolor extraen información de movimiento muscular localizado de los parches de contexto, proporcionando supervisión auxiliar.
• Predicción Multitarea:
  • Regresión: Una cabeza predice la puntuación continua PSPI a partir del token CLS.
  • Clasificación Binaria: Una cabeza auxiliar distingue entre estados de dolor y sin dolor para mitigar el colapso del valor medio en las tareas de regresión.
  • Regresión de AU: Cabezas independientes predicen las intensidades para AUs específicas.
• Estrategia de Inferencia: Una estrategia de inferencia de múltiples disparos (multi-shot) promedia las predicciones condicionadas a múltiples fotogramas de referencia neutros para mejorar la robustez.

Contribuciones Clave

1. Dataset 3DPain: Un conjunto de datos sintéticos a gran escala y diverso (82,500 fotogramas, 2,500 identidades) con anotaciones precisas de AU y puntuaciones PSPI, abordando la escasez y el desequilibrio de los datos de dolor del mundo real.
2. Pipeline de Generación Controlable: Un novedoso marco de tres etapas que combina la geometría FLAME, la síntesis de textura basada en difusión y el rigging neural para generar expresiones de dolor clínicamente válidas y multi-vista con control exacto sobre las unidades de acción.
3. Framework ViTPain: Una arquitectura Vision Transformer sensible a la referencia que utiliza atención cruzada con rostros neutros para aislar las características dinámicas del dolor, demostrando una mejor generalización sobre los baselines estándar.

Resultados Experimentales

Los modelos fueron evaluados utilizando el Archivo de Expresión de Dolor de Hombro UNBC-McMaster mediante validación cruzada de 5 pliegues con divisiones independientes de sujetos.

• Impacto del Pre-entrenamiento: El pre-entrenamiento en 3DPain mejoró significamente el rendimiento en todas las arquitecturas. Para el modelo propuesto ViTPain, el pre-entrenamiento aumentó el F1-Score (en el umbral $\ge 2$) de 0.43 a 0.50 y el AUROC de 0.79 a 0.86.
• Estudios de Ablación:
  • La adición de una cabeza de clasificación binaria mejoró los F1-scores para el dolor de alta intensidad.
  • La incorporación de la referencia neutra y la inferencia multi-shot mejoró las métricas de discriminación global (AUROC y PCC), indicando una mejor separación de la identidad de la expresión, aunque redujo ligeramente los F1-scores de alta intensidad debido a un sesgo de predicción más conservador.
• Comparación con el Estado del Arte: ViTPain (usando fotogramas únicos) logró resultados competitivos contra métodos de video de última generación. En el umbral $\ge 2$, ViTPain alcanzó un AUROC de 0.86 y un F1 de 0.51, superando a métodos previos basados en imágenes como PwCT (AUROC 0.82, F1 0.48) y acercándose a los baselines basados en video.

Significado y Reivindicaciones

El artículo afirma que 3DPain y ViTPain establecen una "base controlable, diversa y clínicamente fundamentada" para la evaluación automatizada del dolor. El significado principal radica en cerrar la brecha de datos que históricamente ha limitado el desarrollo de modelos de reconocimiento de dolor independientes del sujeto. Al demostrar que los datos sintéticos con anotaciones clínicas precisas pueden pre-entrenar eficazmente los modelos para aplicaciones en el mundo real, este trabajo ofrece una alternativa escalable a la costosa y éticamente restringida recolección de datos clínicos.

Los autores señalan modestamente que, si bien el marco mejora la generalización, aún quedan desafíos respecto a los cambios de dominio en el realismo de la textura de la piel y el modelado de la dinámica temporal a largo plazo, los cuales se identifican como direcciones para trabajos futuros.