Resumen Técnico: PriorNet – Estimación de Compromiso Guiada por Priors a partir de Video Facial

1. Declaración del Problema

Estimar el compromiso del usuario a partir de video facial es una tarea crítica para aplicaciones como análisis de aprendizaje en línea, reuniones virtuales e interacción humano-robot. Sin embargo, la tarea enfrenta tres desafíos persistentes bajo condiciones prácticas:

1. Evidencia Facial Incompleta: En flujos de video del mundo real, los usuarios a menudo miran hacia otro lado, giran la cabeza o se mueven parcialmente fuera del encuadre. Las tuberías convencionales suelen tratar estos eventos de "rostro ausente" como fallos de preprocesamiento o corrupción molesta que debe descartarse, perdiendo señales potencialmente significativas a nivel conductual (por ejemplo, desvío de la mirada).
2. Escasez de Datos y Sobreajuste: Los puntos de referencia de compromiso son modestos en tamaño en comparación con los backbones de video modernos. Los enfoques estándar a menudo dependen del ajuste fino completo o de la extracción simple de características, lo que conlleva el riesgo de sobreajuste o de sobrescribir representaciones preentrenadas robustas.
3. Etiquetas Subjetivas y Ambiguas: Las anotaciones de compromiso suelen ser gruesas, subjetivas y dependientes del protocolo. Los objetivos de clasificación estándar no logran modelar adecuadamente la ambigüedad inherente y la incertidumbre en estas etiquetas.

El artículo argumenta que la robustez en este dominio se logra mejor inyectando explícitamente priors relevantes para la tarea en etapas complementarias de la tubería, en lugar de depender únicamente de la escalabilidad de la arquitectura del modelo o esperar que la robustez surja implícitamente.

2. Metodología: El Marco PriorNet

PriorNet es un marco unificado que inyecta priors en tres etapas específicas: preprocesamiento, adaptación del modelo y diseño de objetivos.

2.1 Preprocesamiento: Modelado Explícito de Eventos de Rostro Ausente

En lugar de descartar los cuadros donde falla la detección facial, PriorNet convierte estos fallos en marcadores de posición de cuadros cero explícitos.

• Mecanismo: El video se muestrea en una secuencia de longitud fija (por ejemplo, 16 cuadros). Si un detector de rostros (OpenCV SSD con ResNet-10) no detecta un rostro en un cuadro muestreado, ese cuadro se reemplaza con un tensor de todos ceros ($0_{224\times224\times3}$) en lugar de ser eliminado.
• Racional: Esto preserva la estructura temporal de la secuencia de entrada. El modelo aprende si la visibilidad facial ausente (causada por desvío de la mirada, giro de la cabeza u oclusión) es una señal conductual informativa para el compromiso, en lugar de tratarla como una brecha de datos.

2.2 Adaptación del Modelo: Adaptación de Bajo Rango Guiada por Priors (Prior-LoRA)

Para adaptar un backbone preentrenado potente a la tarea específica de estimación de compromiso sin sobreajustarse en conjuntos de datos pequeños, PriorNet emplea Prior-LoRA.

• Backbone: El marco utiliza SVFAP (Perceptor de Afecto Facial en Video Auto-supervisado), un backbone preentrenado en dinámicas de afecto en video facial mediante autoenmascaramiento.
• Mecanismo: Los pesos de SVFAP se mantienen congelados. Se insertan actualizaciones residuales de bajo rango entrenables ($\Delta W$) en las proyecciones de consulta, clave y valor de las capas de atención auto-asistida seleccionadas.
• Eficiencia: Este enfoque especializa las representaciones espacio-temporales para el compromiso con menos del 1% de los parámetros del backbone siendo entrenables, preservando los priores afectivos preentrenados mientras se adapta a la tarea específica.

2.3 Diseño de Objetivos: Aprendizaje Consciente de la Incertidumbre

Para manejar la ambigüedad de las etiquetas de compromiso, PriorNet utiliza una función de pérdida compuesta que combina el aprendizaje evidencial con la reponderación ponderada por incertidumbre.

• Término Evidencial Dirichlet: El modelo genera evidencia ($e_i$) para cada clase, parametrizando una distribución Dirichlet. Esto permite que el modelo represente tanto la preferencia de clase como la incertidumbre predictiva dentro de un marco determinista. La pérdida incluye un término de datos y un regularizador de divergencia KL.
• Término Tipo Focal Ponderado por Incertidumbre: Para prevenir un aprendizaje excesivamente seguro en muestras ambiguas, el objetivo asigna pesos de optimización más altos a muestras con baja evidencia total (alta incertidumbre). El factor de modulación es dinámico, basado en la incertidumbre de la muestra y no en un hiperparámetro fijo.
• Objetivo Combinado: La pérdida final combina el término evidencial, el término ponderado por incertidumbre y un término auxiliar de entropía cruzada de etiquetas duras para la estabilidad.

3. Contribuciones Clave

El artículo describe cinco contribuciones principales:

1. Marco de Robustez Guiado por Priors: Un enfoque unificado que inyecta priors a nivel de preprocesamiento, adaptación y objetivo.
2. Modelado Explícito de Rostro Ausente: Convertir los fallos de detección en marcadores de posición de cuadros cero para tratar la ausencia como evidencia informativa.
3. Especialización Eficiente en Parámetros: Introducir Prior-LoRA para adaptar SVFAP con un mínimo de parámetros entrenables (<1%).
4. Aprendizaje Consciente de la Incertidumbre: Un objetivo basado en evidencia Dirichlet y ponderado por incertidumbre diseñado para supervisión ambigua y subjetiva.
5. Validación Transversal de Conjuntos de Datos: Mejoras consistentes en cuatro puntos de referencia heterogéneos (EngageNet, DAiSEE, DREAMS, PAFE) y ablaciones a nivel de componente.

4. Resultados Experimentales

PriorNet fue evaluado en cuatro conjuntos de datos utilizando sus protocolos de evaluación nativos.

• EngageNet: PriorNet logró una precisión del 73.58%, superando el resultado previo más fuerte (Ordinal ST-GCN con 71.24%) en 2.34 puntos porcentuales.
• DAiSEE: PriorNet alcanzó una precisión del 69.06%, superando el mejor previo listado (67.48%) en 1.58 puntos porcentuales.
• DREAMS: PriorNet logró un F1 ponderado de 0.515, una mejora sustancial sobre el mejor previo (0.434).
• PAFE: PriorNet alcanzó un F1 ponderado de 0.780, superando al previo más fuerte (0.740) en 0.040.

Estudios de Ablación:
Las ablaciones de componentes en EngageNet y DAiSEE revelaron que los tres componentes propuestos contribuyen positivamente.

• Los marcadores de posición de cuadros cero proporcionaron la mayor ganancia de un solo componente (por ejemplo, +2.24% en EngageNet), confirmando que preservar los eventos de rostro ausente es crítico.
• Prior-LoRA y el objetivo avanzado proporcionaron mejoras menores pero consistentes.
• El modelo completo (combinando los tres) arrojó el rendimiento más alto, demostrando que las ganancias surgen de la interacción complementaria de estos priors y no de una modificación aislada única.
• Análisis Diagnóstico: Un análisis adicional mostró que el beneficio de los marcadores de posición de cuadros cero aumenta a medida que aumenta la tasa de fallos de detección facial, proporcionando las ganancias más significativas en escenarios de alta ausencia (+7.1% de precisión en el grupo de alta ausencia).

5. Significado y Afirmaciones

El artículo afirma que la inyección explícita de priors es un principio de diseño más efectivo para la estimación de compromiso en video facial que la escalabilidad de la arquitectura por sí sola. Específicamente, PriorNet demuestra que:

• La robustez puede mejorarse tratando los datos "ausentes" como una señal y no como ruido.
• La adaptación eficiente en parámetros (Prior-LoRA) permite que backbones preentrenados fuertes se especialicen para el compromiso sin sobreajustarse.
• Los objetivos conscientes de la incertidumbre son necesarios para manejar la subjetividad inherente de las etiquetas de compromiso.

Limitaciones y Modestia:
Los autores declaran explícitamente que sus hallazgos están acotados por:

• Dependencia del Detector: El mecanismo de marcador de posición depende del comportamiento del detector de rostros; las ganancias pueden reflejar tanto señales conductuales como patrones de fallo del detector.
• Heterogeneidad de Protocolos: Los cuatro conjuntos de datos difieren significativamente en etiquetas y divisiones, por lo que los resultados representan una mejora direccional consistente en diversos entornos y no una tabla de clasificación unificada única.
• Señal de Supervisión: El modelado de incertidumbre se realiza bajo supervisión de etiquetas duras en lugar de distribuciones completas de votos de anotadores.

El artículo concluye que, aunque la estimación de compromiso no está "resuelta", PriorNet proporciona un marco metodológicamente coherente para mejorar la robustez bajo condiciones de evidencia visual ausente, presupuestos de adaptación limitados y anotación subjetiva.