Resumo Técnico: PriorNet – Estimativa de Engajamento Guiada por Priors a partir de Vídeo Facial

1. Declaração do Problema

Estimar o engajamento do usuário a partir de vídeo facial é uma tarefa crítica para aplicações como análise de aprendizado online, reuniões virtuais e interação humano-robô. No entanto, a tarefa enfrenta três desafios persistentes sob condições práticas:

1. Evidência Facial Incompleta: Em fluxos de vídeo do mundo real, os usuários frequentemente desviam o olhar, giram a cabeça ou movem-se parcialmente para fora do quadro. Pipelines convencionais geralmente tratam esses eventos de "rosto ausente" como falhas de pré-processamento ou corrupção incômoda a serem descartadas, perdendo sinais potencialmente significativos do comportamento (por exemplo, desvio do olhar).
2. Escassez de Dados e Overfitting: Os benchmarks de engajamento são modestos em tamanho comparados aos backbones de vídeo modernos. Abordagens padrão frequentemente dependem de ajuste fino completo ou extração simples de características, o que arrisca overfitting ou sobrescrita de representações pré-treinadas robustas.
3. Rótulos Subjetivos e Ambíguos: As anotações de engajamento são frequentemente grosseiras, subjetivas e dependentes do protocolo. Objetivos de classificação padrão falham em modelar adequadamente a ambiguidade e incerteza inerentes a esses rótulos.

O artigo argumenta que a robustez neste domínio é melhor alcançada injetando explicitamente priors relevantes para a tarefa em estágios complementares do pipeline, em vez de depender exclusivamente da escalabilidade da arquitetura do modelo ou esperar que a robustez surja implicitamente.

2. Metodologia: O Framework PriorNet

PriorNet é um framework unificado que injeta priors em três estágios específicos: pré-processamento, adaptação do modelo e design do objetivo.

2.1 Pré-processamento: Modelagem Explícita de Eventos de Rosto Ausente

Em vez de descartar quadros onde a detecção de rosto falha, PriorNet converte essas falhas em marcadores de quadro zero explícitos.

• Mecanismo: O vídeo é amostrado em uma sequência de comprimento fixo (por exemplo, 16 quadros). Se um detector de rosto (OpenCV SSD com ResNet-10) falhar em detectar um rosto em um quadro amostrado, esse quadro é substituído por um tensor de todos os zeros ($0_{224\times224\times3}$) em vez de ser removido.
• Racional: Isso preserva a estrutura temporal da sequência de entrada. O modelo aprende se a visibilidade facial ausente (causada por desvio do olhar, virada da cabeça ou oclusão) é um sinal comportamental informativo para o engajamento, em vez de tratá-lo como uma lacuna de dados.

2.2 Adaptação do Modelo: Adaptação de Baixo Rank Guiada por Priors (Prior-LoRA)

Para adaptar um backbone pré-treinado poderoso à tarefa específica de estimativa de engajamento sem overfitting em conjuntos de dados pequenos, PriorNet emprega Prior-LoRA.

• Backbone: O framework utiliza SVFAP (Perceptor de Afeto Facial em Vídeo Auto-supervisionado), um backbone pré-treinado em dinâmicas de afeto em vídeo facial via auto-codificação mascarada.
• Mecanismo: Os pesos do SVFAP são mantidos congelados. Atualizares residuais de baixo rank treináveis ($\Delta W$) são inseridos nas projeções de consulta, chave e valor de camadas de auto-atenção selecionadas.
• Eficiência: Esta abordagem especializa as representações espaço-temporais para engajamento com menos de 1% dos parâmetros do backbone sendo treináveis, preservando os prios afetivos pré-treinados enquanto se adapta à tarefa específica.

2.3 Design do Objetivo: Aprendizado Consciente de Incerteza

Para lidar com a ambiguidade dos rótulos de engajamento, PriorNet utiliza uma função de perda composta que combina aprendizado evidencial com reponderação ponderada pela incerteza.

• Termo Evidencial Dirichlet: O modelo produz evidência ($e_i$) para cada classe, parametrizando uma distribuição Dirichlet. Isso permite que o modelo represente tanto a preferência de classe quanto a incerteza preditiva dentro de um framework determinístico. A perda inclui um termo de dados e um regularizador de divergência KL.
• Termo Semelhante ao Focal Ponderado por Incerteza: Para prevenir aprendizado excessivamente confiante em amostras ambíguas, o objetivo atribui pesos de otimização mais altos a amostras com baixa evidência total (alta incerteza). O fator de modulação é dinâmico, baseado na incerteza da amostra e não em um hiperparâmetro fixo.
• Objetivo Combinado: A perda final combina o termo evidencial, o termo ponderado por incerteza e um termo auxiliar de entropia cruzada de rótulo duro para estabilidade.

3. Contribuições Principais

O artigo delineia cinco contribuições primárias:

1. Framework de Robustez Guiado por Priors: Uma abordagem unificada que injeta priors nos níveis de pré-processamento, adaptação e objetivo.
2. Modelagem Explícita de Rosto Ausente: Converter falhas de detecção em marcadores de quadro zero para tratar a ausência como evidência informativa.
3. Especialização Eficiente em Parâmetros: Introduzir Prior-LoRA para adaptar o SVFAP com parâmetros treináveis mínimos (<1%).
4. Aprendizado Consciente de Incerteza: Um objetivo evidencial Dirichlet e ponderado por incerteza projetado para supervisão ambígua e subjetiva.
5. Validação entre Conjuntos de Dados: Melhorias consistentes em quatro benchmarks heterogêneos (EngageNet, DAiSEE, DREAMS, PAFE) e ablações em nível de componente.

4. Resultados Experimentais

PriorNet foi avaliado em quatro conjuntos de dados usando seus protocolos de avaliação nativos.

• EngageNet: PriorNet alcançou 73,58% de precisão, superando o resultado anterior mais forte (Ordinal ST-GCN em 71,24%) em 2,34 pontos percentuais.
• DAiSEE: PriorNet atingiu 69,06% de precisão, superando o melhor anterior listado (67,48%) em 1,58 pontos percentuais.
• DREAMS: PriorNet alcançou um F1 ponderado de 0,515, uma melhoria substancial sobre o melhor anterior (0,434).
• PAFE: PriorNet atingiu um F1 ponderado de 0,780, excedendo o anterior mais forte (0,740) em 0,040.

Estudos de Ablação:
Ablações de componente em EngageNet e DAiSEE revelaram que todos os três componentes propostos contribuem positivamente.

• Marcadores de quadro zero forneceram o maior ganho de componente único (por exemplo, +2,24% no EngageNet), confirmando que preservar eventos de rosto ausente é crítico.
• Prior-LoRA e o objetivo avançado forneceram melhorias menores, mas consistentes.
• O modelo completo (combinando os três) rendeu o desempenho mais alto, demonstrando que os ganhos surgem da interação complementar desses priors e não de uma única modificação isolada.
• Análise Diagnóstica: Análise adicional mostrou que o benefício dos marcadores de quadro zero aumenta à medida que a taxa de falhas de detecção de rosto aumenta, fornecendo os ganhos mais significativos em cenários de alta ausência (+7,1% de precisão no grupo de alta ausência).

5. Significado e Alegações

O artigo alega que a injeção explícita de priors é um princípio de design mais eficaz para estimativa de engajamento em vídeo facial do que a escalabilidade da arquitetura sozinha. Especificamente, PriorNet demonstra que:

• A robustez pode ser melhorada tratando dados "ausentes" como um sinal e não como ruído.
• A adaptação eficiente em parâmetros (Prior-LoRA) permite que backbones pré-treinados fortes se especializem para engajamento sem overfitting.
• Objetivos conscientes de incerteza são necessários para lidar com a subjetividade inerente dos rótulos de engajamento.

Limitações e Modéstia:
Os autores afirmam explicitamente que suas descobertas são limitadas por:

• Dependência do Detector: O mecanismo de marcador depende do comportamento do detector de rosto; os ganhos podem refletir tanto sinais comportamentais quanto padrões de falha do detector.
• Heterogeneidade de Protocolos: Os quatro conjuntos de dados diferem significativamente em rótulos e divisões, portanto, os resultados representam melhoria direcional consistente em configurações diversas e não uma única tabela de classificação unificada.
• Sinal de Supervisão: A modelagem de incerteza é realizada sob supervisão de rótulo duro e não sob distribuições completas de votos dos anotadores.

O artigo conclui que, embora a estimativa de engajamento não esteja "resolvida", PriorNet fornece um framework metodologicamente coerente para melhorar a robustez sob condições de evidência visual ausente, orçamentos de adaptação limitados e anotação subjetiva.