PriorProbe: Recovering Individual-Level Priors for Personalizing Neural Networks in Facial Expression Recognition

Resumo Técnico: PriorProbe para Personalização de Redes Neurais no Reconhecimento de Expressões Faciais

Problema
A adaptação da inteligência artificial para usuários individuais é crítica para a tomada de decisão personalizada, mas capturar o comportamento específico de cada indivíduo continua sendo um desafio significativo. Embora redes neurais profundas (DNNs) de última geração possam prever o comportamento humano em média, elas têm dificuldade em capturar julgamentos perceptivos individuais, particularmente em relação a expressões faciais sutis ou ambíguas, onde a variabilidade interpessoal é alta.

Formalmente, o reconhecimento de expressões faciais pode ser modelado como inferência Bayesiana: $P(e|f) \propto P(e)P(f|e)$, onde $P(e)$ é a crença a priori de um indivíduo sobre estados emocionais e $P(f|e)$ é a verossimilhança de observar a expressão $f$ dado o estado emocional $e$. Quando os estímulos são ambíguos, o termo de verossimilhança torna-se não informativo, e as diferenças individuais nos priors $P(e)$ dominam a inferência. Os métodos existentes para personalizar DNNs enfrentam dois obstáculos fundamentais:

1. Escassez de Dados: Treinar em dados de nível individual é frequentemente custoso e inviável devido à necessidade de conjuntos de dados amplos e representativos.
2. Degradação do Modelo: O ajuste fino (fine-tuning) de DNNs em dados individuais esparsos e ruidosos acarreta riscos de sobreajuste (overfitting) e esquecimento catastrófico das representações aprendidas.

Além disso, os métodos tradicionais da ciência cognitiva para elicitar priors frequentemente falham em identificá-los de forma única ou introduzem vieses sistemáticos ao tratar a função de verossimilhança como um parâmetro livre ou um mapeamento arbitrário.

Metodologia
Os autores introduzem o PriorProbe, uma abordagem de elicitação inovadora fundamentada em Cadeias de Markov com Pessoas (MCMCP). Diferente da personalização ao nível de parâmetros (ex: ajuste de pesos), o PriorProbe recupera priors cognitivos e verossimilhanças específicos e detalhados de cada indivíduo para informar o espaço de inferência de uma rede neural sem modificar seus pesos.

A metodologia consiste em três componentes principais:

1. DistFace (Espaço de Afeto-Identidade Desentranhado):
   Para permitir a amostragem imparcial, os autores construíram um espaço generativo controlado onde o afeto facial é desentranhado da identidade facial.

   • Arquitetura: Um Auto-Encoder Variacional (VAE) híbrido composto por:
     • Encoder: Três ramos pré-treinados extraem características: ResEmoteNet (expressão), FMAE-IAT (Unidades de Ação, adversária à identidade) e ArcFace (identidade).
     • Espaço Latente: Essas características são mapeadas em subespaços latentes distintos ($V_{af}$ para afeto, $V_{id}$ para identidade).
     • Denoising: Um auto-encoder de redução de ruído (denoising auto-encoder) comprime o espaço de afeto de 128 dimensões em um espaço de afeto puro de 16 dimensões para amostragem eficiente.
   • Treinamento: O modelo foi treinado no conjunto de dados BU-4DFE usando perdas de reconstrução, preservação de identidade e preservação de afeto para garantir que o ramo de afeto impulsione a expressão enquanto o ramo de identidade impulsione a identidade.

2. Procedimento de Elicitação PriorProbe:
   O PriorProbe opera dentro do espaço de afeto de 16 dimensões usando um algoritmo de Metropolis–Hastings em blocos com um humano no ciclo (human-in-the-loop). Ele alterna entre dois tipos de tentativas para amostrar conjuntamente a verossimilhança $P(f|e)$ e o prior $P(e)$ de um indivíduo:

   • Tentativas de Face: Os participantes veem uma categoria de emoção $e$ e duas opções de face ($f, f'$). Eles selecionam a face que melhor representa a categoria. Para acelerar a amostragem, é usado um esquema de Metropolis–Hastings Independente (IMH) onde um "Guardião" (ResEmoteNet) propõe faces que provavelmente pertencem à categoria alvo.
   • Tentativas de Categorização: Os participantes veem uma face $f$ e duas categorias de emoção ($e, e'$). Eles selecionam a melhor descrição. A distribuição de proposta para as categorias também é guiada pelo Guardião.
   • Recuperação: A cadeia de Markov resultante converge para a distribuição conjunta $\pi(f, e)$. Os priors individuais $P(e)$ são recuperados reponderando as categorias amostradas por $1/G_e(e|f)$, onde $G_e$ é a atribuição de probabilidade do Guardião, corrigindo efetivamente o viés de proposta.

3. Integração e Avaliação:
   Os priors individuais recuperados são integrados a uma DNN de última geração (ResEmoteNet) dentro do espaço de inferência. O sistema é avaliado em uma tarefa de classificação de estímulos novos e ambíguos (imagens onde a confiança da DNN é $<0,25$). O objetivo é determinar se a incorporação de priors individuais melhora o alinhamento do modelo com a classificação humana em estímulos ambíguos sem degradar o desempenho em rótulos de verdade fundamental (ground-truth).

Principais Contribuições

• Framework PriorProbe: Um método geral e interpretável para recuperar representações mentais detalhadas e específicas de cada indivíduo (priors e verossimilhanças) de forma eficiente, evitando a necessidade de conjuntos de dados massivos por indivíduo ou modificação de pesos.
• Modelo/Dataset DistFace: Um modelo generativo que desentranha o afeto facial da identidade, fornecendo um "espaço de afeto puro" essencial para a elicitação imparcial de priors em tarefas de expressão facial.
• Validação Empírica: Um experimento humano abrangente demonstrando que redes neurais informadas por priors recuperados melhor preveem escolhas individuais em estímulos ambíguos em comparação com a rede sozinha ou redes usando fontes de prior alternativas.

Resultos
Em um experimento com 55 participantes, os autores recuperaram priors individuais sobre sete emoções básicas.

• Diferenças Individuais: Os priors recuperados exibiram heterogeneidade substancial entre os participantes, confirmando que os indivíduos possuem vieses cognitivos distintos em relação às categorias emocionais.
• Ganhos de Desempenho: A integração dos priors derivados do PriorProbe na rede neural resultou em ganhos substanciais na previsão de classificações individuais em estímulos ambíguos.
• Robustez: A personalização melhorou o alinhamento com os julgamentos humanos individuais sem degradar o desempenho de inferência do modelo em estímulos não ambíguos (ground-truth).

Significância e Alegações
O artigo afirma fornecer um framework geral, interpretável e robusto para personalizar redes neurais profundas. Ao mudar o foco da adaptação ao nível de parâmetros para a recuperação de priors cognitivos, o PriorProbe aborda as limitações de escassez de dados e esquecimento catastrófico. Os autores afirmam que esta abordagem oferece um caminho principiológico para desenvolver sistemas digitais que entreguem assistência genuinamente personalizada, particularmente em domínios como o reconhecimento de expressões faciais, onde as diferenças perceptivas individuais são significativas e os modelos padrão falham em capturá-las. O trabalho demonstra que priors cognitivos de nível individual podem ser elicitados com precisão e utilizados efetivamente para aumentar o poder preditivo de sistemas de IA para usuários específicos.