A Hybrid Deep Learning Framework for efficient emotion detection on the facial image dataset

Resumo Técnico: Uma Estrutura de Aprendizado Profundo Híbrido para Detecção Eficiente de Emoções

Declaração do Problema
O reconhecimento de emoções faciais (FER - Facial Emotion Recognition) continua sendo uma tarefa desafiadora na interação humano-computador, análise de comportamento e automação de usuários devido à variabilidade intrínseca nas expressões humanas, oclusões, condições de iluminação, variações de pose da cabeça e diversidade demográfica. Sistemas tradicionais que dependem de características manuais (ex: LBP, HOG) e classificadores rasos sofrem de baixa generalização, riqueza limitada e incapacidade de processar padrões dinâmicos. Embora modelos de aprendizado profundo existentes, como Redes Neurais Convolucionais (CNNs) isoladas ou Transformers, tenham melhorado a precisão, eles frequentemente enfrentam dificuldades com adaptabilidade entre domínios, robustez em cenários de tempo real e altos custos computacionais. Especificamente, as CNNs isoladas carecem de sensibilidade a pistas sutis, enquanto os Transformers podem ser intensivos em memória e lentos. Há uma necessidade de uma estrutura que equilibre precisão, robustez e adaptabilidade em diversas condições.

Metodologia
Os autores propõem uma Estrutura de Aprendizado Profundo Híbrido que integra três componentes principais: Aprendizado por Transferência (Transfer Learning), camadas de CNN customizadas e o aprimoramento de características baseado em Atenção. O fluxo de trabalho, denotado como PS1, procede através das seguintes etapas:

1. Pré-processamento e Aumento de Dados:

   • Regiões faciais são detectadas, recortadas e normalizadas (valores de pixels escalonados para [0,1] ou padronizados).
   • Técnicas de aumento (espelhamento, rotação, desfoque, deslocamento) são aplicadas para aumentar a diversidade do conjunto de dados.
   • O conjunto de dados é dividido em conjuntos de treinamento, validação e teste.

2. Aprendizado por Transferência (Extração de Características):

   • Um backbone ResNet-50 com pesos pré-treinados é inicializado.
   • As camadas iniciais são congeladas para reter representações de características genéricas, enquanto as camadas subsequentes são ajustadas (fine-tuned) para extrair características semânticas de alto nível ($F_{TL}$).

3. Módulo de CNN Customizado de Grão Fino:

   • As características extraídas do backbone são passadas por um módulo de CNN customizado consistindo em convolução, normalização por lote (batch normalization), ativação ReLU e max pooling.
   • Esta etapa ($g_\phi$) refina as características para capturar detalhes de expressão específicos e de grão fino.

4. Aprimoramento de Características Baseado em Atenção:

   • Um mecanismo de atenção é aplicado às características refinadas da CNN ($F_{CNN}$).
   • Atenção Espacial ($A_s$): Destaca regiões faciais críticas (ex: olhos, boca, sobrancelhas) que denotam pistas emocionais.
   • Atenção de Canal ($A_c$): Enfatiza canais de características importantes.
   • As características aprimoradas ($F_{Att}$) são computadas via multiplicação elemento a elemento: $F_{Att} = A_c \odot (A_s \odot F_{CNN})$.

5. Otimização e Classificação:

   • A otimização de hiperparâmetros é realizada dentro de um espaço de busca definido para selecionar a melhor configuração baseada em pontuações de validação.
   • Estratégias de regularização, incluindo regularização L2 e dropout, são aplicadas para evitar o sobreajuste (overfitting).
   • A camada de classificação final achata as características atendidas, passa pelas camadas totalmente conectadas e utiliza uma função SoftMax para prever as classes de emoção.
   • O modelo é treinado usando Perda de Entropia Cruzada ($\mathcal{L}_{CE}$) combinada com regularização L2.

Principais Contribuições

• Arquitetura Híbrida: O artigo introduz uma estrutura unificada que combina o poder de extração de características do Aprendizado por Transferência (ResNet-50), a capacidade de aprendizado de grão fino de camadas de CNN customizadas e a precisão focada em regiões dos mecanismos de Atenção.
• Robustez e Generalização: A estrutura é projetada para lidar com mudanças de domínio e manter a estabilidade sob perturbações do mundo real, como ruído, oclusão e baixa iluminação.
• Avaliação Abrangente: O estudo fornece extensos estudos de ablação e testes de domínio cruzado para validar as contribuições específicas de cada componente (CNN, Aprendizado por Transferência, Atenção) para o desempenho geral.

Resultos
O modelo proposto foi avaliado em conjuntos de dados padrão de expressão facial (incluindo AffectNet, RAF-DB, FERPlus, CK+, FER2013 e JAFFE) e comparado com bases de referência como VGG-16, ResNet-50 (ajustada), CNNs isoladas, Attention-CNNs e modelos baseados em Transformer.

• Métricas de Desempenho: O modelo Híbrido proposto alcançou uma Acurácia de 96,8%, Precisão de 96,1%, Recall de 97,4%, F1-Score de 96,7% e um AUC-ROC de 0,982.
• Melhoria Comparativa: Comparado à linha de base de CNN, o modelo híbrido mostrou um aumento de 17,1% na acurácia e um aumento de 19,4% no F1-score. Também superou modelos de FER baseados em Transformer em 7,4% de acurácia.
• Estudo de Ablação: Os resultados confirmaram que, embora o Aprendizado por Transferência sozinho tenha melhorado a acurácia para 90,4% e a Atenção sozinha para 89,3%, a integração total dos três componentes foi necessária para atingir o pico de desempenho de 96,8%.
• Adaptabilidade de Domínio Cruzado: Quando testado em domínios não vistos (ex: RAF-DB $\to$ FERPlus), o modelo híbrido alcançou 89,7% de acurácia, superando significativamente as linhas de base que variaram entre 70,2% e 78,1%.
• Robustez: Sob perturbações como ruído Gaussiano, desfoque de movimento e oclusão parcial (olhos/boca), o modelo híbrido manteve acurácias entre 82,7% e 86,9%, enquanto modelos apenas de CNN caíram abaixo de 62%.

Significância
O artigo afirma que esta estrutura híbrida fornece uma solução poderosa para sistemas de próxima geração conscientes de emoções. Ao combinar efetivamente o aprendizado por transferência, o refinamento de características customizado e os mecanismos de atenção, o modelo aborda as limitações de modelos de aprendizado profundo isolados, especificamente no que diz respeito à adaptabilidade de domínio cruzado e robustez contra fatores ambientais. Os autores postulam que esta abordagem pavimenta o caminho para aplicações de IA mais adaptáveis e centradas no ser humano em campos como avaliação de saúde mental, análise de comportamento e automação inteligente. O estudo conclui que a integração dessas técnicas específicas de aprendizado profundo resulta em capacidades de generalização superiores em comparação com métodos isolados existentes.