Towards Emotion Recognition with 3D Pointclouds Obtained from Facial Expression Images

1. Problema e Motivação

O reconhecimento de emoções baseado em expressões faciais (FER) é crucial para a Computação Afetiva, com aplicações em interação humano-computador e saúde mental. No entanto, os métodos atuais enfrentam desafios significativos:

• Privacidade e Regulamentação: Os métodos tradicionais baseados em imagens 2D (RGB) levantam sérias preocupações de privacidade devido à captura de texturas faciais de alta resolução, o que pode violar regulamentos como o GDPR e a Lei de IA da UE.
• Limitações de Monitoramento Contínuo: Câmeras 2D são intrusivas e impraticáveis para monitoramento contínuo e em tempo real em dispositivos vestíveis.
• Escassez de Dados 3D: Embora as representações 3D (nuvens de pontos) ofereçam maior privacidade ao remover texturas, a aquisição de dados 3D reais é cara e complexa. Isso resulta em conjuntos de dados 3D de FER extremamente pequenos (como o BU-3DFE) em comparação com os vastos bancos de dados 2D (como o AffectNet), limitando a generalização de modelos de Deep Learning (DL).

2. Metodologia

O artigo propõe um pipeline completo que conecta a geração de dados sintéticos 3D a partir de imagens 2D até a inferência em cenários de sensores vestíveis de alta frequência (HFWS).

• Geração de Dados (AffectNet3D):

  • Utiliza o modelo FLAME (Faces Learned with an Articulated Model and Expressions) para reconstruir geometrias 3D a partir de imagens 2D do banco de dados AffectNet.
  • Emprega estimadores de profundidade de ponta (ZoeDepth combinado com Boost Your Own Depth) para refinar a reconstrução geométrica.
  • O resultado é a criação do AffectNet3D, uma versão 3D do AffectNet contendo nuvens de pontos de cabeças inteiras.

• Refinamento de Dados (Pipeline de Isolamento Facial):

  • Como os modelos 3D gerados incluem cabeças inteiras (pescoço, cabelo), o pipeline desenvolveu um método para isolar a região facial.
  • Utiliza processamento 2D para detectar os centros dos olhos e seus raios, projetando essas informações para o espaço 3D.
  • Define um plano de corte baseado na geometria dos olhos para remover pontos irrelevantes (pescoço, orelhas), focando apenas na região de expressão facial.

• Treinamento e Avaliação:

  • Modelo: O PointNet++ foi selecionado como arquitetura base para processar as nuvens de pontos devido à sua eficiência e capacidade de aprender características hierárquicas locais e globais.
  • Estratégia de Treinamento:
    1. Treinamento inicial massivo no AffectNet3D (dados sintéticos gerados).
    2. Fine-tuning (ajuste fino) em um subconjunto pequeno do conjunto de dados real BU-3DFE (dados de laboratório).
  • Simulação de Cenários HFWS: Para validar a viabilidade em dispositivos vestíveis (como óculos inteligentes), os autores simularam condições de sensoriamento limitado aplicando máscaras (ocluindo partes da nuvem de pontos) para testar a robustez do modelo sob cobertura facial reduzida.

3. Principais Contribuições

1. Pipeline de Geração de Dados 3D: Demonstração da viabilidade de usar dados 2D "in-the-wild" (selvagens) para treinar modelos 3D, superando a escassez de dados rotulados 3D.
2. AffectNet3D: Criação de um novo conjunto de dados 3D derivado do AffectNet, ampliando significativamente a disponibilidade de amostras para treinamento.
3. Pipeline de Refinamento: Desenvolvimento de um método automatizado para isolar a região facial em nuvens de pontos de cabeça inteira, melhorando a eficiência computacional e a precisão do modelo.
4. Validação de Privacidade e Usabilidade: Evidência de que a geometria 3D sem textura reduz riscos de identificação de identidade e que modelos treinados com dados sintéticos podem ser adaptados com poucos dados reais para alta precisão.

4. Resultados

• Desempenho de Classificação:
  • O modelo treinado apenas no AffectNet3D (sem ajuste fino) teve baixa precisão no BU-3DFE (cerca de 16-17%), indicando uma lacuna de domínio entre dados sintéticos e reais.
  • Após o fine-tuning com apenas 25% do conjunto de dados BU-3DFE, o modelo atingiu uma precisão de 70,64%.
  • Este resultado é comparável ao desempenho de uma solução "oráculo" (treinada em 80% do BU-3DFE, que atingiu ~78,90%), superando significativamente modelos treinados apenas com pequenas porções do BU-3DFE (que ficaram abaixo de 50%).
• Robustez a Oclusões:
  • Experimentos com máscaras simulando a cobertura de óculos inteligentes mostraram que a precisão da classificação é mantida mesmo com cobertura facial reduzida, validando a aplicação em dispositivos vestíveis.
• Eficiência: O refinamento dos dados reduziu o tempo de treinamento em quatro vezes em comparação com o uso de dados brutos, mantendo a precisão.

5. Significado e Impacto

Este trabalho estabelece uma ponte fundamental entre a computação afetiva baseada em imagens 2D e a futura geração de sistemas de sensoriamento 3D baseados em ondas de rádio de alta frequência (HFWS/THz).

• Privacidade por Design: Ao utilizar geometria 3D sem textura, o sistema mitiga riscos de reidentificação, alinhando-se às rigorosas leis de proteção de dados da UE.
• Viabilidade de Wearables: Demonstra que é possível construir sistemas de reconhecimento de emoção contínuos e não intrusivos usando sensores vestíveis, desde que haja uma estratégia robusta de geração e adaptação de dados.
• Caminho para o Futuro: O estudo sugere que a combinação de sensores THz (para captura 3D) com modelos de DL treinados em dados sintéticos 3D derivados de 2D é uma via promissora para aplicações reais em saúde e interação humano-computador, superando as barreiras de custo e privacidade dos métodos atuais.

Em resumo, o artigo prova que é possível criar um sistema de reconhecimento de emoções preciso, escalável e respeitoso com a privacidade, utilizando uma abordagem híbrida de geração de dados sintéticos 3D e ajuste fino com dados reais limitados.