Personalized Feature Translation for Expression Recognition: An Efficient Source-Free Domain Adaptation Method

O artigo propõe o método SFDA-PFT, uma abordagem leve de adaptação de domínio sem fonte que utiliza tradução de características no espaço latente para personalizar modelos de reconhecimento de expressões faciais usando apenas dados de alvo neutros, superando as limitações de métodos existentes e evitando a geração instável de imagens.

O essencial

Imagine que você tem um mestre detetive de emoções (um modelo de Inteligência Artificial) que foi treinado em uma escola muito específica. Ele é ótimo em ler o rosto das pessoas daquela escola, entendendo perfeitamente como elas sorriem, choram ou mostram dor.

Agora, imagine que esse detetive precisa trabalhar em uma nova cidade, com pessoas de rostos diferentes, culturas diferentes e estilos de expressão únicos. O problema? O detetive não pode levar o "manual de instruções" da escola antiga (os dados originais) para a nova cidade por questões de privacidade (como se fosse um segredo de estado). Além disso, na nova cidade, ele só consegue ver as pessoas com cara de pau (expressão neutra) no momento em que chega. Ele não consegue ver as pessoas rindo ou chorando para aprender como elas são.

Como fazer esse detetive se adaptar sem ver os dados antigos e sem ver as emoções novas?

É aqui que entra o SFDA-PFT, o método proposto neste artigo. Vamos explicar como ele funciona usando uma analogia simples:

1. O Problema: O Tradutor de Rostos "Gigante"

Antes, os cientistas tentavam resolver isso criando um "tradutor de rostos" que pegava a foto neutra da pessoa nova e tentava desenhar (gerar) uma imagem de como ela estaria se estivesse chorando ou rindo, no estilo dos rostos antigos.

• O problema: É como tentar desenhar um quadro complexo de memória. É lento, consome muita energia (computação pesada) e, muitas vezes, o desenho sai estranho, borrado ou com detalhes errados, confundindo o detetive.

2. A Solução: O "Tradutor de Estilo" (SFDA-PFT)

Os autores criaram uma solução mais inteligente e leve. Em vez de tentar desenhar o rosto novo, eles decidiram traduzir a "alma" do rosto (os dados matemáticos por trás da imagem) antes de mostrar para o detetive.

Pense no rosto de uma pessoa como uma receita de bolo:

• A Expressão (alegria, dor, medo) é o sabor do bolo (chocolate, baunilha).
• A Pessoa (sua identidade, formato do rosto, pele) é o tipo de farinha usada (trigo, aveia, amêndoa).

O modelo antigo tentava recriar o bolo inteiro do zero. O SFDA-PFT faz algo mais simples:

1. Treinamento (Na escola antiga): Eles ensinam um pequeno assistente (o "tradutor") a pegar um bolo de chocolate feito com farinha de trigo e transformá-lo em um bolo de chocolate feito com farinha de amêndoa, sem mudar o sabor. O assistente aprende a trocar a "farinha" (identidade) mantendo o "sabor" (emoção).
2. Adaptação (Na nova cidade): Quando chega uma pessoa nova com cara de pau, o assistente pega a "farinha" dela e a transforma na "farinha" que o detetive conhece melhor, mantendo a cara de pau intacta.
3. Resultado: O detetive recebe um rosto que "parece" ser de alguém que ele já conhece (estilo familiar), mas que ainda é a pessoa nova. Assim, ele consegue identificar a emoção (ou a dor) com muito mais facilidade, mesmo tendo visto apenas a cara de pau no início.

Por que isso é incrível?

• Economia de Energia: Em vez de construir uma fábrica inteira para desenhar rostos (o que exigiria computadores gigantes), eles usam um pequeno "tradutor" que cabe num bolso. É muito mais rápido e barato.
• Privacidade Total: O detetive nunca precisa ver os dados antigos da escola. Ele só precisa do "tradutor" que já aprendeu as regras.
• Funciona com Pouco: Você só precisa de alguns segundos de vídeo da pessoa com cara de neutra para o sistema se adaptar. Não precisa de horas de vídeo chorando ou rindo.
• Precisão: Nos testes, esse método foi muito melhor do que os antigos, especialmente em situações difíceis como identificar dor em idosos ou estresse em ambientes caóticos.

Resumo da Ópera

O SFDA-PFT é como dar um adaptador de tomada universal para um detetive de emoções. Em vez de tentar reconstruir a casa inteira (o rosto) para caber na nova tomada, ele apenas ajusta o plugue (o estilo do rosto) para que a energia (a emoção) flua perfeitamente, sem gastar muita luz e sem precisar ver o projeto original da casa.

É uma solução leve, rápida e privada para ensinar computadores a entenderem nossas emoções, mesmo quando nunca nos viram antes.

Resumo técnico

Resumo Técnico: SFDA-PFT para Reconhecimento de Expressões Faciais

1. O Problema

O Reconhecimento de Expressões Faciais (FER) baseado em vídeo é crucial para aplicações de computação afetiva, como interação humano-computador e monitoramento de saúde. No entanto, modelos profundos de FER enfrentam desafios significativos ao serem implantados em novos usuários ou ambientes operacionais devido à variabilidade inter-subjetiva (diferenças físicas e de estilo entre indivíduos) e à mudança de distribuição entre os dados de treinamento (domínio fonte) e teste (domínio alvo).

A adaptação de domínio tradicional requer acesso aos dados rotulados da fonte, o que viola a privacidade em cenários sensíveis (ex.: saúde). A Adaptação de Domínio Livre de Fonte (SFDA) resolve isso adaptando um modelo pré-treinado apenas com dados não rotulados do alvo. Contudo, a maioria dos métodos SFDA existentes falha em cenários realistas de FER onde:

• Apenas dados neutros do alvo estão disponíveis (dados expressivos são caros ou indisponíveis).
• Métodos baseados em tradução de imagem (usando GANs) são instáveis, computacionalmente pesados e tendem a distorcer expressões sutis ao gerar novas imagens.
• A adaptação deve ser personalizada para cada sujeito individualmente, sem acesso aos dados originais da fonte.

2. Metodologia Proposta: SFDA-PFT

Os autores propõem o SFDA-PFT (Source-Free Domain Adaptation with Personalized Feature Translation), um método que realiza a adaptação no espaço de características latentes em vez do espaço de pixels.

Arquitetura e Fluxo:
O método utiliza um modelo fonte congelado (extrator de características $F$ e classificador $C$) e introduz um tradutor leve ($T$), que é uma cópia do extrator fonte com camadas adaptativas adicionais.

• Pré-treinamento na Fonte:

  • O tradutor é pré-treinado no domínio fonte para aprender a transformar características de um sujeito para outro, preservando a expressão original.
  • Objetivo de Troca de Sujeito: Pares de imagens de sujeitos diferentes com a mesma expressão são usados. O tradutor mapeia as características de um sujeito para o estilo de outro.
  • Funções de Perda:
    1. Consistência de Expressão ($L_{expr}$): Minimiza a divergência KL entre as previsões do classificador nas características originais e traduzidas, garantindo que a emoção não mude.
    2. Consciência de Estilo ($L_{style}$): Alinha as estatísticas de primeira e segunda ordem (média e variância) das ativações das camadas iniciais do tradutor com as do sujeito de referência. Isso captura a identidade (geometria facial, textura) sem síntese de imagem.

• Adaptação no Alvo:

  • Utiliza-se apenas um pequeno conjunto de imagens neutras do sujeito alvo.
  • O classificador fonte e o extrator permanecem congelados. Apenas as camadas adaptativas do tradutor são ajustadas.
  • Objetivo: Preservar a semântica da expressão. Como não há rótulos no alvo, utiliza-se uma estratégia de auto-distilação: minimiza-se a divergência KL entre a previsão do classificador nas características brutas e nas características traduzidas. Isso força o tradutor a manter a informação de expressão enquanto adapta o estilo ao sujeito alvo.

• Inferência:

  • O tradutor personalizado é aplicado às características de entrada do alvo antes de serem passadas para o classificador fonte congelado. Não há necessidade de síntese de imagem ou acesso a dados fonte durante a implantação.

3. Contribuições Principais

1. Tradução de Características Personalizada: Um método SFDA que opera no espaço latente, eliminando a necessidade de modelos generativos complexos e instáveis para síntese de imagens.
2. Adaptação com Dados Neutros: O método foi projetado especificamente para cenários onde apenas dados neutros do alvo estão disponíveis, superando a limitação de métodos anteriores que exigem dados expressivos para treinamento.
3. Eficiência Computacional e Privacidade:
   • Reduz drasticamente o custo computacional (até 100x menos parâmetros e 17x menos FLOPs comparado a métodos de tradução de imagem como SFDA-IT).
   • Preserva a privacidade, pois não requer armazenamento ou transmissão de dados fonte.
   • Adiciona apenas um módulo leve durante a inferência, sem alterar o classificador principal.
4. Validação Exaustiva: Experimentos em quatro benchmarks desafiadores de vídeo (BioVid, StressID, BAH, Aff-Wild2), cobrindo desde ambientes controlados de laboratório até cenários "in-the-wild".

4. Resultados Experimentais

O SFDA-PFT foi comparado com métodos state-of-the-art (SOTA) de SFDA baseados em modelo (ex.: SHOT, TPDS) e baseados em dados (ex.: SFDA-IT, DSFDA).

• Desempenho: O SFDA-PFT superou consistentemente todos os métodos concorrentes em todos os quatro datasets.
  • BioVid (Dor): 78.31% de F1 (vs. 68.48% do DSFDA).
  • StressID (Estresse): 69.92% de F1 (vs. 66.00% do DSFDA).
  • BAH (Ambivalência): 57.40% de F1.
  • Aff-Wild2 (Expressões Básicas): 54.46% de F1.
• Eficiência: O método alcançou a melhor precisão com apenas 135 iterações de adaptação e 0.95 segundos por lote, enquanto outros métodos exigiam milhares de iterações e tempos de execução muito maiores.
• Análise de Falhas: O método apresentou dificuldade com sujeitos idosos (devido a reações faciais mais sutis), sugerindo que estratégias futuras poderiam beneficiar-se de adaptação baseada em idade.
• Visualização (t-SNE): Mostrou que a tradução no espaço de características alinha melhor os clusters do alvo aos da fonte, preservando a estrutura discriminativa, ao contrário da tradução de imagem que introduz ruído e distorções.

5. Significado e Impacto

Este trabalho representa um avanço significativo para a personalização de FER em cenários do mundo real. Ao eliminar a dependência de síntese de imagem e dados expressivos do alvo, o SFDA-PFT oferece uma solução viável, escalável e economicamente eficiente para aplicações sensíveis à privacidade, como monitoramento de saúde mental, detecção de dor e interação humano-computador em dispositivos móveis. A abordagem demonstra que a adaptação no espaço de características é superior à tradução de pixels para tarefas que exigem a preservação de nuances expressivas sutis.

Código: O código-fonte está disponível publicamente no GitHub: github.com/MasoumehSharafi/SFDA-PFT.