egoEMOTION: Egocentric Vision and Physiological Signals for Emotion and Personality Recognition in Real-World Tasks

O artigo apresenta o egoEMOTION, o primeiro conjunto de dados que combina sinais visuais egocêntricos e fisiológicos com autorrelatos densos de emoção e personalidade para estabelecer novos benchmarks em tarefas de reconhecimento afetivo e inferência de traços em cenários do mundo real.

O essencial

Imagine que você está usando óculos inteligentes que não apenas veem o mundo através dos seus olhos, mas também "leem" o que está acontecendo dentro da sua cabeça e do seu coração. É exatamente isso que o projeto egoEMOTION propõe.

Aqui está uma explicação simples, usando analogias do dia a dia, sobre o que os pesquisadores da ETH Zurich descobriram:

1. O Problema: Os Óculos "Cegos" para Emoções

Até hoje, os óculos de realidade aumentada e os sistemas de visão em primeira pessoa (como os usados em filmes de ação ou jogos) são muito bons em responder a perguntas como: "O que a pessoa está segurando?" ou "Para onde ela está olhando?".

Mas eles tratam as pessoas como robôs neutros. Eles assumem que todo mundo está sempre calmo e igual. O problema é que, na vida real, nossa emoção muda tudo. Se você está com raiva, você pode jogar um objeto; se está feliz, você pode abraçá-lo. Se o computador não entende que você está triste ou animado, ele não consegue prever o que você vai fazer a seguir.

2. A Solução: O "Kit de Detetive" Emocional

Os pesquisadores criaram um novo banco de dados chamado egoEMOTION. Para fazer isso, eles equiparam 43 pessoas com um "kit de detetive" super avançado:

• Os Óculos (Meta Project Aria): Gravam o que a pessoa vê, para onde ela olha (movimento dos olhos) e como a cabeça se move.
• Sensores no Corpo: Como um cinto de segurança que mede o coração (ECG), a respiração e a resposta da pele ao estresse (como quando a mão suada de frio ou nervoso).
• O "Diário" da Pessoa: Após cada atividade, a pessoa dizia exatamente o que sentia (usando desenhos de carinhas e uma roda de emoções).

Eles fizeram duas coisas com os participantes:

1. Cenas de Cinema (Induzidas): Assistiram a vídeos curtos para sentir medo, alegria, nojo, etc.
2. Vida Real (Natural): Fizeram tarefas do dia a dia, como pintar, jogar jogos, tentar rir de piadas ou montar torres de blocos (Jenga).

O resultado? Mais de 50 horas de gravação onde cada segundo de vídeo está perfeitamente sincronizado com os batimentos cardíacos e o relato de como a pessoa se sentia.

3. A Grande Descoberta: Os Olhos Falam Mais que o Coração?

Aqui está a parte mais surpreendente, como se fosse um truque de mágica.

Os pesquisadores testaram duas abordagens para adivinhar a emoção:

• Abordagem A: Usar apenas os sensores do corpo (coração, respiração). É como tentar adivinhar o clima apenas sentindo a umidade no ar.
• Abordagem B: Usar apenas os dados dos óculos (o que os olhos viram, para onde olharam, como a pupila dilatou). É como olhar para o céu e as nuvens.

O Resultado: A Abordagem B (os óculos) foi melhor!
Os pesquisadores descobriram que, em situações do mundo real, o que os olhos fazem e para onde olham é um indicador de emoção mais forte do que o próprio batimento cardíaco.

Pense assim: Quando você está com medo, seu coração acelera (sensores corporais). Mas, ao mesmo tempo, seus olhos se abrem mais, você congela a visão em algo específico e sua pupila muda. Os óculos captaram esses "micro-sinais" visuais com tanta precisão que conseguiram prever a emoção melhor do que os sensores de corpo sozinhos.

4. Por que isso é importante? (O Futuro)

Imagine um assistente de IA no seu futuro óculos inteligente.

• Hoje: Você olha para um mapa. A IA diz: "Você está no centro da cidade".
• Com egoEMOTION: A IA percebe que você está olhando para o mapa com pupila dilatada, respiração rápida e olhar perdido. Ela entende: "Ele está ansioso e perdido".
• Ação: Em vez de apenas mostrar o mapa, a IA diz: "Parece que você está tenso. Quer que eu desenhe uma rota mais simples ou ligue para um amigo?"

Isso muda a tecnologia de apenas "ver" para "sentir". Isso pode ajudar em:

• Saúde Mental: Detectar crises de ansiedade antes que aconteçam.
• Educação: Um professor virtual que percebe que o aluno está entediado ou confuso e muda a aula na hora.
• Trabalho: Sistemas que entendem quando um funcionário está sobrecarregado e sugere uma pausa.

Resumo em uma frase

O egoEMOTION é o primeiro "manual de instruções" que ensina aos computadores a lerem nossas emoções não apenas pelo que sentimos no corpo, mas principalmente pelo que nossos olhos revelam sobre o que estamos sentindo, tornando a tecnologia mais humana e empática.

Resumo técnico

Resumo Técnico: egoEMOTION

1. Problema e Motivação

Os sistemas de visão egocêntrica (que capturam o mundo do ponto de vista do usuário) têm avançado significativamente em tarefas como reconhecimento de ações, manipulação de objetos e previsão de olhar. No entanto, a maioria dos benchmarks atuais assume que os participantes possuem estados afetivos neutros e personalidades uniformes. Isso ignora os drivers internos fundamentais do comportamento humano: emoção e personalidade.

A lacuna atual reside na falta de dados que liguem sinais visuais egocêntricos e fisiológicos a rótulos densos de afeto e traços de personalidade em cenários do mundo real. Sem modelar esses estados internos, os sistemas de IA não conseguem prever comportamentos dependentes de humor, excitação ou traços de personalidade, limitando a eficácia de interações humano-computador adaptativas.

2. Metodologia e Design do Dataset

O artigo apresenta o egoEMOTION, o primeiro conjunto de dados multimodal que combina visão egocêntrica e sinais fisiológicos com autorrelatos densos de emoção e personalidade.

• Coleta de Dados:
  • Participantes: 43 indivíduos (estudantes, faixa etária 19-29 anos).
  • Equipamento: Óculos Meta Project Aria (para visão egocêntrica e rastreamento ocular) combinados com sensores fisiológicos externos (PPG no nariz e orelha, ECG no peito, EDA nos dedos, respiração e IMU).
  • Duração: Mais de 50 horas de gravação sincronizada.
• Protocolo Experimental:
  • Sessão A (Induzida): 9 clipes de vídeo projetados para elicitar emoções específicas (baseado na Roda de Emoções de Mikels), incluindo neutralidade.
  • Sessão B (Naturalista): 7 atividades do mundo real (ex: jogar Jenga, pintar, jogar Flappy Bird, contar piadas, ler cartas tristes).
  • Anotação: Após cada tarefa, os participantes preencheram questionários de autorrelato:
    • Modelo Circunplexo: Valência (V), Excitação/Arousal (A) e Dominância (D) usando o emoti-SAM.
    • Roda de Emoções de Mikels (Ponderada): Distribuição de 100% de peso entre 9 emoções (incluindo neutro) para capturar emoções mistas.
    • Personalidade: Inventário Big Five (BFI-2) para os traços: Extroversão, Amabilidade, Conscienciosidade, Negatividade Emocional e Abertura.

3. Contribuições Principais

1. Primeiro Dataset Multimodal Egocêntrico: Integração de vídeo de rastreamento ocular, câmera POV (ponto de vista), IMU e sinais fisiológicos (ECG, EDA, PPG, RSP) focados em reconhecimento de emoção e personalidade.
2. Tarefas de Benchmark Definidas:
   • Classificação contínua de afeto (V-A-D).
   • Classificação de emoções discretas (9 classes).
   • Inferência de traços de personalidade (Big Five).
3. Liberdade de Código Aberto: Disponibilização do dataset (com restrições éticas) e implementações de baselines.

4. Resultados Experimentais

Os autores estabeleceram baselines utilizando métodos clássicos de aprendizado de máquina (SVM, Random Forest) e compararam com abordagens de Deep Learning (CNN, Transformers).

• Desempenho Geral:
  • Ação Contínua (V-A-D): O modelo clássico usando todos os sensores atingiu um F1-score médio de 0.75. Curiosamente, o uso exclusivo dos sinais dos óculos egocêntricos (visão + rastreamento ocular) atingiu 0.74, superando ligeiramente os sensores fisiológicos tradicionais (0.70).
  • Emoções Discretas: Os óculos egocêntricos alcançaram 0.46 (F1), significativamente acima da linha de base aleatória (0.11) e dos sensores vestíveis isolados (0.24).
  • Personalidade: A combinação de todos os modos atingiu 0.59, enquanto os óculos sozinhos atingiram 0.57, superando os vestíveis (0.50).
• Insight Crítico: Sinais capturados por dispositivos egocêntricos, especialmente rastreamento ocular (tamanho da pupila, direção do olhar) e movimento da cabeça (IMU), contêm informações comportamentais ricas que superam ou complementam eficazmente os sinais fisiológicos tradicionais para previsão de afeto em tempo real.
• Deep Learning vs. Clássico: Surpreendentemente, os métodos clássicos superaram as redes neurais profundas (CNN e WER) em todas as tarefas neste dataset, sugerindo que a extração de características estatísticas robustas ainda é eficaz para esses dados específicos.

5. Significado e Impacto

O trabalho egoEMOTION representa um avanço fundamental na visão computacional e na interação humano-computador:

• Mudança de Paradigma: Move o foco da visão egocêntrica de apenas "o que a pessoa está fazendo" para "como a pessoa está se sentindo e quem ela é".
• Viabilidade Prática: Demonstra que é possível inferir estados afetivos complexos usando apenas dispositivos vestíveis leves (óculos inteligentes), sem a necessidade de sensores fisiológicos invasivos ou pesados, o que é crucial para a adoção em massa de AR/VR.
• Aplicações Futuras: O dataset abre caminho para sistemas mais empáticos em saúde mental, interfaces adaptativas em educação, e interações mais naturais em computação imersiva, permitindo que a IA responda não apenas à ação, mas ao estado emocional e à personalidade do usuário.

Em suma, o egoEMOTION estabelece uma nova fundação para a modelagem de comportamento baseada em afeto, provando que a visão egocêntrica é uma fonte de dados poderosa e subutilizada para a compreensão da condição humana.