💻 computer science

AdaTF-HyperMIL: Adaptive Time–Frequency Fusion and Hyperbolic Multiple-Instance Learning for Subject-Independent EEG Emotion Recognition

O artigo propõe o AdaTF-HyperMIL, um novo framework que integra a fusão tempo-frequência adaptativa com o aprendizado de múltiplas instâncias hiperbólico para alcançar o estado da arte no reconhecimento de emoções em EEG independente de sujeito, ao modelar dinamicamente interações temporais-espectrais e alinhar representações entre sujeitos sem dados de alvo.

Autores originais: zilong liu, zhenyu song

Publicado 2026-10-05

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: zilong liu, zhenyu song

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O cérebro humano é uma paisagem vasta e ruidosa de atividade elétrica, disparando constantemente sinais que refletem nossos pensamentos, movimentos e sentimentos. Quando os cientistas querem entender como nos sentimos, frequentemente observam esses sinais elétricos, conhecidos como eletroencefalografia ou EEG, registrados do couro cabeludo. É uma janela direta para a mente, mas também uma janela difícil de ler. Os sinais são fracos, facilmente distorcidos pelo movimento muscular e variam drasticamente de pessoa para pessoa. Um padrão que sinaliza claramente a felicidade em uma pessoa pode parecer confusão em outra. Essa variabilidade cria um grande obstáculo para a construção de máquinas que possam reconhecer emoções. A maioria dos sistemas existentes é como alunos que memorizam as respostas para um teste específico; eles funcionam bem para as pessoas nas quais foram treinados, mas falham completamente quando confrontados com uma pessoa nova. O objetivo da pesquisa moderna é construir sistemas que possam generalizar, reconhecendo a linguagem universal da emoção, independentemente de quem a esteja expressando, sem precisar ver os dados dessa pessoa previamente.

Uma equipe de pesquisadores desenvolveu uma nova abordagem para resolver esse problema, criando um sistema que pode identificar emoções em indivíduos não vistos com alta precisência. Eles chamam seu método de AdaTF-HyperMIL, um framework projetado para navegar na realidade caótica dos sinais cerebrais, adaptando-se às características únicas de cada momento e de cada pessoa. Em vez de forçar cada sinal cerebral em um molde único e rígido, seu sistema atua como um observador flexível que aprende a ponderar diferentes evidências. Ele entende que algumas partes de um registro cerebral são mais importantes que outras, que diferentes escalas de tempo de atividade importam para diferentes emoções e que a relação entre tempo e frequência no sinal é complexa. Ao combinar essas percepções com uma estratégia matemática que organiza a informação em um espaço curvo, o sistema consegue encontrar os fios comuns da emoção que persistem através de diferentes seres humanos.

O desafio central que os pesquisadores enfrentaram é que um estado emocional não é um evento único e estático, mas um processo que se desenrola ao longo do tempo. Uma gravação de uma pessoa sentindo-se feliz não é apenas um instantâneo; é uma série de janelas curtas de dados, algumas das quais são claras e outras que são ruidosas ou irrelevantes. Métodos anteriores frequentemente tratavam cada janela de dados igualmente, assumindo que, se uma pessoa foi rotulada como "feliz" para um teste, cada segundo desse teste deve ser feliz. O novo sistema rejeita essa suposição. Ele reconhece que, dentro de um único teste, alguns momentos carregam o verdadeiro sinal emocional enquanto outros são apenas ruído de fundo. Para lidar com isso, o sistema utiliza uma técnica que permite selecionar as janelas mais informativas e ignorar o restante, filtrando efetivamente o estático para ouvir a música.

Além disso, os pesquisadores perceberam que a atividade elétrica do cérebro muda em diferentes velocidades. Algumas mudanças emocionais acontecem num lampejo, enquanto outras se constroem lentamente ao longo de um período mais longo. Modelos antigos tentavam capturar essas mudanças usando ferramentas fixas que olhavam para o cérebro em apenas uma velocidade ou as combinavam de forma rígida. O novo sistema introduz um mecanismo de roteamento dinâmico que decide, para cada pedaço de dado, qual escala de tempo é mais útil. É como se o sistema tivesse um conjunto de lentes com diferentes distâncias focais e escolhesse a certa para a cena específica que está observando. Isso permite que ele capture tanto mudanças rápidas e fugazes quanto padrões mais lentos e sustentados, adaptando seu foco com base no que o cérebro está realmente fazendo naquele momento.

Para dar sentido a esses sinais, o sistema também observa como o tempo e a frequência interagem. Os sinais cerebrais são frequentemente descritos em termos de seu ritmo (tempo) e seu tom (frequência), e esses dois aspectos estão profundamente conectados. Os pesquisadores construíram um mecanismo que permite que essas duas visões conversem entre si, trocando informações para construir um quadro mais rico. Em vez de apenas empilhar essas visões umas sobre as outras, o sistema usa um processo de portão (gating) para decidir quanto peso dar à informação baseada no tempo versus a informação baseada na frequência para cada entrada específica. Isso garante que a compreensão final da emoção seja uma fusão equilibrada de ambas as perspectivas, adaptada às necessidades específicas dos dados em questão.

Uma vez que o sistema tenha coletado e refinado as evidências das várias janelas de um teste, ele deve combiná-las em uma única previsão. Aqui, os pesquisadores empregaram uma estratégia chamada aprendizagem de múltiplas instâncias (multiple-instance learning). Imagine um saco de mármores onde apenas o saco possui um rótulo, mas os mármores individuais não. O trabalho do sistema é descobrir quais mármores são os mais importantes para determinar o rótulo do saco. Neste caso, o "saco" é o teste emocional completo, e os "mármores" são as janelas curtas de atividade cerebral. O sistema aprende a atribuir maior importância às janelas que contêm os sinais emocionais mais fortes e menor importância aos que são ruidosos. Isso permite que ele construa uma representação confiável do teste, mesmo quando os dados são imperfeitos.

A etapa final envolve organizar essas representações de uma forma que torne fácil distinguir entre diferentes emoções, mesmo entre pessoas diferentes. Os pesquisadores usaram um espaço matemático que curva, conhecido como espaço hiperbólico, para organizar os dados. Nesse espaço curvo, o sistema pode agrupar emoções semelhantes e afastar emoções diferentes de forma mais eficaz do que em um espaço plano e padrão. Essa abordagem geométrica ajuda o sistema a lidar com o fato de que os dados emocionais de diferentes pessoas podem estar deslocados ou distorcidos. Ao aprender a navegar por esse cenário curvo, o sistema pode encontrar o verdadeiro centro de cada categoria de emoção, facilitando a classificação correta de novos dados não vistos.

Os resultados deste trabalho são promissores. Quando testado em três conjuntos de dados padrão usados pela comunidade científica, o sistema alcançou altos níveis de precisão. Para um conjunto de dados envolvendo três tipos de emoções, ele identificou corretamente o sentimento em cerca de 95% dos casos. Para um conjunto de dados mais complexo com quatro tipos de emoções, obteve sucesso em cerca de 82% dos casos. Também teve um bom desempenho em conjuntos de dados que medem duas dimensões da emoção: o quão excitada ou calma uma pessoa se sente, e o quão positiva ou negativa ela se sente. No entanto, os pesquisadores observam que, embora o sistema tenha alcançado pontuações agregadas superiores aos métodos anteriores, as melhorias não foram estatisticamente significativas ao comparar indivíduos um a um contra a linha de base mais forte. Isso sugere que, embora a nova abordagem seja robusta e eficaz, o desafio do reconhecimento de emoções independente de sujeito ainda não foi totalmente resolvido. Os conjuntos de dados utilizados foram coletados em ambientes de laboratório controlados com estímulos específicos, portanto, resta saber quão bem o sistema funcionaria no mundo real, com emoções naturais e diferentes dispositivos de gravação. O estudo também destaca que a capacidade do sistema de selecionar janelas importantes e adaptar suas escalas de tempo são fatores fundamentis para o seu sucesso, já que a remoção dessas características levou a uma queda no desempenho.

Em última análise, esta pesquisa fornece um caminho mais claro para máquinas que possam verdadeiramente compreender a emoção humana. Ao se afastar de modelos rígidos e universais e abraçar uma seleção adaptativa baseada em evidências, o sistema espelha a própria flexibilidade do cérebro humano. Ele não força os dados a se ajustarem a uma noção preconcebida do que é uma emoção; em vez disso, aprende a ouvir os dados, selecionando os sinais significativos do meio do ruído. Embora ainda haja trabalho a ser feito para garantir que esses sistemas funcionem em todos os cenários do mundo real, este estudo demonstra que, ao projetar cuidadosamente a forma como extraímos e organizamos os sinais cerebrais, podemos construir ferramentas que são muito mais sensíveis e confiáveis do que as anteriores. O caminho à frente reside em continuar a refinar esses mecanismos adaptativos, aproximando-nos de um futuro onde a tecnologia possa genuinamente conectar-se com nossas vidas emocionais interiores.

Resumo Técnico: AdaTF-HyperMIL

Definição do Problema

O artigo aborda o reconhecimento de emoções em EEG entre sujeitos sem alvo (target-free cross-subject), um cenário onde um modelo deve prever emoções ao nível de tentativa (trial-level) para participantes não vistos, sem utilizar seus dados durante o treinamento ou seleção do modelo. Os autores identificam três desafios específicos que motivam este trabalho:

Contribuições Temporais e Espectrais Variáveis: Diferentes escalas temporais (campos receptivos) e visões espectrais contribuem de forma desigual para diferentes janelas de EEG, embora os métodos existentes frequentemente utilizem filtros multiescala fixos ou fusão uniforme.
Relevância Emocional Desigual: Dentro de uma única tentativa rotulada, diferentes janelas temporais compartilham o mesmo rótulo, mas possuem níveis variados de relevância emocional. Abordagens padrão frequentemente tratam todas as janelas igualmente ou falham em modelar explicitamente a interação entre as visões temporal e espectral.
Desvios de Representação Dependentes do Sujeito: As respostas neurais variam significamente entre participantes devido à não estacionariedade e ao ruído, exigindo um aprendizado de representação robusto entre sujeitos que alinhe as classes sem assumir uma hierarquia conhecida de emoções.

Metodologia: AdaTF-HyperMIL

O framework proposto, Aprendizado de Múltiplas Instâncias Hiperbólico com Tempo-Frequência Adaptativo (AdaTF-HyperMIL), conecta codificação de janela adaptativa, seleção de evidência ao nível da tentativa e aprendizado de representação entre sujeitos através de um pipeline de cinco estágios:

1. Codificador Compartilhado Multiescala Dinâmico

Entrada: Tentativas de EEG bruto são segmentadas em janelas não sobrepostas de 4 segundos.
Arquitetura: Uma projeção de canal pontual alimenta três ramos temporais paralelos de profundidade separável (depthwise-separable) com durações de kernel de 0,125s, 0,25s e 0,50s.
Roteamento Adaptativo: Um roteador dependente da amostra (MLP + Softmax) analisa as características concatenadas dos ramos para prever pesos normalizados ( $\pi$ ) para cada escala. Isso permite que o modelo selecione dinamicamente quais campos receptivos temporais mais contribuem para uma janela específica, em vez de usar uma combinação fixa.
Saída: Uma característica latente compartilhada $U_{im}$ é formada pela soma ponderada das características específicas de cada escala.

2. Fusão QKV-SK de Tempo-Frequência Latente

Geração de Visão: A característica latente é tokenizada em uma Visão Temporal e uma Visão Espectral (derivada via log-potência da FFT).
Atenção Bidirecional de Cruzamento de Visão: A atenção QKV de produto escalar escalonado padrão é usada em ambas as direções (Temporal $\to$ Espectral e Espectral $\to$ Temporal) para atualizar os tokens com base nas informações da visão complementar.
Portão de Núcleo Seletivo (SK Gating): Um portão SK de duas vias prevê pesos de fusão dependentes da amostra para combinar as visões atualizadas. Isso separa a operação de troca de informações (via atenção) do ponderamento da contribuição de cada visão para a representação fundida final.

3. Gargalo de Query Aprendível

Para comprimir sequências de tokens de comprimento variável em embeddings de janela de tamanho fixo, o modelo emprega L queries aprendíveis.
Estas queries interagem com os tokens fundidos via Atenção Cruzada (Cross-Attention), seguido de mean pooling. Isso atua como um gargalo de informação, produzindo um embedding compacto de dimensão $d$ ( $h_{im}$ ) para cada janela, independente da contagem original de tokens.

4. MIL de Atenção ao Nível da Tentativa

Construção de Bag (Saco): O conjunto de embeddings de janela para uma tentativa forma um "bag".
Ponderação de Instância: Um mecanismo de atenção com portão atribui uma pontuação a cada janela, normalizando-as para formar pesos de atenção ( $\alpha_{im}$ ).
Agregação: O embedding da tentativa ( $z_i$ ) é computado como a soma ponderada dos embeddings das janelas. Isso permite que o modelo selecione janelas informativas dentro de uma tentativa enquanto ignora segmentos menos relevantes, abordando o descompassio entre o processamento ao nível da janela e a supervisão ao nível da tentativa.
Nota: Esta agregação ocorre no espaço tangente euclidiano antes da projeção.

5. Aprendizado de Emoção Hiperbólico

Projeção: O embedding da tentativa é projetado em uma bola de Poincaré (espaço hiperbólico) usando um mapa exponencial.
Classificação de Protótipo Hiperbólico Ponderada por Confiança: Um classificador de protótipos de classe é usado. Os protótipos de classe são pontos aprendíveis no espaço hiperbólico. As previsões são baseadas na distância de Poincaré ao quadrado entre o embedding da tentativa e os protótipos de classe.
Objetivo de Treinamento: A função de perda combina dois termos:
1. Entropia Cruzada Hiperbólica Ponderada pela Confiança (Lconf-HCE): A contribuição de cada tentativa para a perda é ponderada pela própria confiança de previsão do modelo (StopGrad aplicado à probabilidade da classe verdadeira). Isso reduz o peso de tentativas não confiáveis durante o treinamento.
2. Aprendizado Contrastivo Hiperbólico entre Sujeitos (LHCon): Tentativas de diferentes sujeitos que compartilham o mesmo rótulo de emoção são aproximadas no espaço hiperbólico, enquanto tentativas de classes diferentes são afastadas. Isso organiza as representações entre participantes sem assumir uma estrutura hierárquica.

Principais Contribuições

Enquadramento do Problema: Os autores enquadram o reconhecimento independente de sujeito sem alvo como um problema conjunto de heterogeneidade temporal, descompasso de supervisão tentativa-janela e desvio de distribuição entre sujeitos.
Codificação Adaptativa: Desenvolvimento de um esquema de codificação que separa a seleção de escala temporal, a interação de visão cruzada e a fusão adaptativa. Isso é validado contra baselines de escala única, roteamento uniforme e média fixa.
Agregação em Dois Estágios: Combinação de compressão de query dentro da janela com MIL de atenção entre janelas para construir representações de tentativa, seguido de organização hiperbólica consciente da confiança.
Avaliação Rigorosa: Fornecimento de evidência Leave-One-Subject-Out (LOSO) aninhada e resistente a vazamentos em três benchmarks (SEED, SEED-IV, DREAMER), incluindo ablações correspondentes e análises de incerteza ao nível do sujeito.

Resultados

O modelo foi avaliado no SEED (3 classes), SEED-IV (4 classes) e DREAMER (Valência/Arousal binário) usando um protocolo LOSO aninhado estrito.

Desempenho:
- SEED: 95,12% de Acurácia, 95,06% de Macro-F1.
- SEED-IV: 82,63% de Acurácia, 81,59% de Macro-F1.
- DREAMER Arousal: 82,69% de Acurácia, 82,16% de Macro-F1.
- DREAMER Valence: 81,75% de Acurácia, 81,68% de Macro-F1.
Comparação: O AdaTF-HyperMIL alcançou as pontuações agregadas de Macro-F1 mais altas entre todos os baselines reproduzidos (incluindo EEGNet, TSception e MILFNet).
Significância Estatística: Embora o modelo completo tenha superado o baseline mais forte (MILFNet) em métricas agregadas, as comparações pareadas ao nível do sujeito não permaneceram estatisticamente significativas após a correção de Holm nas quatro tarefas. Os autores observam que os ganhos, embora consistentes, não são estatisticamente robustos nestes grupos específicos.
Ablações: A remoção de qualquer componente principal (seleção de escala dinâmica, fusão adaptativa, atenção MIL ou geometria hiperbólica) resultou em menores pontuações médias de Macro-F1, confirmando a contribuição de cada estágio de design.

Significância e Alegações

O artigo afirma que o AdaTF-HyperMIL conecta com sucesso a seleção de escala e visão dependente da entrada à supervisão ao nível da tentativa e à organização de classes entre sujeitos.

Alegações Modestas sobre Significância: Os autores são explícitos ao afirmar que, embora o framework demonstre contribuições complementares da codificação adaptativa, agregação de tentativa e organização hiperbólica, a superioridade sobre o baseline mais forte (MILFNet) não é estatisticamente significativa após as correções de múltiplas comparações nos cohorts testados.
Validação de Mecanismo: O estudo valida que os mecanismos adaptativos (roteamento, portão, atenção) melhoram o desempenho em relação aos seus equivalentes estáticos, mesmo que a vantagem estatística final sobre o melhor baseline seja marginal.
Limitações: Os autores reconhecem que os resultados são limitados a conjuntos de dados de elicitação de emoção controlados e de pequenos cohorts. A generalização para afeto naturalístico, populações clínicas ou novos dispositivos de gravação permanece não estabelecida. O modelo trata os pesos de roteamento e atenção como quantidades associativas, em vez de explicações neurais causais.