💻 computer science

Strength-Parity Ensembling with Parameter-Isolated Experts for Multi-Task Affect Recognition

Este artigo propõe uma estratégia de ensemble de paridade de força usando especialistas de parâmetros isolados dentro de um backbone latente de afeto compartilhado para superar altas correlações de predição e alcançar pontuações de estado da arte em reconhecimento de afeto multitarefa no 11º desafio ABAW.

Autores originais: Hong Hai Nguyen, Van Thong Huynh

Publicado 2026-07-21

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Hong Hai Nguyen, Van Thong Huynh

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a entender os sentimentos humanos apenas olhando para o rosto deles. Parece simples, mas é, na verdade, um cabo de guerra de três vias, bagunçado. O robô tem que adivinhar o quão feliz ou triste alguém se sente em uma escala deslizante (como um botão de volume para emoção), escolher uma palavra de emoção específica de uma lista de oito (como "irritado" ou "surpreso") e detectar pequenos espasmos musculares ao redor dos olhos e da boca que acontecem mesmo quando tentamos escondê-los. O problema é que os dados de treinamento do robô estão quebrados: às vezes, ele vê apenas os espasmos musculares, às vezes apenas a palavra de emoção e, raramente, os três ao mesmo tempo. Além disso, os dados estão cheios de casos raros e estranhos e carecem dos mais comuns. Este é o mundo da "computação afetiva", onde cientistas tentam construir máquinas que nos entendam. A grande questão não é apenas "podemos construir um robô inteligente?", mas "como construímos uma equipe de robôs que não cometam exatamente os mesmos erros?".

Este artigo aborda esse problema de construção de equipe para uma grande competição chamada 11th ABAB challenge. Os autores descobriram um segredo frustrante: se você apenas pegar um robô inteligente, ajustá-lo um pouco e pedir para ele tentar de novo, ele geralmente acaba cometendo exatamente os mesmos erros do primeiro. É como pedir a dois gêmeos para resolver um quebra-cabeça; mesmo que eles se sentem em cadeiras diferentes, muitas vezes olham para a mesma peça errada e dizem: "Essa é a resposta!". Os pesquisadores descobriram que simplesmente retreinar um modelo ou mudar a ordem de suas lições não ajuda porque os modelos "reconvergem" para os mesmos maus hábitos, mostrando uma correlação de previsão de 0,98.

Para corrigir isso, a equipe propôs uma regra estrita de "Paridade de Força" para adicionar novos membros à sua equipe de robôs. Eles argumentaram que um novo robô só é útil se passar em dois testes ao mesmo tempo: deve ser tão inteligente quanto a equipe atual (um "par próximo") E deve olhar para o problema de forma diferente (ser "descorrelacionado"). Se um novo robô é super inteligente, mas pensa exatamente como os outros, ele é inútil. Se ele pensa de forma diferente, mas é burro, também é inútil. Você precisa da mistura perfeita: um amigo inteligente que vê o mundo de um ângulo diferente.

O artigo mostra que a maneira usual de criar novos robôs falha neste teste. No entanto, eles encontraram um truque inteligente chamado "Especialistas com Parâmetros Isolados". Imagine que o cérebro principal do robô é uma biblioteca gigante. Em vez de reescrever toda a biblioteca para cada nova tarefa (o que faz todos pensarem da mesma forma), eles construíram pequenas "salas secretas" separadas e de baixo posto dentro da biblioteca para cada novo especialista. Essas salas permitem que os especialistas aprendam truques específicos sem bagunçar a biblioteca principal ou copiar as notas uns dos outros. Este método manteve os especialistas pensando de forma diferente (mostrando uma correlação de previsão de 0,91, o que é muito melhor que 0,98) enquanto os mantinha super inteligentes.

Ao usar este truque, a equipe construiu um sistema que pontuou 1,6949 no teste de validação da competição, um salto enorme em relação à pontuação base de 0,45. Quando adicionaram alguns ajustes inteligentes, como calibrar a confiança do robô para movimentos musculares específicos, a pontuação subiu ainda mais para 1,7259. O artigo conclui que, embora este método seja um avanço massivo, há um limite: uma vez que você tem alguns especialistas inteligentes e de pensamento diferente, torna-se muito difícil encontrar mais. O próximo grande salto não virá de apenas tirar a média de mais do mesmo, mas de encontrar uma maneira completamente nova para os robôs enxergarem o mundo.

Resumo Técnico: Ensamble de Paridade de Força com Especialistas de Parâmetros Isolados para Reconhecimento de Afeto Multitarefa

Definição do Problema
O artigo aborda o desafio de aprendizagem multitarefa (MTL) da 11ª competição de Análise de Comportamento Afetivo (ABAW) in-the-wild. O objetivo é estimar conjuntamente três atributos afetivos distintos de um único rosto não restringido: valência-excitação contínua, 8 categorias de expressão e detecção de 12 Unidades de Ação (AU). A tarefa é complicada por três restrições específicas:

Rótulos Parciais e Desbalanceados: As três famílias de rótulos são anotadas em subconjuntos de quadros sobrepostos, mas desiguais, com distribuições de cauda longa individuais.
Sem Pré-treinamento nos Dados Alvo: O desafio proíbe o pré-treinamento no corpus Aff-Wild2, exigindo que os modelos se adaptem a partir de conjuntos de dados externos.
Ineficiência de Ensamble: Embora as principais entradas dependam de ensembles pesados, os critérios para selecionar quais membros adicionais melhoram um ensemble já forte raramente são explícitos. Métodos de diversificação padrão (por exemplo, re-semeadura ou currículos de ajuste fino distintos no mesmo backbone) frequentemente falham porque convergem para predições quase idênticas, não oferecendo diversidade para a média.

Metodologia
O sistema proposto baseia-se em uma arquitetura base que apresenta dois backbones ViT-B/16 congelados e supervisionados por afeto (um inicializado por FSFM e outro por MAE-Face) e um Latente de Afeto Compartilhado (SAL) que marginaliza rótulos ausentes entre os decodificadores de tarefas. A inovação central reside na Regra de Paridade de Força e no mecanismo para satisfazê-la.

A Regra de Paridade de Força:
Os autores propõem um critério de admissão concreto para membros de ensemble. Um novo membro melhora o ensemble apenas se satisfizer simultaneamente duas condições:

Descorrelação: Deve estar descorrelacionado dos membros atuais do ensemble (baixa correlação de predição).
Força de Pares Próximos (Near-Peer Strength): Deve ser individualmente preciso, performando em um nível comparável aos membros existentes.
O artigo demonstra que métodos padrão falham nesta regra: a re-semeadura ou a execução de diferentes currículos supervisionados no mesmo backbone gera predições com uma correlação de 0,98, efetivamente não adicionando diversidade, apesar da alta precisão individual.

Especialistas de Parâmetros Isolados:
Para gerar membros que satisfaçam a regra de paridade de força sem o custo de treinar novos backbones inteiros, os autores empregam a adaptação de Parâmetros Isolados:

Um único backbone compartilhado é congelado.
Diferentes corpora de afeto (por exemplo, AffectNet, FSFM, MAE) são usados para adaptar este backbone via subespaços de baixo posto disjuntos (LoRA).
Cada especialista modifica os pesos de projeção congelados ( $W_0$ ) usando matrizes de baixo posto ( $W = W_0 + \alpha BA$ ) com um posto de 16.
Resultado: Esta restrição impede a "reconvergência" observada no ajuste fino completo. Especialistas no mesmo backbone mantêm uma correlação de predição de 0,91 (significativamente menor que 0,98), mantendo alta precisão individual. O especialista mais forte, adaptado do AffectNet, alcança um macro-F1 de 0,4762 para reconhecimento de expressão, superando os backbones base.

Montagem do Sistema:
O sistema final faz a média das predições por tarefa dos membros mais fortes.

Valência-Excitação e AUs: Utilizam a média dos dois especialistas de backbone.
Expressão: Faz a média dos dois membros SAL base com os especialistas LoRA de parâmetros isolados.
Calibração: Limiares de decisão por AU são ajustados no conjunto de validação para maximizar o F1.
Agrupamento de Subprodutos: As predições de valência-excitação geradas como subproduto dos cabeças de expressão de latente compartilhado são agrupadas no ensemble de VA como um adicional de par próximo.

Resultados Principais
O sistema foi avaliado no split de validação s-Aff-Wild2 (vídeo-disjunto do treinamento).

Baseline: O baseline ConvNeXt do organizador pontuou 0,45.
Sistema Base: O sistema de latente compartilhado com dois backbones alcançou 1,6669.
Resultado Primário: Adicionar o especialista de parâmetros isolados do AffectNet elevou a pontuação de expressão e a pontuação total de validação para 1,6949.
Configuração Mais Forte: Ao adicionar mais especialistas LoRA, aplicar calibração por AU e agrupar o subproduto do latente compartilhado, o sistema atingiu uma pontuação de validação máxima de 1,7259.
Significância Estatística: Os ganhos foram medidos usando um bootstrap pareado sobre 50 vídeos de validação. A melhoria ao adicionar o subproduto de VA ao ensemble de VA foi estatisticamente significativa ( $p=0,005$ ), enquanto outros ganhos foram notados como "positivos dentro do ruído".

Significância e Alegações
O artigo alega três contribuições primárias:

Uma Regra de Ensemble Prática: Estabelece a regra de "paridade de força", esclarecendo que adicionar um membro só é benéfico se ele for tanto descorrelacionado quanto um par próximo. Destaca que fontes de diversidade baratas (como re-semeadura) frequentemente falham porque carecem de descorrelação.
Um Mecanismo de Diversidade: Demonstra que a isolação de parâmetros (LoRA) em um único backbone pode fabricar com sucesso pares próximos descorrelacionados, resolvendo o problema de reconvergência do ajuste fino completo sem exigir múltiplos backbones pré-treinados.
Performance: Estabelece um novo benchmark de validação para a trilha MTL do 11º ABAW, superando significativamente o baseline.

Os autores notam modestamente o limite de sua abordagem: uma vez que um grupo contém alguns pares próximos descorrelacionados, a pontuação estabiliza porque novos membros são provavelmente correlacionados ou mais fracos. Fechar a lacuna restante exigiria "representações de pares próximos genuinamente diferentes" em vez de novas estratégias de média.

Mais como este