Resumo Técnico: CONFER

Definição do Problema

O Reconhecimento de Emoções Multimodal (MER) tradicionalmente depende de pontuações de valência e excitação autorrelatadas como supervisão de verdade fundamental (ground-truth). No entanto, o artigo argumenta que esses rótulos são inerentemente "observações fracas" não confiáveis devido a hábitos de classificação individuais, vieses cognitivos, distorções de memória e contexto experimental. Além disso, os métodos existentes frequentemente negligenciam o conflito cross-modal — desacordos entre previsões de diferentes modalidades (ex: facial, áudio, fisiológica).

As abordagens atuais tipicamente abordam a heterogeneidade de modalidades por meio de mecanismos de atenção ou portões (gating), mas unificam os conflitos à força via pesos de fusão sem determinar qual modalidade deve influenciar outra para uma amostra específica. Da mesma forma, métodos de rótulos fracos estimam a confiabilidade da supervisão com base em estatísticas globais ou escores de confiança, falhando em aproveitar o acordo pareado e o conflito entre as previsões específicas de cada modalidade. Esse descompasso impede a orquestração eficiente da passagem de informação e o aprendizado robusto a partir de autorrelatos ruidosos.

Metodologia: Estrutura CONFER

Os autores propõem o CONFER (Conflict-Aware Evidence Negotiation for Regime-Calibrated Weak Supervision), uma estrutura unificada baseada em grafos que modela especialistas de modalidades como nós em um grafo de negociação dinâmico. A estrutura opera em três estágios principais:

1. Construção de Especialistas de Modalidade

Cada modalidade é tratada como um especialista independente.

• Representação: Codificadores mapeiam janelas temporais para embeddings. Um construtor agrega esses dados em representações de nível de tentativa usando agrupamento médio global (global mean pooling), atenção esparsa top-$k$ e dispersão temporal.
• Geração de Evidência: Cada especialista produz uma crença preditiva ($\mu$) e um escore de incerteza baseado em fronteira ($u$), onde a incerteza aumenta conforme a previsão se aproxima da fronteira de decisão.
• Confiabilidade em Tempo de Execução: A confiabilidade ($c$) é estimada combinando o desempenho histórico Out-of-Fold (OOF) com a incerteza da amostra atual. Isso garante que a confiabilidade seja específica por amostra, e não estática.

2. Negociação de Evidência Consciente de Conflito

Os especialistas interagem via um grafo dinâmico para resolver conflitos iterativamente.

• Estado do Nó: Definido por crença preditiva, incerteza e confiabilidade em tempo de execução.
• Compatibilidade e Pesos de Aresta: A compatibilidade pareada ($A_{mn}$) é calculada com base no desacordo de predição normalizado pela incerteza. Um alto desacordo entre especialistas confiantes resulta em baixa compatibilidade.
• Passagem de Mensagem Assimétrica: A compatibilidade é convertida em pesos de aresta direcionais específicos para o receptor ($\gamma_{m \leftarrow n}$). Isso permite que remetentes confiáveis influenciem receptores menos confiáveis, enquanto a própria confiabilidade do receptor dita o quanto ele cede à informação recebida.
• Iteração: O processo executa duas rodadas ($\mu^{(0)} \to \mu^{(1)} \to \mu^{(2)}$), atualizando as crenças com base na agregação apoiada por pares.

3. Supervisão Calibrada por Regime

O resultado da negociação caracteriza a amostra em um de três regimes para calibrar a função de perda:

• Consenso: Alto acordo e baixo conflito residual.
• Dissidência: Desacordo persistente após a negociação.
• Ambiguidade: Alta incerteza geral.
• Pesagem de Amostra: As probabilidades do regime inferido determinam o peso ($\omega_i$) da contribuição de cada amostra para a perda de rótulo fraco. Amostras no regime de "Consenso" recebem peso total, enquanto amostras de "Dissidência" e "Ambiguidade" são penalizadas (mas não descartadas) para evitar que o modelo sofra overfitting em supervisão não confiável.

A estrutura é treinada em três fases: (A) treinamento de codificadores para crenças iniciais, (B) calibração OOF para estimar prioridades de confiabilidade e coeficientes de regime, e (C) otimização conjunta do módulo de negociação e leitura de predição (prediction readout).

Principais Contribuições

1. Estrutura Unificada: O CONFER integra estimativa de confiabilidade de modalidade, negociação cross-modal e calibração de rótulo fraco em uma única arquitetura baseada em grafos.
2. Mecanismo de Negociação Dinâmica: Introduz um método para converter compatibilidade consciente de incerteza em passagem de mensagem assimétrica direcionada pela confiabilidade, permitindo que o conflito cross-modal guie tanto a coordenação dos especialistas quanto a estimativa de confiabilidade da supervisão.
3. Calibração Baseada em Regime: Ao definir os regimes de Consenso, Dissidência e Ambiguidade, o método ajusta dinamicamente a contribuição dos rótulos fracos com base na resolução de conflito específica da amostra, em vez de tratar todos os rótulos como igualmente confiáveis ou não confiáveis.

Resultados Experimentais

Os autores avaliaram o CONFER em três benchmarks: AMIGOS, MAHNOB-HCI e DEAP, utilizando tanto validação cruzada de 10 dobras dependente de sujeito quanto protocolos rigorosos de Leave-One-Subject-Out (LOSO).

• Desempenho: O CONFER alcançou resultados competitivos, atingindo notavelmente 0,873 de acurácia e 0,879 de F1 no AMIGOS-V (Valência) e 0,854 de acurácia no MAHNOB-V sob avaliação rigorosa de LOSU, superando baselines como Late Fusion, TFN, MISA e vários métodos de Roteamento de Especialistas (MoE).
• Robustez: O modelo demonstrou robustez superior à corrupção sintética de rótulos fracos. Sob 30% de corrupção simétrica de rótulo, o CONFER manteve uma acurácia de 0,723, superando significativamente os baselines.
• Análise de Conflito: Estudos de ablação confirmaram que remover a negociação, a confiabilidade do remetente ou a concessão do receptor degradou o desempenho. A análise mostrou que a negociação gera os maiores ganhos (5,4–8,9 pontos) em amostras de alto conflito, corrigindo previsões erradas com muito mais frequência do que interrompe as corretas.
• Detecção de Supervisão: Os regimes de conflito inferidos (Consenso, Dissidência, Ambiguidade) mostraram-se indicadores eficazes de inconsistência de supervisão, superando a entropia preditiva na detecção de rótulos não confiáveis.

Significância e Alegações

O artigo afirma que o CONFER demonstra que o conflito cross-modal não é meramente uma fonte de erro, mas um sinal de informação útil. Ao modelar explicitamente a negociação entre as modalidades, a estrutura pode:

1. Coordenar Modalidades: Atualizar seletivamente as previsões dos especialistas com base na confiabilidade relativa e compatibilidade, em vez de forçar uma fusão uniforme.
2. Estimar a Confiabilidade da Supervisão: Usar a resolução (ou falta dela) do conflito cross-modal para calibrar a confiabilidade dos autorrelatos de estados emocionais por amostra.

Os autores concluem que sua abordagem fornece um mecanismo mais robusto para aprender com supervisão fraca em ambientes multimodais, particularmente ao lidar com a inerente não confiabilidade dos autorrelatos de estados emocionais e a heterogeneidade dos dados sensoriais.