CALM-AH: An ABAW11-Calibrated Multimodal Ensemble with Reliability-Gated Multi-Expert Consensus for Video-Level Ambivalence and Hesitancy Recognition

Resumo Técnico: CALM-AH e RG-MEC para o Reconhecimento de Ambivalência e Hesitação em Nível de Vídeo

Definição do Problema
O artigo aborda o desafio de reconhecer a Ambivalência e Hesitação (A/H) em vídeos de entrevistas naturalistas, conforme definido pelo Desafio de Reconhecimento de Vídeo ABAW11. Diferente do reconhecimento de emoções padrão, A/H representa estados comportamentais sutis caracterizados por avaliações conflitantes, respostas atrasadas, autocorreções ou dificuldade em se comprometer com uma ação. Esses estados são frequentemente expressos através de uma interação complexa de incerteza linguística, pausas acústicas, variações prosódicas e desconforto visual, que podem estar distribuídos temporalmente e de forma multimodal. A tarefa exige a atribuição de um rótulo binário (presença ou ausência de A/H) a clipes de vídeo inteiros, em vez de frames individuais. A avaliação é conduzida em partições de dados disjuntas por participante, o que significa que o sistema deve generalizar para indivíduos não vistos, uma restrição que complica o uso de modelos de alta capacidade propensos ao overfitting. A métrica principal de desempenho é o Macro-F1, garantindo que importância igual seja dada ao reconhecimento tanto das amostras de A/H quanto das de Não-A/H.

Metodologia
A solução proposta consiste em dois componentes principais: o ensemble CALM-AH e o mecanismo RG-MEC (Reliability-Gated Multi-Expert Consensus).

1. CALM-AH (Calibrated Multimodal Ensemble):

   • Extração de Características: O sistema extrai quatro representações complementares:
     • Textual: Codificada via F2LLM para capturar pistas semânticas de incerteza e autocorreção.
     • Acústica: Codificada via HuBERT para capturar informações não lexicais, como pausas e prosódia.
     • Visual: Rostos são detectados (RetinaFace) e codificados frame a frame via SigLIP2, agregados com diferenças temporais e reduzidos via PCA.
     • Comportamental-Estatística: Um vetor de 102 dimensões derivado de consistência visual, atividade acústica, padrões de silêncio e indicadores linguísticos.
   • Construção do Ensemble: Os autores constroem 15 combinações não vazias destas ramificações de características. Para cada combinação, treinam três famílias de classificadores candidatos (MLP, LightGBM Random Forest e LightGBM GBDT).
   • Calibração: A seleção do modelo é baseada na menor entropia cruzada binária de validação. Subsequentemente, o limiar de decisão para cada modelo selecionado é otimizado independentemente para maximizar o Macro-F1 de validação.
   • Fusão: As 15 predições binárias calibradas são fundidas usando votação de peso fixo (hard voting), utilizando pesos transferidos do sistema BROTHER para fornecer regularização sob a avaliação disjunta por participante.

2. RG-MEC (Reliability-Gated Multi-Expert Consensus):

   • Arquitetura: Este é um ensemble assimétrico de nível de decisão projetado para corrigir a predição inicial sem introduzir instabilidade. Compreende:
     • Âncora (Anchor): Um sistema de predição inicial (fornecendo estabilidade).
     • Comitê de Correção (Correction Committee): Três especialistas complementares: CALM-AH (evidência multimodal calibrada para a tarefa), AffectGPT (raciocínio multimodal-afetivo) e um verificador semântico baseado em GPT (avaliando evidências semânticas/pragmáticas de incerteza).
   • Lógica: O sistema opera sob um princípio de portão de unanimidade (unanimity-gated). A predição da âncora inicial é mantida por padrão. Ela é substituída apenas se os três especialistas de correção concordarem unanimemente na mesma classe alternativa (todos prevendo A/H ou todos prevendo Não-A/H).
   • Restrição: Nenhum especialista único ou par de especialistas pode substituir a âncora. Este design limita a propagação de erros isolados, permitindo correções bidirecionais quando a evidência de tarefa, afetiva e semântica é totalmente consistente.

Principais Contribuições

1. CALM-AH: Um ensemble heterogêneo calibrado que integra características textuais, acústicas, visuais e comportamentais-estatísticas para o reconhecimento de A/H, otimizando sistematicamente a seleção de classificadores e os limiares de decisão para as partições específicas de dados do ABAW11.
2. Análise de Fusão: Uma comparação sistemática demonstrando que decisões de voto rígido (hard decisions) independentemente calibradas e fundidas via votação de peso fixo fornecem uma generalização mais confiável do que estratégias de fusão linear regularizada ou condicionada a margens contínuas neste contexto.
3. RG-MEC: Um mecanismo de consenso assimétrico em tempo de inferência que atribui papéis não intercambiáveis às fontes de decisão. Ele introduz uma "âncora de estabilidade" protegida por um "comitê de correção de portão de unanimidade", alocando explicitamente a autoridade de decisão com base na confiabilidade da fonte, em vez de uma simples votação majoritária.

Resultados
Avaliado no conjunto de teste público disjunto por participante do dataset ABAW11:

• O sistema CALM-AH sozinho alcançou um Macro-F1 de 0,7525, superando a âncora inicial (0,7485) e mostrando um desempenho equilibrado entre ambas as classes (F1 de A/H: 0,8275; F1 de Não-A/H: 0,6776).
• O sistema completo RG-MEC alcançou um Macro-F1 de 0,7771, com métricas de classe melhoradas (F1 de A/H: 0,8455; F1 de Não-A/H: 0,7088) e uma acurácia geral de 0,7981.
• O estudo de ablação confirmou que a regra completa do RG-MEC supera os baselines intermediários, como uma simples interseção entre a âncora e o CALM-AH.

Significância e Alegações
O artigo alega que a principal contribuição do RG-MEC não é meramente a adição de mais preditores, mas a alocação explícita de autoridade de decisão dependente da fonte. Ao tratar o sistema inicial como uma âncora de estabilidade e exigir o acordo unânime de um comitê de especialistas de correção diversos para substituí-lo, o método equilibra a necessidade de correção com a necessidade de prevenir a propagação de erros de especialistas isolados. Os autores observam que a regra RG-MEC foi desenvolvida como um refinamento pós-hoc específico para o desafio, informado por submissões iniciais, e, portanto, é reportada como uma heurística de decisão específica para o contexto da competição, em vez de um resultado de seleção de modelo de validação geral. O trabalho destaca a importância de combinar informações linguísticas, acústicas e visuais sem tratar cada discordância cross-modal como evidência de ambivalência, particularmente sob as restrições de supervisão limitada por participante.