💻 computer science

CF-Net: Conflict Fusion with Speaker Normalisation and Certainty Weighting for Ambivalence/Hesitancy Recognition

Este artigo apresenta o CF-Net, uma rede multimodal profunda que aproveita a normalização de locutor, a fusão de conflito explícita para incongruência cross-modal e o treinamento ponderado por certeza para alcançar o desempenho de estado da arte na detecção de ambivalência e hesitação em vídeos não estruturados.

Autores originais: Tung Hung Bui, Hong Hai Nguyen, Van Thong Huynh

Publicado 2026-07-16

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Tung Hung Bui, Hong Hai Nguyen, Van Thong Huynh

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine tentar ler um ambiente não pelo que as pessoas estão dizendo, mas por detectar as pequenas rachaduras onde suas palavras, sua voz e seu rosto não se alinham perfeitamente. Este é o fascinante mundo do reconhecimento de afeto multimodal, um ramo da inteligência artificial que tenta compreender as emoções humanas ouvindo como falamos, observando como nos movemos e lendo o que escrevemos. Normalmente, quando as pessoas estão felizes, seu sorriso, sua risada e seu "eê!" se alinham perfeitamente. Mas existe um sentimento mais complexo e humano chamado ambivalência e hesitação. Este é aquele momento estranho em que você quer dizer "sim", mas sua voz vacila, ou você parece confiante enquanto suas palavras soam incertas. É como um trio musical onde o baterista está tocando jazz, o guitarrista está tocando rock e o cantor está cantarolando uma canção de ninar; o "sentimento" não está em nenhum instrumento individual, mas no choque confuso e desordenado entre eles. Detectar isso é incrivelmente difícil para computadores porque a maioria das IAs é treinada para identificar sorrisos alegres e claros, não esses sinais sutis e contraditórios.

Apresentamos o CF-Net, um novo detetive digital construído pelos pesquisadores Tung Hung Bui, Hong Hai Nguyen e Van Thong Huynh para resolver este enigma específico. Eles participaram da 3ª Edição do Desafio de Reconhecimento de Vídeo de Ambivalência/Hesitação (parte da 11ª competição ABAW) com um sistema projetado para parar de adivinhar e começar a ouvir as discussões entre os diferentes "sentidos" de uma pessoa.

O Problema: A "Armadilha da Identidade" e o "Sinal de Confusão"

Os pesquisadores enfrentaram uma situação complicada. Eles tinham um conjunto de dados chamado BAH, contendo clipes de vídeo de pessoas sendo entrevistadas. O objetivo era detectar quando um falante estava sentindo ambivalência. No entanto, houve três grandes obstáculos:

O Sinal é um Descompasso: Diferente de um rosto "feliz" claro, a ambivalência é definida pela incongruência. Se uma pessoa diz algo positivo, mas sua voz soa trêmula, o computador precisa notar esse desacordo, não apenas as palavras ou a voz isoladamente.
O Problema do "Estranho": Os vídeos de teste apresentavam pessoas que o computador nunca tinha visto antes. Se a IA aprendesse a reconhecer o rosto específico ou o timbre de voz de uma pessoa (como memorizar o riso de um amigo), ela falharia completamente ao enfrentar um estranho. Ela precisava ignorar quem estava falando e focar apenas em como estavam falando.
Os Rótulos de "Talvez": Às vezes, até mesmo especialistas humanos não conseguiam concordar se um clipe mostrava ambivalência ou não. O conjunto de dados incluía uma "pontuação de certeza" para cada clipe, indicando o quanto os anotadores humanos concordavam. A IA precisava saber quando confiar em um rótulo e quando ser cautelosa.

A Solução: O Truque de Mágica de Três Passos do CF-Net

A equipe construiu o CF-Net, um sistema que atua como um mediador superinteligente em uma discussão de três vias entre Visão (o que vemos), Áudio (o que ouvimos) e Texto (o que é dito).

Passo 1: O Filtro "Fantasma" (Normalização do Falante)
Primeiro, o sistema analisa o vídeo e o áudio. Mas aqui está o truque: antes de analisar a emoção, ele realiza uma "normalização do falante". Imagine que você está tentando julgar a performance de um cantor, mas primeiro subtrai a textura de voz única e permanente dele para que você ouça apenas as mudanças no tom dele para aquela música específica. O CF-Net faz isso matematicamente. Ele calcula o "rosto" e a "voz" médios de cada falante e os subtrai. Isso remove o "vazamento de identidade" — o risco de a IA apenas memorizar que "a Pessoa A parece nervosa" — e força o sistema a focar apenas na hesitação ou no conflito momentâneo.

Passo 2: O Detector de "Conflito" (ConflictFusion)
Em seguida, o sistema pega os sinais limpos dos olhos, ouvidos e texto. Em vez de apenas esmagá-los juntos (o que assume que todos concordam), o CF-Net usa um módulo especial chamado ConflictFusion. Pense nisso como um árbitro que não apenas ouve os jogadores, mas mede especificamente o quão distantes as opiniões deles estão. Ele calcula a "distância" entre o texto e a voz, o texto e o rosto, e a voz e o rosto. Se o texto diz "Estou ótimo", mas a voz soa trêmula, o sistema vê um grande abismo. Ele transforma esse abismo em uma característica, ensinando explicitamente à IA que o desacordo é o sinal que ela está procurando.

Passo 3: O Teste de "Honestidade" (Ponderação de Certeza)
Finalmente, o sistema é treinado para ser humilde. Os pesquisadores deram à IA uma "cabeça de certeza" — uma célula cerebral extra que tenta adivinhar o quão seguros os anotadores humanos estavam sobre um clipe. Se os humanos estavam incertos (baixa certeza), a IA é instruída: "Não seja tão confiante em sua resposta; este é um caso difícil". Isso é feito usando um truque matemático especial chamado perda focal ponderada pela certeza, que diz à IA para prestar atenção extra aos exemplos claros e óbvios e ser mais suave com os casos confusos.

Os Resultados: Um Toque Leve, Uma Vitória Pesada

A equipe testou o CF-Net no conjunto de dados BAH. Eles não tentaram retreinar os cérebros massivos pré-treinados (backbones) que leem as imagens e os sons; eles os mantiveram congelados para economizar tempo e evitar o sobreajuste (overfitting). Eles apenas treinaram as pequenas partes de "cola" que os conectam.

Os resultados foram impressionantes. No conjunto de validação (um teste prático), o CF-Net alcançou um F1-score Macro de 0,7155. Mas a verdadeira mágica aconteceu no conjunto de teste privado, que continha falantes completamente novos que a IA nunca tinha visto. Lá, a pontuação saltou para 0,7364 (com uma Precisão Média de 0,7392).

Isso é significativo porque muitos outros sistemas melhoraram no teste prático, mas pioraram no teste real (um sinal de que estavam apenas memorizando os rostos do teste). O CF-Net fez o oposto: ele ficou melhor ao enfrentar estranhos. Isso prova que o "Filtro Fantasma" (normalização do falante) e o "Teste de Honestidade" (ponderação de certeza) realmente funcionaram, ajudando a IA a se generalizar para novas pessoas, em vez de trapacear memorizando as antigas.

Em um campo onde outras equipes passaram horas ajustando modelos massivos e ainda assim lutaram contra o problema do "estranho", o CF-Net conseguiu superar as melhores pontuações de testes anteriores usando uma abordagem leve que foi treinada em menos de 15 minutos em uma única placa gráfica de consumo. Ele mostrou que, para entender a hesitação humana, você não precisa saber quem a pessoa é; você só precisa ouvir atentamente onde as palavras, a voz e o rosto estão discordando.

Resumo Técnico: CF-Net para Reconhecimento de Ambivalência/Hesitação

Definição do Problema
Detectar Ambivalência e Hesitação (AH) em vídeos não estruturados apresenta um desafio único, distinto do reconhecimento de emoções discretas padrão. Enquanto emoções como felicidade ou nojo tipicamente se manifestam como sinais correlacionados através das modalidades facial, vocal e textual, a AH é caracterizada pela incongruência intermodal. Por exemplo, as palavras de um falante podem expressar positividade enquanto sua prosódia sinaliza hesitação, ou seu rosto permanece neutro enquanto suas escolhas lexicais transmitem dúvida. O sinal discriminativo reside no desacordo entre as modalidades, e não em um único canal.

Este desafio é ainda mais complicado pelas restrições do dataset BAH utilizado na série de desafios ABAW AH:

Disjunção de Locutores: Os conjuntos de treinamento, validação e teste contêm locutores inteiramente diferentes. Sistemas que inadvertidamente codificam a aparência visual específica do locutor ou o timbre da voz (vazamento de identidade) falham ao generalizar para o conjunto de teste.
Escassez de Dados: O conjunto de treinamento (778 clipes) é pequeno em relação à dimensionalidade de grandes backbones pré-treinados, aumentando o risco de overfitting.
Incerteza de Anotação: Os rótulos não são certezas binárias, mas incluem uma "pontuação de certeza" por clipe derivada do acordo entre anotadores. Clipes de baixa certeza representam ambiguidade perceptual genuína, e não erros de rotulagem, exigindo que os modelos evitem o excesso de confiança em amostras limítrofes.

Metodologia: CF-Net
Os autores propõem o CF-Net, uma rede multimodal profunda projetada para abordar esses desafios específicos através de backbones congelados, modelagem explícita de conflito e normalização de locutor.

Extração de Características com Backbones Congelados:
- Visual: O SigLIP2 (congelado) processa recortes faciais amostrados a 30 fps, produzindo embeddings de 768 dimensões.
- Áudio: O HuBERT (congelado) processa blocos de áudio de 20ms, com média agrupada (mean-pooled) ao nível do frame.
- Texto: O DistilBERT (congelado) codifica falas transcritas manualmente em um único vetor de 768 dimensões.
- Nota: Todos os pesos dos backbones permanecem congelados durante o treinamento para evitar overfitting e memorização de identidade.
Normalização por Locutor:
Antes da codificação temporal, as características visuais e de áudio passam por uma normalização de locutor. Para cada locutor, a média do embedding de todos os seus vídeos é computada e subtraída de cada frame de cada vídeo pertencente a esse locutor. Isso remove o "offset de identidade" constante (aparência/timbre), preservando as variações temporais intra-locutor (o sinal de AH).
Codificação Temporal:
As sequências visual e de áudio normalizadas são passadas por BiGRUs (bidirecionais) independentes com pooling de atenção MIL (Aprendizado de Instância Múltipla) para gerar embeddings de 128 dimensões. O texto é projetado via um codificador linear simples.
Módulo de ConflictFusion:
Em vez de uma simples concatenação, o CF-Net emprega um mecanismo de ConflictFusion. A representação fundida $f$ é construída concatenando os três embeddings de modalidade ( $e_v, e_a, e_t$ ) com suas diferenças absolutas pareadas:
$f = [e_v; e_a; e_t; |e_v - e_a|; |e_v - e_t|; |e_a - e_t|]$
Isso codifica explicitamente a incongruência intermodal, permitindo que o modelo aprenda diretamente com o desacordo entre os canais.
Estratégia de Treinamento e Regularização:
- Focal Loss Ponderada por Certeza: A função de perda pondera as amostras com base nas pontuações de acordo dos anotadores ( $c \in [1,3]$ ). Amostras de alta certeza recebem até 3 $\times$ mais peso de gradiente que as de baixa certeza, direcionando o modelo para sinais confiáveis.
- Cabeça de Certeza Auxiliar: Uma cabeça de regressão auxiliar prevê a pontuação de certeza do anotador a partir da representação fundida. Isso atua como um regularizador, impedindo que o modelo se torne excessivamente confiante em amostras ambíguas onde os anotadores divergem.
- Aumento de Dados (Data Augmentation): Manifold mixup e modality dropout (probabilidade de 15%) são usados para regularizar ainda mais o modelo contra o tamanho reduzido do dataset.

Principais Contribuições

Arquitetura ConflictFusion: Um módulo de fusão leve que representa explicitamente a incongruência intermodal via características de diferença absoluta pareada, adaptado para a tarefa de AH onde o desacordo é o sinal.
Normalização de Locutor: Um passo de normalização pré-codificação que remove os offsets de identidade do locutor das características visuais e de áudio sem exigir dados de adaptação específicos do sujeito, abordando o desafio da disjunção de locutores.
Treinamento Consciente de Incerteza: A integração de uma cabeça de regressão de certeza auxiliar e focal loss ponderada por certeza para lidar com a subjetividade e ambiguidade inerentes às anotações de AH.
Eficiência: Uma abordagem de backbone totalmente congelado que treina em menos de 15 minutos em uma única GPU de consumo, alcançando resultados competitivos.

Resultados Experimentais
Avaliado no dataset BAH (3º Desafio ABAW AH):

Desempenho de Validação: O CF-Net alcançou um Macro F1 de 0,7155 no conjunto de validação de 124 clipes.
Desempenho de Teste: No conjunto de teste privado do desafio (152 clipes), o CF-Net alcançou um Macro F1 de 0,7364 (AP = 0,7392).
Generalização: Notavelmente, o modelo mostrou uma transferência positiva de validação para teste (+0,021), contrastando com outros métodos de estado da arte (ex: Equipe LEYA) que sofreram overfitting (F1 de validação de 0,854 caindo para 0,714 no teste).
Ablação: O estudo confirmou que remover o ConflictFusion (revertendo para fusão de média) reduziu o desempenho em 1,8 pontos percentuais. A combinação da cabeça auxiliar, focal loss, mixup e dropout contribuiu com 3,7 pontos adicionais, enquanto a normalização de locutor e o codificador BiGRU adicionaram outros 1,7 pontos cumulativamente.

Significância
O artigo posiciona o CF-Net como uma solução que navega com sucesso pelo equilíbrio entre capacidade do modelo e generalização em um ambiente de dados escassos e locutores disjuntos. Ao modelar explicitamente o desacordo intermodal e remover o vazamento de identidade do locutor através da normalização, o CF-Net alcança um desempenho robusto sem os riscos de overfitting associados ao ajuste fino (fine-tuning) de ponta a ponta de grandes modelos. Os resultados demonstram que uma arquitetura de backbone congelado e leve, quando combinada com um tratamento principiado da incerteza de anotação e normalização de identidade, pode superar ou igualar ensembles mais complexos e ajustados no benchmark BAH.

O Problema: A "Armadilha da Identidade" e o "Sinal de Confusão"

A Solução: O Truque de Mágica de Três Passos do CF-Net

Os Resultados: Um Toque Leve, Uma Vitória Pesada

Resumo Técnico: CF-Net para Reconhecimento de Ambivalência/Hesitação

Mais como este