💻 computer science

Conflict-Aware Multimodal Fusion for Ambivalence and Hesitancy Recognition

O artigo apresenta o framework multimodal ConflictAwareAH, que utiliza características de conflito entre modalidades (vídeo, áudio e texto) para reconhecer ambivalência e hesitação, alcançando desempenho superior aos métodos existentes ao resolver o desequilíbrio entre a detecção de presença e ausência desses estados afetivos.

Autores originais: Salah Eddine Bekhouche, Hichem Telli, Azeddine Benlamoudi, Salah Eddine Herrouz, Abdelmalik Taleb-Ahmed, Abdenour Hadid

Publicado 2026-03-18

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Salah Eddine Bekhouche, Hichem Telli, Azeddine Benlamoudi, Salah Eddine Herrouz, Abdelmalik Taleb-Ahmed, Abdenour Hadid

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está em uma entrevista de emprego ou numa consulta médica. O paciente diz: "Sim, eu concordo totalmente com o tratamento", mas, ao mesmo tempo, ele está suando frio, a voz dele treme e ele evita olhar nos seus olhos.

O que está acontecendo ali? É ambivalência ou hesitação. A pessoa está dizendo uma coisa, mas o corpo e a voz estão gritando outra.

Este artigo apresenta um novo "detetive digital" chamado ConflictAwareAH (que podemos chamar de "O Detetive de Conflitos") criado para identificar exatamente esses momentos de dúvida oculta em vídeos de entrevistas clínicas.

Aqui está a explicação do funcionamento desse sistema, usando analogias do dia a dia:

1. O Problema: O "Mentiroso" de Texto

Antes desse novo sistema, a maioria das máquinas tentava resolver esse problema lendo apenas a transcrição do que a pessoa disse.

A analogia: Imagine que você está tentando saber se alguém está mentindo lendo apenas o roteiro de um filme, sem ver o ator ou ouvir a voz. Se o roteiro diz "Estou feliz", a máquina assume que a pessoa está feliz.
O erro: Em entrevistas médicas, as pessoas muitas vezes usam palavras educadas ou hesitantes ("Bem...", "Talvez...") mesmo quando estão decididas. O sistema antigo lia essas palavras, achava que era hesitação e dava um "falso alarme" o tempo todo. Ele era muito bom em achar ambivalência, mas péssimo em confirmar quando não havia ambivalência.

2. A Solução: O Detetive de Conflitos

O novo sistema não lê apenas o texto. Ele olha para três coisas ao mesmo tempo:

O Vídeo (o rosto e expressões).
O Áudio (o tom de voz, pausas, tremores).
O Texto (o que foi dito).

A grande inovação é como ele junta essas informações. Em vez de tentar encontrar onde tudo concorda (o que as máquinas antigas faziam), ele procura especificamente onde as coisas discordam.

A analogia do "Termômetro de Desconfiança":
Imagine que o sistema tem três amigos: o "Olho" (Vídeo), o "Ouvido" (Áudio) e a "Boca" (Texto).
- Se a "Boca" diz "Estou bem", mas o "Olho" vê um sorriso nervoso e o "Ouvido" ouve uma voz trêmula, o sistema calcula a diferença entre eles.
- Grande diferença? O sistema levanta a mão e diz: "Aqui tem conflito! É ambivalência!"
- Pequena diferença? Se todos concordam (Boca diz "sim", Olho sorri, Voz firme), o sistema diz: "Tudo alinhado. Não há hesitação."

Isso é crucial porque corrige o viés anterior. O sistema agora sabe que, às vezes, a falta de conflito é a prova de que a pessoa está realmente decidida.

3. O "Segundo Opinião" (Fusão Guiada por Texto)

O sistema ainda reconhece que o texto é muito importante (é onde as pessoas geralmente deixam escapar as dúvidas). Então, ele usa uma estratégia inteligente:

Ele tem um "cérebro principal" que analisa tudo (vídeo, áudio e texto juntos).
Mas ele tem também um "especialista em texto" que só olha para o que foi dito.
A analogia: É como um júri. O "cérebro principal" é o juiz que ouve todas as evidências. O "especialista em texto" é um advogado especialista. No final, o sistema combina a opinião dos dois, dando um pouco mais de peso ao especialista em texto (porque ele é muito bom nisso), mas mantendo a visão geral do juiz para não se enganar.

4. Por que isso é incrível?

Velocidade: O sistema é tão eficiente que consegue aprender tudo o que precisa em menos de 25 minutos em um computador comum (uma placa de vídeo RTX 4090). É como aprender a dirigir em um dia, em vez de anos.
Precisão: Ele bateu todos os recordes anteriores em uma competição internacional (ABAW10).
Equilíbrio: O maior feito não foi apenas achar mais ambivalências, mas sim parar de dar falsos alarmes. Antes, a máquina achava que todo mundo estava hesitando. Agora, ela consegue dizer com confiança: "Não, essa pessoa está decidida", o que economiza o tempo dos médicos e psicólogos.

Resumo em uma frase

O ConflictAwareAH é um sistema que entende que, para detectar a dúvida humana, não basta ouvir o que a pessoa diz; é preciso medir o "choque" entre o que ela diz, o que ela sente no rosto e o que a voz revela, agindo como um detetive que só acredita na verdade quando todas as pistas se encaixam.

1. Problema e Contexto

O artigo aborda o reconhecimento automático de Ambivalência e Hesitação (A/H), estados afetivos sutis onde um indivíduo exibe sinais conflitantes através de diferentes canais (ex: dizer "sim" verbalmente enquanto a expressão facial ou o tom de voz indicam dúvida).

Importância Clínica: A detecção precoce desses estados é crucial em entrevistas médicas, psicologia clínica e economia comportamental, ajudando a identificar hesitação em vacinas, recusa de tratamento ou necessidade de ajuste na abordagem do profissional.
Desafio Computacional: Diferente das emoções básicas (como alegria ou raiva), que são frequentemente unimodais, a A/H é definida por discrepâncias intermodais. Métodos de fusão multimodal tradicionais tendem a buscar consenso entre os modos, o que pode suprimir justamente os sinais de conflito que definem a ambivalência. Além disso, abordagens dominadas por texto tendem a superdetectar a A/H (alto False Positive), falhando em confirmar sua ausência.

2. Metodologia: Framework ConflictAwareAH

Os autores propõem o ConflictAwareAH, um framework multimodal que utiliza representações pré-treinadas e uma estratégia de fusão específica para capturar conflitos.

Arquitetura e Encoders

O sistema utiliza três codificadores pré-treinados para extrair representações de 768 dimensões:

Vídeo: VideoMAE-Base (treinado no Kinetics-400), processando 16 quadros por amostra.
Áudio: HuBERT-Base (fine-tuned no LibriSpeech), capturando pistas prosódicas (pausas, variação de pitch).
Texto: RoBERTa-Base fine-tuned no conjunto GoEmotions, processando a transcrição completa do vídeo (não apenas a janela temporal correspondente ao vídeo), pois a hesitação pode ocorrer em qualquer ponto da entrevista.

Mecanismo de Fusão Conflituosa (Core Innovation)

A contribuição central é a criação de recursos de conflito explícitos:

Diferenças Absolutas Pareadas: O modelo calcula as diferenças absolutas elementares entre os embeddings das modalidades: $|v - a|$ , $|v - t|$ e $|a - t|$ .
Sinal Bidirecional:
- Grandes diferenças: Indicam conflito e sinalizam a presença de A/H.
- Pequenas diferenças: Indicam consistência comportamental e ancoram a classe negativa (ausência de A/H).
Fusão: Os embeddings originais e os vetores de conflito são concatenados e processados por uma rede feed-forward para gerar o logit de fusão completa.

Fusão Tardia Guiada por Texto

Para mitigar o viés de superdetecção e aproveitar a forte sinalização linguística:

Um cabeçalho auxiliar apenas de texto é treinado em paralelo.
Na inferência, as previsões do modelo multimodal completo e do modelo apenas de texto são combinadas (blended) com um peso $\alpha$ (ajustado para 0.6). Isso permite que o sistema confie no texto quando o sinal é forte, mas utilize evidências multimodais para casos ambíguos.

Treinamento e Inferência

Dataset: BAH (1.427 vídeos, 778 para treino), do desafio ABAW10.
Otimização: Uso de freezing dos encoders (para evitar overfitting em dados pequenos), label smoothing e early stopping.
Inferência: Amostragem de múltiplas janelas temporais (5 janelas de 16 quadros) e média das probabilidades, seguida de um ensemble de dois checkpoints com configurações de regularização diferentes.

3. Principais Contribuições

Fusão Multimodal Consciente de Conflito: Introdução de recursos de diferença explícita que atuam como pistas bidirecionais. Isso corrige o viés de classe das abordagens baseadas apenas em texto, melhorando o F1 da classe negativa (F1-NoAH) em +4.6 pontos e reduzindo pela metade a lacuna de desempenho entre as classes.
Fusão Tardia Guiada por Texto: Uma estratégia que combina a robustez do texto com a consistência multimodal, adicionando +4.1 pontos ao Macro F1.
Baseline Eficiente e Reproduzível: O pipeline completo treina em menos de 25 minutos em uma única GPU (RTX 4090), superando baselines multimodais publicados em mais de 10 pontos sem necessidade de treinamento massivo ou multi-nó.

4. Resultados Experimentais

O método foi avaliado no conjunto de dados BAH (desafio ABAW10):

Desempenho no Teste Rotulado: 0.694 Macro F1 (com ensemble).
Desempenho no Leaderboard Privado: 0.715 Macro F1.
Comparação: Supera a melhor baseline multimodal publicada (0.593) e modelos zero-shot de LLM multimodal (0.634) em mais de 10 pontos.
Análise de Ablação:
- O texto sozinho alcança 0.700, mas com um grande desequilíbrio (F1-AH alto, F1-NoAH baixo).
- A adição dos recursos de conflito melhora significativamente a capacidade de confirmar a ausência de ambivalência, essencial para evitar falsos positivos na prática clínica.

5. Significado e Conclusão

O trabalho demonstra que, para tarefas de reconhecimento de ambivalência, a inconsistência entre modalidades é tão informativa quanto o consenso. Ao modelar explicitamente o conflito (diferenças entre texto, áudio e vídeo), o modelo torna-se mais calibrado clinicamente, evitando a superdiagnóstico comum em abordagens baseadas apenas em linguagem.

A solução oferece um equilíbrio ideal entre desempenho de ponta e eficiência computacional, sendo altamente viável para implantação em cenários reais de saúde mental e interação humano-computador, onde a detecção precisa da hesitação pode impactar diretamente o sucesso do tratamento.