⚡ electrical engineering

Simple Features and Honest Calibration for Ambivalence and Hesitancy Recognition in Video

Este artigo apresenta um sistema para reconhecer ambivalência e hesitação em entrevistas em vídeo que aproveita características temporais apagadas por ASR e fusão multimodal especializada em afeto, demonstrando que o simples ensemble com pesos AP com calibração honesta supera arquiteturas complexas e estratégias de validação com sobreajuste no desafio ABAW 2026 BAH.

Autores originais: Vikas Kumar, Aditya Mishra, Haroon R. Lone

Publicado 2026-07-14

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Vikas Kumar, Aditya Mishra, Haroon R. Lone

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive tentando resolver um mistério: esta pessoa está se sentindo dividida entre duas escolhas ou está apenas hesitando? As pistas estão escondidas em um pequeno vídeo de alguém respondendo a perguntas de entrevista: este documento é o relatório do detetive sobre como ele desvendou o caso usando um novo conjunto de ferramentas e, mais importante, o que não funcionou.

O Grande Mistério: Encontrando o "Wobble" (Oscilação)

O objetivo era detectar Ambivalência e Hesitação (A/H) — aquele sentimento interno de "não tenho certeza" onde uma pessoa é puxada em duas direções. A equipe testou suas habilidades de detetive em um conjunto de dados chamado BAH, que contém 1.427 vídeos de 300 pessoas diferentes. Eles tinham que adivinhar se a pessoa no vídeo estava mostrando sinais de incerteza.

A Pista "Mágica": O Fantasma na Transcrição

A maior surpresa? A equipe encontrou um sinal "fantasma" que ninguém mais estava procurando.

Imagine um robô de fala para texto (um ASR) ouvindo o vídeo. O trabalho dele é escrever as palavras. Para deixar o texto limpo, o robô deleta "hum", "ah" e pausas longas. Mas aqui está o truque: ele não consegue deletar o tempo que esses sons ocuparam.

A equipe percebeu que, embora as palavras "hum" tenham sumido, o espaço vazio onde elas costumavam estar ainda está presente nos registros de tempo (timestamps). Eles construíram uma nova ferramenta chamada "tempo apagado pelo ASR" (ASR-erased time). Ela mede as lacunas entre as palavras restantes.

Por que é legal: Essa ferramenta de medição de lacunas revelou-se a pista não verbal mais forte que encontraram. Ela obteve um AP de 0,718 (uma medida de quão boa é a pista).
A independência: Ela era tão única que quase não concordava com nenhuma outra pista (correlação de apenas 0,11–0,36). Era como encontrar uma impressão digital que nenhum outro detetive jamais vira antes.

O "Texto" é a Estrela, O Rosto é um Coadjuvante

A equipe testou três tipos principais de pistas: Texto (o que disseram), Áudio (como soaram) e Vídeo (como era o rosto deles).

O Texto é o Rei: As palavras que as pessoas usaram foram, de longe, a melhor pista. Quando usaram um modelo de texto especial treinado em emoções, ele obteu um AP de 0,811. Mesmo uma lista simples de "marcadores de hesitação" (como contar quantas vezes alguém disse "mas" ou "talvez") foi quase tão boa (AP 0,800).
O Áudio é o Segundo Lugar: Se o modelo de áudio fosse treinado especificamente para detectar emoções (não apenas a fala), ele era útil (AP 0,764). Mas se usassem um modelo de fala geral, ele era quase inútil.
O Vídeo é um Coadjuvante em Dificuldade: Esta foi uma verdade dura. Não importava o que tentassem — usar modelos sofisticados de escaneamento facial, rastrear movimentos oculares ou observar tremores nas sobrancelhas — as pistas de vídeo continuavam fracas. Elas orbitavam em torno de um AP de 0,63 a 0,67. O artigo sugere que, com apenas 778 vídeos de treinamento, o computador simplesmente não conseguiu aprender os sinais faciais sutis da hesitação. O rosto simplesmente não fornecia informações suficientes.

A Armadilha do "Conflito": O Que Não Funcionou

Muitos detetives anteriores pensaram que a chave para resolver isso era procurar por conflito entre os canais. Eles pensavam: "Se o texto diz 'sim', mas o rosto parece 'não', isso é hesitação!"

A equipe testou essa ideia construindo uma "máquina de conflito" que buscava esses desacordos.

O Resultado: Não ajudou. Quer eles tenham procurado por conflitos, ignorado-os ou dividido os dados de forma diferente, os resultados mal mudaram (menos de 0,05 de alteração). O artigo descarta explicitamente o "design de conflito" como a arma secreta. O sinal não estava no choque entre os canais; estava apenas no texto e nas lacunas.

A Armadilha do "Overfitting" (Sobreajuste): Não Trapaceie no Teste

Aqui está a lição mais importante sobre como eles venceram.

A equipe tinha um pequeno grupo de 124 vídeos para praticar (o conjunto de validação) e um grupo maior de 525 vídeos para o teste real.

O Erro: Se você tentar ajustar seus "botões" (pesos e limiares) especificamente para obter a pontuação mais alta no conjunto de prática, você acaba trapaceando. A equipe tentou isso, e sua pontuação no conjunto de prática foi um brilhante 0,741, mas quando fizeram o teste real, ela despencou para 0,690. Isso é chamado de overfitting — memorizar as perguntas de prática em vez de aprender a lição.
A Correção: Eles pararam de ajustar os botões. Em vez disso, usaram uma regra simples e fixa: 0,5 (uma linha de chute de 50/50) e ponderaram as pistas com base em quão precisas elas eram historicamente (ponderação por AP).
A Vitória: Ao manter essa regra simples e honesta, a pontuação deles no teste real saltou para 0,731. Isso superou o vencedor anterior (que marcou 0,694).

O Placar Final

A equipe combinou seis "detetives" (modelos) diferentes em uma única equipe.

O Resultado: Seu sistema final obteu um Macro-F1 de 0,731 no teste público.
O quão seguros eles estão? Eles realizaram uma verificação estatística ("bootstrap") e descobriram que há 97% de chance de que sua pontuação seja realmente melhor que a do vencedor anterior de 0,694. É uma liderança forte, mas não é uma vitória garantida.

A Conclusão

O artigo conclui que, para detectar hesitação, deve-se ouvir as palavras e o silêncio entre elas, não o rosto.

Não tente forçar o computador a encontrar "conflito" entre os olhos e a boca; isso não funciona bem aqui.
Confie no texto e nas lacunas de tempo "fantasmagóricas" deixadas pelo reconhecimento de fala.
Seja honesto com seus testes: não ajuste suas configurações apenas para parecer bom no teste de prática, ou você falhará no teste real.

O sistema da equipe é um script simples, de um único comando, que prova que, às vezes, a melhor maneira de resolver um mistério não é com uma máquina supercomplexa, mas com um olhar simples e honesto sobre as lacunas da história.

Resumo Técnico: Características Simples e Calibração Honesta para o Reconhecimento de Ambivalência e Hesitação em Vídeo

Formulação do Problema
Este trabalho aborda a tarefa de reconhecimento de Ambivalência e Hesitação (A/H) dentro do desafio ABAW 2026 BAH. O objetivo é prever, dado um vídeo de entrevista curto, se o falante exibe sinais de conflito interno ou incerteza. A tarefa é formulada como um problema de classificação binária ao nível do vídeo, avaliado primariamente pelo macro-F1 (a média não ponderada dos escores F1 para as classes presente e ausente) e secundariamente pela Precisão Média (AP). O conjunto de dados (BAH) compreende 1.427 vídeos de 300 participantes, divididos em conjuntos de treinamento (778), validação (124) e teste público (525), sem sobreposição de participantes entre as divisões.

Metodologia
O sistema proposto afasta-se do paradigma predominante de modelagem de conflito cross-modal complexa, concentrando-se em representações especializadas em afeto, pistas linguísticas interpretáveis e calibração rigorosa.

Codificadores de Modalidade: O sistema utiliza codificadores pré-treinados e congelados em vez de treinar do zero.
- Texto: RoBERTa ajustado (fine-tuned) no GoEmotions (768-dim) e 11 marcadores de hesitação manuais (ex: taxas de hesitação/hedges, pausas preenchidas, autorreparos e inversões de sentimento).
- Áudio: Um modelo wav2vec2 especializado em emoção (1024-dim). Codificadores de fala gerais (HuBERT) apresentaram desempenho insatisfatório.
- Vídeo: Um Vision Transformer de expressão facial (FER-ViT) sobre 16 quadros alinhados, fornecendo um embedding e um perfil de expressão de 7 vias. Codificadores de vídeo gerais (VideoMAE) e dinâmicas específicas de olhar/sobrancelha não melhoraram o desempenho.
- Tempo Apagado pelo ASR (ASR-Erased Time): Um conjunto de características inovador de 16 dimensões derivado dos timestamps de blocos de Reconhecimento Automático de Fala (ASR). Como os modelos de ASR (como o Whisper) deletam preenchimentos e pausas para produzir texto limpo, as lacunas temporais entre os blocos restantes preservam a duração desses eventos deletados. As características incluem contagem de lacunas, tamanhos normalizados pelo tempo de fala, fragmentação de blocos e padrões de pausa antes de palavras contrastivas.
Fusão de Marcadores Afetivos (AMF):
- Os fluxos são projetados para uma largura compartilhada e passam por um portão de confiabilidade aprendido (learned reliability gate). Este mecanismo atribui pesos a cada fluxo, efetivamente reduzindo canais fracos (como o vídeo) em vez de adicioná-los como ruído.
- Uma cabeça auxiliar prevê A/H usando apenas os 11 marcadores interpretáveis, atuando como um regularizador para garantir que a representação compartilhada permaneça preditiva mesmo quando outras modalidades são fracas.
- O modelo é treinado com cross-entropy binária balanceada por classe e suavização de rótulos (label smoothing, $\epsilon=0.1$ ).
Ensemble e Calibração:
- A predição final é uma média ponderada por AP de seis membros do ensemble (incluindo a rede AMF e sondas de fluxos individuais) em um limiar de decisão fixo de $\tau = 0.5$ .
- Os autores rejeitam explicitamente o ajuste do limiar ou dos pesos do ensemble no conjunto de validação, demonstrando que tal "busca" leva ao overfitting (pontuando 0.741 na validação, mas caindo para 0.690 no teste).
- Em vez disso, os pesos são derivados exclusivamente da Precisão Média de cada membro, uma métrica livre de limiar que permanece estável em conjuntos de dados pequenos.
- O modelo final é treinado em todos os dados rotulados disponíveis (treino + val + teste = 1.427 vídeos) usando um holdout estratificado de 113 vídeos com semente (seed) para parada precoce (early stopping) e ajuste de pesos, garantindo que não haja vazamento de dados.

Principais Resultados

Desempenho: O sistema alcança um macro-F1 de 0.731 no conjunto de teste público, superando o vencedor da edição anterior (0.694) e todos os baselines, incluindo um LLM multimodal zero-shot (0.283) e um baseline de co-atenção (0.590).
Distribuição de Sinal:
- O Texto é dominante: O fluxo de texto (RoBERça-GoEmotions) produz o maior AP (0.811), seguido de perto pelos 11 marcadores de hesitação (0.800).
- O Áudio é secundário: O codificador de áudio especializado em emoção (AP 0.764) supera significativamente os codificadores de áudio gerais (HuBERT, AP 0.606).
- O Vídeo é fraco: Todas as representações visuais, incluindo FER e dinâmicas de olhar, permanecem próximas ao nível do acaso (AP 0.63–0.67) e não contribuem significativamente para o ensemble.
- Tempo Apagado pelo ASR: Este canal não verbal alcançou um AP de 0.718, superando todas as características visuais e mostrando baixa correlação (0.11–0.36) com outros membros do modelo, indicando alta independência.
Achados de Ablação:
- Design de Conflito: Variar o operador de conflito cross-modal (diferença absoluta, divisão ortogonal ou nenhum) resultou em mudanças negligíveis (<0.05 AP) e rankings inconsistentes entre os conjuntos de validação e teste, provando que não é um alavancador crítico.
- Calibração: O ganho mais significativo veio da calibração honesta. Remover a busca por pesos e limiares no conjunto de validação melhorou a pontuação de teste em 0.041 (de 0.690 para 0.731).

Significância e Alegações
O artigo argumenta que, para o dataset BAH, o "sinal" para ambivalência e hesitação está concentrado quase inteiramente na linguagem e em lacunas prosódicas específicas, em vez de em complexos recursos de conflito facial ou vocal cross-modal. Os autores alegam três conclusões primárias:

O design de conflito não é a alavanca: Recursos de conflito pré-desenhados não melhoram o desempenho de forma confiável quando os codificadores são fixos.
As características ajudam de forma estreita: Apenas codificadores de áudio especializados em emoção e marcadores linguísticos interpretáveis fornecem ganhos substanciais; os canais visuais permanecem ineficazes com as escalas de dados atuais.
A calibração é primordial: O maior ganho de desempenho provém de evitar o overfitting durante a fase de calibração. O uso de ensembles ponderados por AP com um limiar fixo é superior ao ajuste de pesos e limiares em pequenos splits de validação.

O trabalho enfatiza que uma avaliação "honesta" — onde as regras de calibração são fixas antes dos testes — é mais impactante do que a complexidade arquitetural. Os autores observam que, embora o ganho sobre o vencedor anterior seja estatisticamente provável (intervalo bootstrap de 95% [0.693, 0.770]), não é uma certeza absoluta. A direção futura mais promissora identificada é a exploração adicional do tempo apagado pelo ASR, que atualmente oferece um sinal forte e independente que aguarda conjuntos de dados maiores para converter totalmente sua independência em acurácia.