🤖 AI

Knowledge-Guided Multimodal Reasoning over Interacting Streams for Video-Level Ambivalence and Hesitancy Recognition

O artigo apresenta o PRISM-AH, um framework multimodal guiado por conhecimento que reconhece ambivalência e hesitação em nível de vídeo ao modelar a dissonância intermodal ao longo do tempo e fundir evidências estruturadas de um grande modelo de linguagem, alcançando um F1 macro de 0,6133 em um conjunto de teste público.

Autores originais: Podakanti Satyajith Chary, Barath Parthiban, Pranesh Velmurugan, Adeeba Khan, Nagarajan Ganapathy

Publicado 2026-07-29

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Podakanti Satyajith Chary, Barath Parthiban, Pranesh Velmurugan, Adeeba Khan, Nagarajan Ganapathy

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando adivinhar como alguém está se sentindo apenas observando um vídeo curto dessa pessoa falando. Não se trata apenas de notar um sorriso ou uma carranca; trata-se de captar aqueles momentos complicados e mistos onde uma pessoa diz "Estou totalmente bem!", mas sua voz falha, seus olhos desviam e ela se agita nervosamente, tudo ao mesmo tempo. Os cientistas chamam esse estado de "ambivalência" ou "hesitação". É aquele meio de campo confuso entre o "sim" e o "não", e é uma razão enorme pela qual as pessoas frequentemente desistem de tentar mudar seus hábitos de saúde, como parar de fumar ou começar uma dieta. O desafio para os computadores é que esses sinais mistos são como pequenas e fugazes faíscas espalhadas pelo rosto, pela voz e pelas palavras de uma pessoa. Se você apenas amontoar todos esses dados em uma grande pilha, o computador fica confuso e perde o drama sutil que acontece em tempo real.

Apresentamos o PRISM-AH, uma nova maneira de ensinar computadores a detectar esses sentimentos mistos. Em vez de apenas colar todos os dados de vídeo, áudio e texto e torcer pelo melhor, os pesquisadores construíram um sistema que atua mais como um detetive do que como uma calculadora. Primeiro, um "batedor" leve faz uma varredura no vídeo para encontrar os exatos frações de segundo onde o rosto, a voz e as palavras da pessoa estão discordando entre si. Em seguida, ele escreve um relatório curto e estruturado desses momentos, destacando o conflito. Depois, um "detetive" poderoso (um modelo de linguagem de grande escala) lê esse relatório. Mas aqui está a reviravolta: o detetive não apenas adivinha; ele segue um livro de regras específico de "pistas de especialistas" fornecido por psicólogos humanos. Ao combinar os dados brutos do batedor com o raciocínio especializado do detetive, o sistema se torna muito melhor em detectar a hesitação.

Os resultados são impressionantes. Em um teste padrão de 152 vídeos ocultos, este novo método alcançou uma pontuação de 0,6324 (medida por uma métrica chamada macro F1). Para colocar em perspectiva, a tentativa anterior mais bem-sucedida, que usava apenas uma IA padrão sem essa lógica especial de detetive, pontuou apenas 0,2827. Isso significa que a nova abordagem é 2,24 vezes mais precisa do que a antiga linha de base.

No entanto, o artigo é cuidadoso ao apontar o que não funciona. Os pesquisadores descartaram explicitamente a ideia de que simplesmente adicionar características mais complexas ou tentar adaptar a IA a pessoas específicas (como saber sua idade ou gênero) ajuda. Na verdade, eles descobriram que condicionar o sistema a atributos dos participantes na verdade o tornava pior ao enfrentar novas pessoas que não haviam visto antes. Eles também descobriram uma peculiaridade surpreendente na forma como o sistema lida com informações ausentes: embora o sistema utilize vídeo, áudio e texto, o "texto" (o que a pessoa está realmente dizendo) é a peça mais crítica do quebra-cabeça. Se você remover a linguagem, o desempenho cai significamente. Mas aqui está a reviravolta: remover o áudio não reduz o desempenho, sugerindo que o áudio não é essencial para o processo de tomada de decisão nesta configuração específica.

O estudo sugere que o ingrediente secreto não é apenas ter mais dados, mas sim ter o tipo certo de raciocínio. A parte do "detetive" do sistema só funcionou quando lhe foi dado o livro de regras específico de pistas de especialistas; sem esse conhecimento, o desempenho do sistema voltou ao nível do modelo básico. Os autores concluem que, embora seu sistema atual seja um grande passo à frente, o caminho mais promissor para melhorias futuras reside em tornar a compreensão da linguagem ainda mais forte, já que as palavras são o principal motor da decisão. Eles não alegaram ter resolvido o problema de ler emoções humanas para sempre, mas provaram que uma abordagem estruturada e guiada pelo conhecimento é muito superior a apenas jogar tudo em um liquidificador.

Resumo Técnico: PRISM-AH

Definição do Problema

O artigo aborda o desafio de reconhecer a Ambivalência e Hesitação (A/H - Ambivalence and Hesitancy) em intervenções de mudança de comportamento de saúde baseadas em vídeo. A/H representa um estado afetivo conflitante entre orientações positivas e negativas em relação a uma ação, o que frequentemente leva ao atraso ou abandono da mudança de comportamento.

A dificuldade central reside na natureza da evidência:

Esparsidade e Localização: As pistas discriminativas são esparsas e localizadas no tempo, em vez de distribuídas uniformemente por um vídeo.
Desacordo entre Canais: As evidências mais confiáveis geralmente surgem de conflitos entre modalidades (por exemplo, afirmação verbal acompanhada de um desvio de olhar) em vez de sinais fortes dentro de um único canal.
Variabilidade Individual: Os indivíduos exibem hesitação de formas diferentes, e o corpus anotado (o benchmark Behavioural Ambivalence/Hesitancy ou BAH) possui um tamanho modesto.
Limitações da Fusão Padrão: A aplicação direta da fusão multimodal padrão a características densas por quadro resulta em baixa precisão, pois o agrupamento (pooling) de características dilui a localidade temporal e falha em capturar o desacordo entre canais.

Metodologia: PRISM-AH

O framework proposto, PRISM-AH (Predictive Reasoning over Interacting Streams for Multimodal Ambivalence / Hesitancy recognition), afasta-se da fusão de características padrão. Em vez disso, reformula a tarefa como um raciocínio guiado por conhecimento sobre evidências multimodais estruturadas e com carimbo de tempo (timestamped). A arquitetura consiste em duas etapas primárias:

1. Extração de Evidência Estruturada (Rede Discriminativa)

Uma rede multimodal leve processa janelas de vídeo (0,5 segundos) para gerar um resumo compacto e interpretável, em vez de um único vetor agrupado.

Codificadores: Codificadores de fundação congelados são usados para cada modalidade:
- Visão: ViT da família CLIP para quadros faciais.
- Áudio: WavLM para fala.
- Texto: MPNet para transcrições.
- Prosódia/Disfluência: Descritores explícitos (tom, energia, pausas, marcadores de hesitação/hedges, etc.) são computados por janela.
Hub de Interação: Os canais são projetados para uma dimensão compartilhada e modulados pelas metadados do participante via Modulação Linear por Características (FiLM). Uma pilha de blocos de interação utiliza atenção cruzada (cross-attention) e atenção temporal própria (temporal self-attention) para acoplar os canais.
Geração de Sinais: A rede emite sinais específicos para enriquecer a evidência:
- Pontuação de Conflito: Mede explicitamente o desacordo entre canais via dissonância de cosseno pareada ( $d_{va}, d_{v\tau}, d_{a\tau}$ ).
- Surpresa de Hesitação: Um componente preditivo (inspirado em JEPA) antecipa o próximo estado do hub; erros de previsão sinalizam quebras na continuidade comportamental.
- Correspondência de Protótipos: Um banco de protótipos aprendíveis atribui rótulos de padrões interpretáveis às janelas.
Saída: A rede produz uma probabilidade discriminativa de nível de vídeo e um resumo de evidência estruturada contendo carimbos de tempo, modalidades dominantes, pontuações de conflito e segmentos de transcrição.

2. Raciocínio Guiado por Conhecimento e Fusão Tardia

Um Modelo de Linguagem de Grande Escala (LLM) atua como um raciocinador, operando de maneira zero-shot sobre a evidência estruturada.

Prompting: O LLM recebe o resumo da evidência sob um prompt que codifica explicitamente a taxonomia de pistas de especialistas do benchmark BAH. Isso fornece o conhecimento de domínio necessário para interpretar pistas sutis.
Veredito: O LLM retorna um veredito com uma pontuação de confiança e uma justificativa citando momentos decisivos.
Fusão: A probabilidade de raciocínio ( $q$ ) é combinada com a probabilidade discriminativa ( $p$ ) via fusão tardia convexa: $p_{final} = (1 - \omega)p + \omega q$ . O peso $\omega$ e o limiar são calibrados na partição de validação para maximizar o F1 macro.

Principais Contribuições

Reformulação da Tarefa: O trabalho muda da fusão de características densas para o raciocínio sobre evidências estruturadas e com carimbo de tempo, alcançando um F1 macro de 0,6324 na partição de teste privada (uma melhora de 2,24× sobre a linha de base zero-shot de 0,2827).
Camada de Raciocínio Guiada por Conhecimento: A introdução de um raciocinador LLM que interpreta a evidência sob uma codificação explícita da taxonomia de pistas de especialistas. Estudos controlados confirmam que a taxonomia codificada é o ingrediente essencial para os ganhos de desempenho; removê-la elimina a melhoria.
Análise Empírica Rigorosa: Um estudo controlado sobre três sementes (seeds) quantifica as contribuições das modalidades e a robustez. Ele identifica a linguagem como o principal motor do desempenho preditivo e demonstra que o condicionamento aos atributos do participante não se transfere para partições distintas de participantes.

Resultados Experimentais

Desempenho: Na partição de teste privada, o PRISM-AH alcança um F1 macro de 0,6324. Na partição de teste pública, a rede discriminativa sozinha atinge 0,5790, o que melhora para 0,6133 com a adição do raciocínio guiado por conhecimento.
Necessidade da Camada de Raciocínio:
- Capacidade do Modelo: Um modelo de 7 bilhões de parâmetros não gerou melhoria (peso de fusão = 0), enquanto um modelo de 14 bilhões elevou a pontuação para 0,6070, indicando a necessidade de capacidade de raciocínio suficiente.
- Ablação de Prompt: Remover a taxonomia de pistas de especialistas do prompt eliminou o ganho (retornando a 0,5825), enquanto remover a evidência estruturada manteve o ganho (0,6147). Isso sugere que o conhecimento de domínio é mais crítico do que o formato específico da evidência para o raciocinador.
Análise de Modalidade:
- Modelos de modalidade única (Visão, Áudio, Texto) performaram comparavelmente (F1 macro ~0,55–0,56).
- Dominância da Linguagem: Remover o canal de linguagem causou a maior degradação de desempenho (0,5735 $\to$ 0,4982), confirmando o texto como o canal decisivo.
- Condicionamento de Participante: Remover o condicionamento de metadados na verdade melhorou o escore do teste público (0,5570 $\to$ 0,6140), indicando que os atributos dos participantes se ajustam à distribuição de treinamento, mas não generalizam para indivíduos não vistos.
Robustez: O sistema mostrou lacunas de desempenho estreitas entre subgrupos de gênero e idade.

Significância e Alegações

O artigo alega que a principal fonte de melhoria de desempenho é a camada de raciocínio guiada por conhecimento, especificamente a codificação explícita da taxonomia de pistas de especialistas. O estudo sugere que, para tarefas onde a evidência é esparsa, localizada e definida pelo conflito entre modalidades, destilar o vídeo em evidência estruturada e aplicar raciocínio fundamentado no domínio é mais eficaz do que fundir características densas.

Os autores concluem que um esqueleto (backbone) discriminativo compacto é preferível, já que sinais estruturais auxiliares (pontuações de conflito, sinais de surpresa) contribuíram marginalmente no cenário apenas discriminativo. A direção mais promissora para melhorias futuras é identificada como um fortalecimento do embasamento linguístico (language grounding), consistente com o achado de que a linguagem é o canal decisivo para o reconhecimento de A/H. A abordagem evita a dependência excessiva de condicionamento específico do participante, favorecendo uma configuração que generaliza para indivíduos não vistos.