💻 computer science

DualFact+: A Multimodal Fact Verification Framework for Procedural Video Understanding

DualFact+ apresenta uma nova estrutura multimodal de duas camadas que separa fatos procedimentais de vídeo em componentes conceituais e contextuais para fornecer uma avaliação mais interpretável e alinhada com humanos da legendagem de vídeo, revelando que os modelos mais avançados frequentemente sofrem de omissões factuais sistemáticas e inconsistências que as métricas padrão não conseguem detectar.

Autores originais: Cennet Oguz, Yasser Hamidullah, Josef van Genabith, Simon Ostermann

Publicado 2026-04-29

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Cennet Oguz, Yasser Hamidullah, Josef van Genabith, Simon Ostermann

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está assistindo a um programa de culinária ou a um tutorial de marcenaria. Um computador inteligente está tentando escrever uma receita ou um conjunto de instruções com base no que vê no vídeo. Às vezes, o computador escreve uma frase que soa perfeita e flui maravilhosamente, mas está, na verdade, mentindo sobre o que aconteceu. Talvez ele diga: "O chef picou as cebolas", quando o vídeo mostra claramente que ele estava picando cenouras. Ou talvez ele esqueça de mencionar que o chef usou uma faca em vez de uma colher.

Este artigo apresenta uma nova maneira de verificar se essas instruções geradas por computador são realmente verdadeiras. Eles chamam seu sistema de DualFact.

Veja como funciona, dividido em ideias simples:

1. As Duas Camadas da Verdade

Os autores perceberam que verificar uma descrição de vídeo não se trata apenas de ler as palavras; trata-se de entender duas camadas diferentes de realidade:

A Camada "Conceitual" (O Plano): Esta é a ideia abstrata do que deveria acontecer. Por exemplo: "Corte o vegetal". Ela não se importa qual vegetal ou que ferramenta é usada ainda; ela apenas sabe que uma ação está ocorrendo. Pense nisso como um esboço rústico de uma pintura.
A Camada "Contextual" (A Realidade): Este é o detalhe específico e fundamentado do que realmente aconteceu no vídeo. Eles cortaram um tomate ou uma cebola? Usaram uma faca ou um machado? Esta é a pintura final, detalhada.

O Problema: A maioria dos programas de computador atuais é excelente na camada "Conceitual" (eles soam inteligentes), mas frequentemente falha na camada "Contextual" (eles erram os detalhes específicos). Eles podem dizer "corte o vegetal" (verdadeiro), mas deixar passar o fato de que usaram uma faca sem fio, ou podem inventar uma ferramenta que nem sequer estava lá.

2. O Detetive "DualFact"

Para corrigir isso, os pesquisadores construíram um sistema detetive chamado DualFact. Ele age como um editor rigoroso que verifica o trabalho do computador de duas maneiras:

A Verificação de Texto: Compara a frase do computador com o texto "padrão ouro" (as instruções perfeitas escritas por humanos).
A Verificação de Vídeo: Compara a frase do computador com a gravação real do vídeo.

O sistema decompõe cada frase em pequenos "fatos" (como: Ação = Cortar, Objeto = Tomate, Ferramenta = Faca). Em seguida, pergunta: "Este fato é apoiado pelo vídeo?"

3. Capturando os Três Tipos de Erros

O artigo explica que os computadores cometem três tipos específicos de mentiras, e o DualFact foi projetado para capturá-los:

Alucinações (O Erro "Mágico"): O computador inventa algo que não está lá.
- Exemplo: O vídeo mostra uma tigela, mas o computador diz: "O chef usou um liquidificador". O liquidificador nunca existiu no vídeo.
Omissões (O Erro "Faltante"): O computador esquece de mencionar algo importante que estava lá.
- Exemplo: O vídeo mostra o chef adicionando sal, mas o computador apenas diz: "O chef misturou a sopa", esquecendo completamente o sal.
Erros de Saliência (O Erro "Distração"): Este é o mais complicado. O computador menciona algo que está no vídeo, mas não é importante para a tarefa.
- Exemplo: O chef está cortando um tomate, mas há um limão sentado no balcão ao fundo. O computador diz: "O chef cortou o limão". O limão estava lá (então não é uma alucinação), mas não era o evento principal. O computador se distraiu com o ruído de fundo.

4. O Que Eles Encontraram

Os pesquisadores testaram esse sistema em dois tipos de vídeos: culinária (YouCook3) e fabricação de móveis (CraftBench). Eles descobriram algumas coisas surpreendentes:

Fluência $\neq$ Verdade: As frases que soavam melhor e eram mais fluentes eram frequentemente aquelas com mais erros factuais. Os computadores eram "falantes eloquentes", mas ruins em detalhes.
Métricas Antigas Mente: As maneiras padrão de medir o sucesso (como contar quantas palavras coincidem) eram terríveis em capturar esses erros. Elas davam pontuações altas a frases que estavam factualmente erradas.
O Vídeo é o Contador de Verdades: Quando o sistema verificou contra o vídeo em vez de apenas o texto, descobriu que muitas "mentiras" eram na verdade apenas "distrações" (erros de saliência) ou "omissões". O vídeo fundamentou a verdade de uma forma que o texto sozinho não conseguia.

5. A Conclusão

O artigo conclui que, para realmente entender vídeos procedimentais (como cozinhar ou construir), precisamos de um sistema que não apenas verifique se as palavras soam bem, mas que verifique se os papéis específicos (Ação, Ferramenta, Objeto) correspondem à evidência visual.

O DualFact é como um verificador de fatos rigoroso que separa a "grande ideia" dos "detalhes específicos", garantindo que, quando um computador descreve um vídeo, ele conte a verdade inteira, não apenas uma versão bonita dela.

1. Declaração do Problema

A legendagem de vídeos procedurais (por exemplo, culinária, montagem de móveis) exige que os modelos gerem descrições que não sejam apenas fluentes, mas também factualmente corretas e fundamentadas visualmente. As métricas de avaliação existentes falham em abordar os desafios específicos deste domínio:

Métricas Lexicais (BLEU, ROUGE): Baseiam-se na sobreposição de superfície e não conseguem detectar erros de papel semântico (por exemplo, trocar um ingrediente por uma ferramenta) ou argumentos ausentes.
Métricas Visão-Linguagem (CLIPScore, EMScore): Medem a similaridade semântica global, mas carecem de raciocínio estruturado sobre relações predicado-argumento. Frequentemente, perdem inconsistências de baixo nível.
Métricas Atuais Baseadas em Fatos: Tipicamente representam fatos como declarações planas e não tipificadas. Elas lutam para distinguir entre erros conceituais (papel abstrato errado, por exemplo, "adicionar sal" quando deveria ser "açúcar") e erros contextuais (realização visual errada, por exemplo, "adicionar sal à panela" quando o vídeo mostra uma tigela).
Argumentos Implícitos: Legendas procedurais frequentemente omitem argumentos visualmente presentes (por exemplo, "mexa isso" sem especificar "sopa" ou "colher"), levando a ambiguidades que as métricas padrão ignoram.

2. Metodologia: O Framework DualFact/MultiFactScore

Os autores propõem um framework de verificação de fatos em duas camadas que separa Fatos Conceituais de Fatos Contextuais para permitir uma avaliação de baixo nível.

A. Representação de Fatos em Duas Camadas

Fatos Conceituais ( $F_{con}$ ): Capturam semânticas de tarefas abstratas independentes da realização de superfície. Eles identificam a ação pretendida e os papéis centrais dos participantes (por exemplo, AÇÃO=MEXER, INGREDIENTE=SOPA, FERRAMENTA=COLHER).
Fatos Contextuais ( $F_{ctx}$ ): Capturam as relações predicado-argumento fundamentadas visíveis no vídeo (por exemplo, MEXER(sopa, tigela, colher)).
- Significância: Esta separação permite que o sistema detecte se um modelo entende a tarefa (conceitual), mas falha em descrever a execução visual (contextual), ou vice-versa.

B. Construção do Conjunto de Dados (YouCook3-Fact & CraftBench-Fact)

Os autores criaram dois novos benchmarks com três etapas principais de pré-processamento:

Decomposição de Cláusulas: Divisão de sentenças de múltiplas ações em cláusulas atômicas alinhadas com segmentos específicos do vídeo.
Aumento de Argumentos Implícitos (VIA): Anotação de argumentos ausentes, mas visualmente presentes (por exemplo, expandir "mexa isso" para "mexa a sopa com uma colher na panela") para garantir consistência de papéis.
Anotação Estruturada de Fatos: Extração de fatos conceituais e contextuais, juntamente com geração de fatos negativos (criação de variantes plausíveis, mas falsas, para aprendizado contrastivo).

C. Pipeline de Verificação

O framework utiliza modelos de Inferência de Linguagem Natural (NLI) para verificar fatos em dois modos:

DualFact-T (Textual): Verifica fatos gerados contra a legenda de referência (gold caption).
DualFact-V (Multimodal): Verifica fatos gerados diretamente contra o clipe de vídeo.
Pontuação: O MultiFactScore é calculado como a proporção de fatos julgados como "SUPORTADOS" pelo verificador.
Decomposição de Erros: O sistema categoriza erros em:
- Alucinação: Conteúdo não suportado pelo vídeo.
- Erro de Saliência: Conteúdo visualmente presente, mas irrelevante para a tarefa (por exemplo, mencionar um limão ao cortar um pepino).
- Omissão: Entidades ou papéis críticos para a tarefa ausentes.

3. Contribuições Principais

Representação de Fatos em Duas Camadas: Um framework inovador que separa semânticas de papéis abstratos de realizações visuais fundamentadas, permitindo a detecção de inconsistências e omissões em nível de papel.
Novos Benchmarks: Introdução do YouCook3-Fact (culinária) e CraftBench-Fact (confecção de móveis), apresentando segmentação em nível de cláusula, VIA e anotações estruturadas de fatos.
Insights Empíricos: Demonstração de que Modelos de Linguagem Multimodais de última geração (por exemplo, Qwen2.5-VL) produzem legendas fluentes que são sistematicamente factualmente incompletas, com altas taxas de omissões e erros em nível de papel que as métricas padrão perdem.
Protocolo de Avaliação: Um método mostrando que a avaliação baseada apenas em legendas superestima significativamente as alucinações em comparação com a verificação fundamentada em vídeo, que revela "erros de saliência" (detalhes visualmente presentes, mas irrelevantes).

4. Resultados Experimentais

Os experimentos foram conduzidos no YouCook3-Fact e CraftBench-Fact usando Qwen2.5-VL e métricas padrão.

Extração de Fatos: O extrator baseado em LLM alcançou alta precisão (F1 > 96% para papéis conceituais, >95% para relações contextuais), garantindo que o ruído de avaliação seja mínimo.
Desempenho do Verificador:
- O verificador performa quase perfeitamente em fatos de referência (Textual: ~99%, Multimodal: ~88-93%).
- Viés de Consistência do Modelo: Ao verificar legendas previstas, a precisão cai significativamente (por exemplo, a verificação textual de legendas previstas caiu para ~20-40%), indicando que os modelos falham em codificar entidades de verdade absoluta.
Análise de Erros:
- Apenas Legendas vs. Fundamentado em Vídeo: A avaliação baseada apenas em legendas rotulou ~50-60% dos erros como "Alucinações". A verificação fundamentada em vídeo reclassificou muitos desses como Erros de Saliência (por exemplo, 36% dos erros de objeto foram de saliência, não alucinação).
- Omissões: O principal modo de falha foi a omissão de entidades relevantes para a tarefa (por exemplo, ferramentas ou ingredientes ausentes), que as métricas padrão falharam em penalizar severamente.
Correlação com Julgamento Humano:
- O proposto Pontuação de Fato Conceitual Baseada em Legenda mostrou a correlação mais forte com julgamentos humanos (Spearman $\rho$ = 0,429), superando BLEU, ROUGE e EMScore.
- Pontuações baseadas em vídeo mostraram correlação mais baixa devido a "efeitos de teto" (alta correção absoluta, mas baixa variância).

5. Significância e Conclusão

Além da Fluência: O artigo argumenta que a fluência não equivale a correção factual em tarefas procedurais. Uma legenda pode ser gramaticalmente perfeita, mas perder etapas críticas ou atribuir papéis incorretamente.
Interpretabilidade: O framework fornece uma ferramenta de diagnóstico para distinguir entre o que o modelo perdeu (omissão), o que ele inventou (alucinação) e o que ele acertou, mas é irrelevante (saliência).
Direção Futura: O trabalho destaca a necessidade de modelos futuros focarem em geração consistente com papéis e fundamentada visualmente, indo além da similaridade semântica de superfície. Ele estabelece uma base para sistemas mais robustos de compreensão de vídeos instrucionais.

Limitações: O escopo atual é limitado a culinária e artesanato; a extração de fatos depende da precisão do LLM subjacente; e o framework ainda não modela fatos orientados a atributos (por exemplo, tamanho, cor) ou distingue entre níveis de gravidade de alucinações.