💻 computer science

DualFact+: A Multimodal Fact Verification Framework for Procedural Video Understanding

DualFact+ introduce un novedoso marco multimodal de doble capa que separa los hechos procedimentales de los videos en componentes conceptuales y contextuales para proporcionar una evaluación de la descripción de videos más interpretable y alineada con el ser humano, revelando que los modelos más avanzados a menudo padecen omisiones factuales sistemáticas e inconsistencias que las métricas estándar no logran detectar.

Autores originales: Cennet Oguz, Yasser Hamidullah, Josef van Genabith, Simon Ostermann

Publicado 2026-04-29

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Cennet Oguz, Yasser Hamidullah, Josef van Genabith, Simon Ostermann

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás viendo un programa de cocina o un tutorial de bricolaje para muebles. Una computadora inteligente está intentando escribir una receta o un conjunto de instrucciones basándose en lo que ve en el video. A veces, la computadora escribe una oración que suena perfecta y fluye maravillosamente, pero en realidad está mintiendo sobre lo que sucedió. Quizás dice: "El chef picó las cebollas", cuando el video muestra claramente que están picando zanahorias. O quizás olvida mencionar que el chef usó un cuchillo en lugar de una cuchara.

Este artículo presenta una nueva forma de verificar si estas instrucciones generadas por computadora son realmente ciertas. Llaman a su sistema DualFact.

Así es como funciona, desglosado en ideas simples:

1. Las Dos Capas de la Verdad

Los autores se dieron cuenta de que verificar la descripción de un video no se trata solo de leer las palabras; se trata de entender dos capas diferentes de realidad:

La Capa "Conceptual" (El Plan): Esta es la idea abstracta de lo que debería suceder. Por ejemplo: "Corta el vegetal". No le importa qué vegetal ni qué herramienta se usa todavía; solo sabe que está ocurriendo una acción. Piensa en esto como un boceto aproximado de una pintura.
La Capa "Contextual" (La Realidad): Este es el detalle específico y fundamentado de lo que realmente sucedió en el video. ¿Cortaron un tomate o una cebolla? ¿Usaron un cuchillo o un hacha? Esta es la pintura terminada y detallada.

El Problema: La mayoría de los programas informáticos actuales son excelentes en la capa "Conceptual" (suena inteligente) pero a menudo fallan en la capa "Contextual" (se equivocan en los detalles específicos). Podrían decir "corta el vegetal" (verdadero) pero pasar por alto que usaron un cuchillo tonto, o podrían inventar una herramienta que no estaba allí en absoluto.

2. El Detective "DualFact"

Para solucionar esto, los investigadores construyeron un sistema detective llamado DualFact. Actúa como un editor estricto que verifica el trabajo de la computadora de dos maneras:

La Verificación de Texto: Compara la oración de la computadora contra el texto "estándar de oro" (las instrucciones perfectas escritas por humanos).
La Verificación de Video: Compara la oración de la computadora contra el metraje real del video.

El sistema descompone cada oración en pequeños "hechos" (como: Acción = Cortar, Objeto = Tomate, Herramienta = Cuchillo). Luego, pregunta: "¿Este hecho está respaldado por el video?".

3. Atrapando los Tres Tipos de Errores

El artículo explica que las computadoras cometen tres tipos específicos de mentiras, y DualFact está diseñado para atraparlos:

Alucinaciones (El Error "Mágico"): La computadora inventa algo que no está allí.
- Ejemplo: El video muestra un tazón, pero la computadora dice: "El chef usó una licuadora". La licuadora nunca existió en el video.
Omisiones (El Error "Faltante"): La computadora olvida mencionar algo importante que estaba allí.
- Ejemplo: El video muestra al chef agregando sal, pero la computadora simplemente dice: "El chef mezcló la sopa", olvidando por completo la sal.
Errores de Saliencia (El Error "Distracción"): Este es el más complicado. La computadora menciona algo que está en el video, pero no es importante para la tarea.
- Ejemplo: El chef está cortando un tomate, pero hay un limón sentado en la encimera en el fondo. La computadora dice: "El chef cortó el limón". El limón estaba allí (así que no es una alucinación), pero no fue el evento principal. La computadora se distrajo con el ruido de fondo.

4. Lo Que Encontraron

Los investigadores probaron este sistema en dos tipos de videos: cocina (YouCook3) y fabricación de muebles (CraftBench). Encontraron algunas cosas sorprendentes:

Fluidez $\neq$ Verdad: Las oraciones que suenan mejor y son más fluidas a menudo fueron las que tuvieron más errores factuales. Las computadoras eran "habladores suaves" pero malas en los detalles.
Las Métricas Antiguas Mienten: Las formas estándar de medir el éxito (como contar cuántas palabras coinciden) eran terribles para atrapar estos errores. Otorgaban puntuaciones altas a oraciones que eran factualmente incorrectas.
El Video es el Revelador de la Verdad: Cuando el sistema verificó contra el video en lugar de solo el texto, descubrió que muchas "mentiras" eran en realidad solo "distracciones" (errores de saliencia) u "omisiones". El video fundamentó la verdad de una manera que el texto por sí solo no podía.

5. La Conclusión

El artículo concluye que para entender verdaderamente los videos procedimentales (como cocinar o construir), necesitamos un sistema que no solo verifique si las palabras suenan bien, sino que verifique si los roles específicos (Acción, Herramienta, Objeto) coinciden con la evidencia visual.

DualFact es como un verificador de hechos riguroso que separa la "gran idea" de los "detalles específicos", asegurando que cuando una computadora describe un video, cuente toda la verdad, no solo una versión bonita de ella.

1. Declaración del Problema

La generación de subtítulos para videos procedimentales (por ejemplo, cocina, ensamblaje de muebles) requiere que los modelos generen descripciones que no solo sean fluidas, sino también fácticamente correctas y ancladas visualmente. Las métricas de evaluación existentes no abordan los desafíos específicos de este dominio:

Métricas Léxicas (BLEU, ROUGE): Se basan en la superposición superficial y no pueden detectar errores de roles semánticos (por ejemplo, intercambiar un ingrediente por una herramienta) ni argumentos omitidos.
Métricas Visión-Lenguaje (CLIPScore, EMScore): Miden la similitud semántica global pero carecen de razonamiento estructurado sobre las relaciones predicado-argumento. A menudo pasan por alto inconsistencias a nivel fino.
Métricas Basadas en Hechos Actuales: Suelen representar los hechos como enunciados planos y no tipificados. Tienen dificultades para distinguir entre errores conceptuales (rol abstracto incorrecto, por ejemplo, "añadir sal" cuando debería ser "azúcar") y errores contextuales (realización visual incorrecta, por ejemplo, "añadir sal a la sartén" cuando el video muestra un tazón).
Argumentos Implícitos: Los subtítulos procedimentales a menudo omiten argumentos presentes visualmente (por ejemplo, "remuévelo" sin especificar "sopa" o "cuchara"), lo que genera ambigüedad que las métricas estándar ignoran.

2. Metodología: El Marco DualFact/MultiFactScore

Los autores proponen un marco de verificación de hechos de doble capa que separa los Hechos Conceptuales de los Hechos Contextuales para permitir una evaluación granular.

A. Representación de Hechos de Doble Capa

Hechos Conceptuales ( $F_{con}$ ): Capturan la semántica abstracta de la tarea independiente de la realización superficial. Identifican la acción pretendida y los roles centrales de los participantes (por ejemplo, ACCIÓN=REMUEVE, INGREDIENTE=SOPA, HERRAMIENTA=CUCHARA).
Hechos Contextuales ( $F_{ctx}$ ): Capturan las relaciones predicado-argumento ancladas visibles en el video (por ejemplo, REMUEVE(sopa, tazón, cuchara)).
- Significado: Esta separación permite al sistema detectar si un modelo entiende la tarea (conceptual) pero falla al describir la ejecución visual (contextual), o viceversa.

B. Construcción del Conjunto de Datos (YouCook3-Fact y CraftBench-Fact)

Los autores crearon dos nuevos puntos de referencia con tres pasos clave de preprocesamiento:

Descomposición de Cláusulas: Dividir oraciones de múltiples acciones en cláusulas atómicas alineadas con segmentos específicos del video.
Aumento de Argumentos Implícitos (VIA): Anotar argumentos faltantes pero presentes visualmente (por ejemplo, expandir "remuévelo" a "remueve la sopa con una cuchara en la olla") para garantizar la consistencia de los roles.
Anotación Estructurada de Hechos: Extraer tanto hechos conceptuales como contextuales, junto con la generación de hechos negativos (crear variantes plausibles pero falsas para el aprendizaje contrastivo).

C. Pipeline de Verificación

El marco utiliza modelos de Inferencia de Lenguaje Natural (NLI) para verificar hechos en dos modos:

DualFact-T (Textual): Verifica los hechos generados contra el subtítulo de oro.
DualFact-V (Multimodal): Verifica los hechos generados directamente contra el clip de video.
Puntuación: El MultiFactScore se calcula como la proporción de hechos juzgados como "SOPORTADOS" por el verificador.
Descomposición de Errores: El sistema categoriza los errores en:
- Alucinación: Contenido no respaldado por el video.
- Error de Saliencia: Contenido presente visualmente pero irrelevante para la tarea (por ejemplo, mencionar un limón al cortar un pepino).
- Omisión: Entidades o roles críticos para la tarea que faltan.

3. Contribuciones Clave

Representación de Hechos de Doble Capa: Un marco novedoso que separa la semántica de roles abstractos de las realizaciones visuales ancladas, permitiendo la detección de inconsistencias a nivel de roles y omisiones.
Nuevos Puntos de Referencia: Introducción de YouCook3-Fact (cocina) y CraftBench-Fact (construcción de muebles), que presentan segmentación a nivel de cláusula, VIA y anotaciones estructuradas de hechos.
Perspectivas Empíricas: Demostración de que los LLM Multimodales más avanzados (por ejemplo, Qwen2.5-VL) producen subtítulos fluidos que son sistemáticamente fácticamente incompletos, con altas tasas de omisiones y errores a nivel de roles que las métricas estándar pasan por alto.
Protocolo de Evaluación: Un método que muestra que la evaluación basada solo en subtítulos sobreestima significativamente las alucinaciones en comparación con la verificación anclada al video, la cual revela "errores de saliencia" (detalles presentes visualmente pero irrelevantes).

4. Resultados Experimentales

Se realizaron experimentos en YouCook3-Fact y CraftBench-Fact utilizando Qwen2.5-VL y métricas estándar.

Extracción de Hechos: El extractor basado en LLM logró una alta precisión (F1 > 96% para roles conceptuales, >95% para relaciones contextuales), asegurando que el ruido de evaluación sea mínimo.
Rendimiento del Verificador:
- El verificador funciona casi perfectamente en hechos de oro (Textual: ~99%, Multimodal: ~88-93%).
- Sesgo de Consistencia del Modelo: Al verificar subtítulos predichos, la precisión cae significativamente (por ejemplo, la verificación textual de subtítulos predichos bajó a ~20-40%), lo que indica que los modelos no logran codificar entidades de verdad fundamental.
Análisis de Errores:
- Solo Subtítulos vs. Anclado al Video: La evaluación basada solo en subtítulos etiquetó ~50-60% de los errores como "Alucinaciones". La verificación anclada al video reclasificó muchos de estos como Errores de Saliencia (por ejemplo, el 36% de los errores de objetos fueron de saliencia, no alucinación).
- Omisiones: El modo de fallo principal fue la omisión de entidades relevantes para la tarea (por ejemplo, herramientas o ingredientes faltantes), lo cual las métricas estándar no lograron penalizar severamente.
Correlación con el Juicio Humano:
- La propuesta Puntuación de Hechos Conceptuales basada en Subtítulos mostró la correlación más fuerte con los juicios humanos (Spearman $\rho$ = 0.429), superando a BLEU, ROUGE y EMScore.
- Las puntuaciones basadas en video mostraron una correlación menor debido a "efectos techo" (alta corrección absoluta pero baja varianza).

5. Significado y Conclusión

Más allá de la Fluidez: El artículo argumenta que la fluidez no equivale a corrección fáctica en tareas procedimentales. Un subtítulo puede ser gramaticalmente perfecto pero omitir pasos críticos o asignar roles incorrectamente.
Interpretabilidad: El marco proporciona una herramienta de diagnóstico para distinguir entre lo que el modelo omitió (omisión), lo que inventó (alucinación) y lo que acertó pero es irrelevante (saliencia).
Dirección Futura: El trabajo destaca la necesidad de que los modelos futuros se centren en la generación consistente con los roles y anclada visualmente, yendo más allá de la similitud semántica superficial. Establece una base para sistemas de comprensión de videos instruccionales más robustos.

Limitaciones: El alcance actual se limita a la cocina y la artesanía; la extracción de hechos depende de la precisión del LLM subyacente; y el marco aún no modela hechos orientados a atributos (por ejemplo, tamaño, color) ni distingue entre niveles de gravedad de las alucinaciones.