💻 computer science

Unified Multimodal Uncertain Inference

Este artículo presenta UMUI, una nueva tarea de inferencia multimodal que abarca texto, audio y video para estimar probabilidades calibradas, junto con el modelo CLUE que logra un rendimiento superior o equivalente a modelos mucho más grandes mediante técnicas de calibración de incertidumbre.

Autores originales: Dengjia Zhang, Alexander Martin, William Jurayj, Kenton Murray, Benjamin Van Durme, Reno Kriz

Publicado 2026-04-13

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Dengjia Zhang, Alexander Martin, William Jurayj, Kenton Murray, Benjamin Van Durme, Reno Kriz

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que estás viendo un video en redes sociales de un terremoto. Ves edificios que se caen, escuchas sirenas y oyes a la gente gritando. Tu cerebro no te dice simplemente "esto es un desastre" o "esto no lo es". Tu cerebro te da una probabilidad: "Estoy un 85% seguro de que es grave, pero quizás el audio es solo un efecto de sonido".

Los modelos de inteligencia artificial actuales suelen ser como niños que solo saben decir "sí" o "no". Si les preguntas si un video es real, te dan una respuesta binaria. Pero en el mundo real, la vida es gris, no blanco y negro.

Aquí te explico qué hacen los autores de este paper (Dengjia Zhang y su equipo de la Universidad Johns Hopkins) usando una analogía sencilla:

1. El Problema: El "Detective Ciego"

Imagina que tienes un detective (la Inteligencia Artificial) que debe resolver un caso.

El caso: ¿Es cierta una afirmación basada en un video, un audio o un texto?
El problema: Los detectives actuales son muy "duros". Si ven una pista, dicen "¡Culpable!" (100% seguro). Si no ven nada, dicen "¡Inocente!" (0% seguro).
La realidad: A veces la pista es borrosa. El detective debería decir: "Tengo un 60% de certeza porque el audio suena sospechoso, pero la imagen está oscura". Además, si el detective solo lee el texto del video (como si fuera un libro) e ignora el sonido de las sirenas, se equivoca.

2. La Solución: UMUI (El Detective Multisensorial)

Los autores crearon un nuevo juego llamado UMUI (Inferencia Multimodal Incierta Unificada).

La idea: Entrenar a la IA para que no solo diga "sí" o "no", sino que nos dé un número entre 0 y 1 que represente su nivel de confianza.
La magia: Este detective ahora usa todos sus sentidos: ve el video, escucha el audio y lee el texto al mismo tiempo. Si el texto dice "todo está bien" pero el audio suena a explosiones, el detective sabe que debe bajar su confianza en la afirmación de que "todo está bien".

3. La Herramienta: CLUE (El "Calibrador de Confianza")

Para lograr esto, crearon un método llamado CLUE. Imagina que CLUE es un entrenador de gimnasio para la IA.

El problema de los entrenadores: Antes, si le pedías a una IA grande (como un modelo de 32 mil millones de "neuronas") que adivinara, a menudo se equivocaba o se confiaba demasiado (como alguien que cree que sabe todo pero en realidad no).
El truco de CLUE:
1. El Maestro (Teacher): Usan una IA muy inteligente para generar "respuestas de práctica". Pero como esa IA a veces se equivoca, la hacen pensar 5 veces sobre el mismo problema y promedian sus respuestas para obtener una "verdad" más fiable.
2. La Distribución (El mapa de incertidumbre): En lugar de pedirle a la IA que diga "0.8", le piden que dibuje un mapa de probabilidades. Imagina que en lugar de decir "tengo hambre", la IA dibuja una curva que muestra: "Tengo un 10% de hambre, un 70% de hambre media y un 20% de mucha hambre". Esto le permite ser mucho más precisa y suave en sus respuestas.
3. El Entrenamiento por Grupos: En lugar de mezclar videos, audios y textos en una sola clase de entrenamiento (lo que confunde a la IA), los agrupan por tipo. Es como si en la escuela separaras a los alumnos que estudian música de los que estudian matemáticas para que cada uno aprenda mejor antes de mezclarlos.

4. El Resultado: El Pequeño Gigante

Lo más sorprendente del paper es que lograron entrenar a un modelo pequeño (de 3 mil millones de parámetros) que funciona mejor que los modelos gigantes (de hasta 32 mil millones).

La analogía: Es como si un estudiante de secundaria (el modelo de 3B), que ha aprendido a usar sus oídos, ojos y cerebro al mismo tiempo, resolviera un problema mejor que un profesor universitario gigante que solo usa sus ojos y está un poco confundido.
¿Por qué? Porque el modelo pequeño aprendió a calibrar su confianza. Sabe cuándo está seguro y cuándo no, y no se fía de una sola pista.

En resumen

Este paper nos dice que para que la Inteligencia Artificial sea realmente útil y confiable (especialmente en situaciones de emergencia o noticias), no basta con que sea "inteligente" o "grande". Necesita aprender a dudar de forma inteligente.

Deben poder decirnos: "Veo el video, escucho el audio y leo el texto. Creo que la noticia es verdadera, pero solo con un 75% de seguridad, porque el audio es un poco ruidoso". Eso es lo que hace UMUI y CLUE: enseñan a las máquinas a tener la misma intuición humana sobre la incertidumbre que tenemos nosotros cuando vemos una noticia en redes sociales.

Resumen Técnico: Inferencia de Incertidumbre Multimodal Unificada (UMUI)

1. Planteamiento del Problema

El razonamiento humano es fundamentalmente probabilístico; opera sobre grados de creencia y estimaciones de confianza en lugar de juicios categóricos o binarios. Sin embargo, en el campo de la Inteligencia Artificial, la Inferencia de Lenguaje Natural Incierta (UNLI) se ha explorado principalmente en el dominio textual, donde los modelos producen estimaciones de probabilidad escalares en lugar de etiquetas de "entailment" (implicación) binarias.

El problema central identificado en el artículo es la falta de un marco para el razonamiento probabilístico fino en y entre otras modalidades (audio y video).

Limitación actual: Las tareas de inferencia en audio y video se han formulado casi exclusivamente como juicios binarios (verdadero/falso).
Consecuencia: Los sistemas multimodales actuales carecen de la capacidad de expresar incertidumbre calibrada sobre evidencia multimodal, lo que limita su fiabilidad en dominios de alto riesgo (como la verificación de noticias o la respuesta a desastres).
Brecha: No existe un marco unificado que permita a un modelo estimar la probabilidad de una hipótesis basándose en premisas que pueden ser texto, audio, video o cualquier combinación de estos, con una calibración precisa.

2. Metodología Propuesta

Para abordar estas limitaciones, los autores introducen dos componentes principales: la tarea UMUI y el método de entrenamiento CLUE.

A. Tarea UMUI (Unified Multimodal Uncertain Inference)

UMUI se define como una tarea donde el modelo recibe una premisa multimodal (texto, audio, video o combinaciones) y una hipótesis (declaración). El objetivo del modelo es producir una estimación de probabilidad escalar en el rango $[0, 1]$ que represente la probabilidad de que la hipótesis sea verdadera dada la premisa.

Recopilación de Datos: Se creó un conjunto de evaluación anotado por humanos para pares de premisa-hipótesis en audio, visual y audiovisual.
- Se utilizaron 10 temas de eventos reales (ej. erupciones, elecciones, desastres) basados en el conjunto de datos WIKIVIDEO.
- Los anotadores expertos asignaron probabilidades escalares (0-100%) y especificaron qué modalidades (audio, video o ambas) informaron su juicio.
- Se recolectaron 2,526 pares video-declaración con alta consistencia entre anotadores (Krippendorff's $\alpha \approx 0.71$ ).

B. Método CLUE (Calibrated Latent Uncertainty Estimation)

Dado que los modelos multimodales existentes están mal calibrados para esta tarea, se propone CLUE, un enfoque de entrenamiento que combina tres técnicas:

Calibración de Maestro Autoconsistente (Self-Consistent Teacher Calibration):
- Debido a la falta de etiquetas escalares humanas a gran escala para el entrenamiento, se utiliza un modelo "maestro" (Qwen3-VL/Omni con capacidades de razonamiento) para generar etiquetas.
- Para mejorar la calibración del maestro sin entrenamiento adicional, se emplea autoconsistencia: el maestro genera múltiples trazas de razonamiento (5 respuestas independientes) para cada par.
- Estas respuestas se agregan (promedio o máximo) para crear etiquetas de destilación más precisas y calibradas, reduciendo el error cuadrático medio (MSE) significativamente en comparación con una sola inferencia.
Modelado de Distribución Latente de Confianza:
- En lugar de generar un valor escalar discreto como token de texto (lo que limita la resolución a valores como 0.5, 0.8), el modelo predice una distribución latente sobre tokens de confianza.
- El intervalo $[0, 1]$ se discretiza en $N$ bins (ej. 100), cada uno asociado a un token <CONF_i>.
- El modelo se entrena para predecir una distribución sobre estos tokens, supervisada por una distribución objetivo Gaussiana centrada en la etiqueta real.
- La probabilidad final se reconstruye mediante una agregación ponderada suave, permitiendo estimaciones de confianza más finas y alineadas con la incertidumbre humana.
Agrupación Específica por Modalidad (Modality-Specific Batching):
- Para mejorar la estabilidad del gradiente y reducir el padding excesivo (debido a las grandes diferencias de longitud entre texto y video), los datos se agrupan por modalidad dentro de cada lote de entrenamiento.
- Esto evita la interferencia de gradientes y la inestabilidad numérica que ocurre al mezclar modalidades heterogéneas en un mismo lote.

3. Contribuciones Clave

Formalización de UMUI: Definición de una nueva tarea para la inferencia probabilística calibrada que abarca texto, audio, video y sus combinaciones.
Conjunto de Datos Anotado: Creación de un conjunto de evaluación con juicios de probabilidad escalar humana para premisas audiovisuales, extendiendo las anotaciones binarias existentes a etiquetas de incertidumbre fina.
Método CLUE: Introducción de un enfoque de entrenamiento que supera las limitaciones de los modelos grandes mediante la combinación de calibración de maestro autoconsistente, modelado de distribución latente y agrupación por modalidad.
Eficiencia y Rendimiento: Demostración de que un modelo de 3 mil millones de parámetros (3B) entrenado con CLUE supera o iguala el rendimiento de modelos base de hasta 32 mil millones de parámetros en todas las modalidades.

4. Resultados Experimentales

Los experimentos se realizaron en tres conjuntos de datos: CLOTHO (audio), UNLI (texto) y WIKIVIDEO (audio, visual y audiovisual).

Rendimiento Binario (UMUI-Binary):
- En CLOTHO, CLUE alcanzó un rendimiento cercano al perfecto, superando significativamente a los baselines de audio (que operaban cerca del azar).
- En WIKIVIDEO, CLUE superó a todos los métodos en todas las modalidades y combinaciones, demostrando una mejor capacidad para anclar la evidencia crítica.
Rendimiento Escalar (UMUI - Calibración):
- MSE (Error Cuadrático Medio): CLUE (específicamente la variante basada en distribución, CLUE-D) logró el MSE más bajo en todas las configuraciones.
- Comparación de Tamaño: El modelo CLUE de 3B superó consistentemente a modelos de 32B (como Qwen3-VL y Qwen3) en tareas de estimación de probabilidad escalar.
- Ventaja de la Distribución Latente: La variante basada en distribución (CLUE-D) superó a la variante basada en tokens (CLUE-T), confirmando que la predicción de una distribución latente permite estimaciones de probabilidad más suaves y precisas que la generación autoregresiva de tokens discretos.
- Transferencia Multimodal: Un hallazgo crucial fue que entrenar con una mezcla de modalidades mejoró el rendimiento incluso en modalidades individuales (ej. el modelo multimodal de 3B superó a un modelo calibrado de texto de 14B en la tarea UNLI), sugiriendo un beneficio recíproco de las señales auxiliares.

5. Significado e Impacto

El trabajo tiene implicaciones significativas para el desarrollo de IA confiable:

Confianza en IA: Proporciona un marco para que los sistemas multimodales expresen su incertidumbre de manera calibrada, lo cual es esencial para la toma de decisiones en dominios de alto riesgo (salud, seguridad, periodismo).
Eficiencia: Demuestra que no es necesario escalar masivamente los parámetros del modelo para lograr una inferencia incierta de alta calidad; una arquitectura bien calibrada y un enfoque de entrenamiento adecuado (CLUE) pueden superar a modelos mucho más grandes.
Avance en Multimodalidad: Llena un vacío crítico al llevar la inferencia incierta más allá del texto, permitiendo a los modelos integrar y ponderar evidencia visual, auditiva y lingüística de manera probabilística, imitando más fielmente el razonamiento humano.

En conclusión, UMUI y CLUE establecen un nuevo estándar para la inferencia multimodal, priorizando la calibración y la granularidad probabilística sobre la simple clasificación binaria, logrando resultados superiores con modelos de tamaño moderado.