🤖 AI

ST-Veto: Spatio-Temporal Token Veto for Diffusion MLLMs via Taylor Prediction and Visual Grounding

El artículo propone ST-Veto, un método que no requiere entrenamiento que mejora los Modelos de Lenguaje Multimodales de Difusión aprovechando la predicción de Taylor de segundo orden y el anclaje visual para vetar tokens inestables o débilmente anclados durante el proceso de generación agnóstico al orden, mejorando así significativamente la precisión del razonamiento sin entrenamiento ni costes adicionales.

Autores originales: Keuntae Kim, Beomseok Lee, Hyunwoo Kim, Yong Suk Choi

Publicado 2026-07-21

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Keuntae Kim, Beomseok Lee, Hyunwoo Kim, Yong Suk Choi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde las computadoras no solo leen palabras o miran imágenes, sino que realmente pueden entender cómo encajan para resolver acertijos. Esta es la emocionante frontera de los "Modelos de Lenguaje y Visión", un tipo de inteligencia artificial que actúa como un detective superinteligente, combinando lo que ve con lo que sabe. Durante mucho tiempo, estos detectives trabajaron como una persona escribiendo una historia palabra por palabra, de principio a fin. Este método, llamado generación "autorregresiva", es excelente para pensar paso a paso, pero tiene un gran defecto: si el detective comete un error al principio, no puede volver fácilmente atrás para corregirlo sin reescribir toda la historia. Simplemente siguen acumulando más errores sobre el primero.

Recientemente, los científicos descubrieron una nueva forma en que estos detectives de IA pueden trabajar, llamada "difusión". En lugar de escribir una historia desde cero, imagina que la IA comienza con una página llena de espacios en blanco (o "máscaras") y lentamente los va llenando, refinando sus suposiciones una y otra vez. Es como mirar una foto borrosa que se enfoca lentamente. Este nuevo método es más rápido y permite que la IA vea toda la imagen a la vez, corrigiendo errores sobre la marcha. Pero aquí está el truco: aunque este nuevo método es excelente en velocidad, a veces se confunde sobre qué completar primero. Podría elegir una palabra que suena bien pero que en realidad no coincide con la imagen, o podría quedarse estancada en una suposición que cambia de opinión cada segundo. La gran pregunta era: ¿cómo ayudamos a este nuevo tipo de IA a pensar con claridad y a aferrarse a la verdad sin ralentizarla o enseñarle nuevos trucos?

Entra ST-Veto, una estrategia ingeniosa propuesta por investigadores para ayudar a estos modelos de IA de "difusión" a pensar mejor. Piensa en el proceso de la IA como un grupo de amigos tratando de decidir qué pedir para cenar. En la forma antigua, elegirían un plato, lo dejarían fijo y pasarían al siguiente. En la nueva forma de difusión, todos gritan ideas al mismo tiempo y luego se ponen de acuerdo lentamente sobre las mejores. El problema es que, a veces, un amigo grita "¡Pizza!" porque suena divertido, pero luego cambia de opinión por "Ensalada" un segundo después, o tal vez simplemente ama la palabra "Pizza" pero la foto en el menú es claramente una hamburguesa.

ST-Veto actúa como un árbitro sabio que observa a todo el grupo. Utiliza dos herramientas especiales para decidir qué ideas son seguras de mantener y cuáles deben desecharse. Primero, comprueba la estabilidad. Pregunta: "¿Esta idea acaba de aparecer o ha sido constante?". Si una palabra cambia de opinión constantemente (como un amigo que dice "Pizza", luego "Tacos", luego "Pizza" otra vez), el árbitro utiliza un truque matemático llamado "predicción de Taylor" para detectar esa inestabilidad y dice: "No, eso es demasiado inestable, intentemos una opción diferente". Segundo, comprueba la vinculación visual. Mira la imagen y pregunta: "¿Esta palabra realmente coincide con lo que vemos?". Si la IA quiere decir "tenedor" pero la imagen muestra claramente un "cuchillo", el árbitro usa la "atención" para ver que la IA no está mirando realmente el cuchillo y veta la palabra "tenedor".

El artículo muestra que, al usar este método de "Veto y Cambio" (Veto-and-Swap), la IA puede intercambiar sus suposiciones tambaleantes o desajustadas por otras más seguras y precisas sin necesidad de ningún entrenamiento adicional ni ralentizar el proceso. Cuando los investigadores probaron esto en acertijos de razonamiento difíciles que involucran tanto imágenes como texto, ST-Veto ayudó a la IA a ser hasta un 9% más correcta de lo que era antes. Es como darle a la IA un par de gafas que le ayudan a ver qué ideas son sólidas y cuáles son solo fantasías, lo que conduce a respuestas más inteligentes, ya sea resolviendo problemas científicos o describiendo escenas complejas. Lo mejor de todo es que es una actualización gratuita que funciona ahora mismo, haciendo que estos poderosos nuevos modelos de IA sean mucho más confiables sin cambiar cómo fueron construidos.

Resumen Técnico: ST-Veto para dMLLMs de Difusión

Planteamiento del Problema

Los Modelos de Lenguaje Visual (VLMs) han demostrado sólidas capacidades de razonamiento mediante el uso de prompts de Cadena de Pensamiento (CoT), pero dependen de la generación Auto-Regresiva (AR). Este enfoque secuencial incurre en una alta latencia, sufre de acumulación de errores y carece de mecanismos robustos de autocorrección porque los modelos consumen sus propios outputs potencialmente erróneos como entrada.

Los Modelos de Lenguaje Multimodales de Difusión (dMLLMs) ofrecen una alternativa al generar tokens mediante un proceso de eliminación de ruido iterativo y agnóstico al orden. Este paradigma permite el modelado de contexto bidireccional y una potencial autocorrección. Sin embargo, los dMLLMs se encuentran actualmente en una etapa incipiente en cuanto al razonamiento. La investigación existente se ha centrado principalmente en longitudes de generación cortas, dejando incierta la capacidad de los dMLLMs para sostener un razonamiento de forma larga y no trivial. Además, las estrategias de prompting CoT estándar diseñadas para modelos AR no se trasladan eficazmente a la decodificación por difusión. Los métodos AR asumen un historial estable y secuencial donde las racionalizaciones intermedias condicionan los tokens subsecuentes; en contraste, los dMLLMs actualizan todas las posiciones de los tokens en paralelo. Consecuentemente, un token seleccionado como "confiable" en un solo paso puede ser inestable o tener un fundamento débil cuando se observa a través de toda la trayectoria de eliminación de ruido, lo que conduce a rutas de razonamiento poco fiables.

Metodología: ST-Veto

Los autores proponen ST-Veto (Spatio-Temporal Token Veto), un método de decodificación en tiempo de ejecución libre de entrenamiento, diseñado para mejorar el razonamiento en dMLLMs aprovechando la capacidad única de los modelos de difusión para observar todas las posiciones de los tokens a través de los pasos de tiempo. ST-Veto opera mediante una política de "Veto y Reemplazo" (Veto-and-Swap) que filtra los tokens no fiables antes de que se comprometan a la trayectoria de generación.

El método se basa en dos señales primarias para identificar los tokens que deben ser vetados:

Inestabilidad Temporal (Predicción de Taylor):
A diferencia de los modelos AR, los dMLLMs proporcionan visibilidad sobre la evolución de las puntuaciones de confianza para todas las posiciones enmascaradas a lo largo del tiempo. ST-Veto rastrea la puntuación de confianza $c(t)$ de un token a través de los pasos de difusión. Emplea una expansión de Taylor de segundo orden utilizando un historial local de 4 pasos ( $c(t-3)$ a $c(t)$ ) para predecir la confianza esperada en el siguiente paso ( $\hat{c}(t)$ ).
- El residuo de Taylor ( $e_i = c(t)_i - \hat{c}(t)_i$ ) mide la desviación de la trayectoria esperada.
- Los tokens con residuos negativos grandes (donde la confianza cae significativamente por debajo de lo esperado) son marcados como temporalmente inestables y vetados.
Anclaje Visual (Masa de Atención de Imagen):
Un token puede ser textualmente plausible pero estar semánticamente desconectado de la entrada visual. ST-Veto mide el anclaje visual agregando la masa de atención de imagen asignada a los tokens de imagen a través de capas específicas del Transformer intermedio ( $L/3, L/2, 2L/3$ ).
- La ratio de atención de imagen ( $\rho_i$ ) calcula la proporción de atención que un token dirige hacia los tokens de imagen.
- Los tokens con ratios de atención promedio bajos en estas capas son marcados como débilmente anclados y vetados.

Política de Veto y Reemplazo (Veto-and-Swap):
ST-Veto no simplemente rechaza los tokens; los reemplaza.

Criterios de Veto: Un token es vetado si su residuo temporal o su puntuación de anclaje visual se desvían negativamente de la distribución de la población (definida por estadísticas robustas: mediana y Desviación Absoluta de la Mediana).
Candidatos de Reemplazo: Los tokens vetados son reemplazados por candidatos "seguros". Estos candidatos deben satisfacer criterios más estrictos (alta estabilidad temporal y alto anclaje visual) y deben residir dentro de una "línea de candidatos" cerca del umbral de confianza de la selección top- $k$ original para evitar la introducción de ruido de baja confianza.
Ejecución: Si existen suficientes candidatos seguros, el modelo reemplaza los tokens vetados; de lo contrario, procede con reemplazos parciales o mantiene la selección original si no hay una alternativa mejor disponible.

Contribuciones Clave

Evaluación Sistemática del Razonamiento de dMLLM: Los autores demuestran que los métodos de razonamiento diseñados para VLMs auto-regresivos (por ejemplo, DDCoT, CCoT) fallan al transferirse eficazmente a la decodificación por difusión debido al desajuste fundamental entre el condicionamiento secuencial y el refinamiento iterativo paralelo.
Marco ST-Veto: La propuesta de una nueva estrategia de decodificación libre de entrenamiento que combina la dinámica de evolución de la confianza (vía predicción de Taylor) con señales de anclaje visual para guiar la selección de tokens.
Mejoras de Rendimiento: El método logra mejoras consistentes en múltiples modelos y benchmarks sin entrenamiento adicional ni aumento en los costos de generación.

Resultados Experimentales

El método fue evaluado en dos dMLLMs de última generación (LaViDa-Reason y MMaDA-MixCoT) a través de cuatro benchmarks: M3CoT, ScienceQA, MMBench y V*Bench.

Mejoras de Exactitud: ST-Veto superó consistentemente a las políticas de decodificación estándar (Base-Confidence, Base-Margin, Base-Entropy) y a los métodos previos de razonamiento de VLM adaptados para difusión.
- Las mejoras alcanzaron hasta un 9% en exactitud.
- Por ejemplo, en LaViDa con una longitud de generación de 256 tokens, ST-Veto mejoró las puntuaciones de M3CoT de 29.55 (Base) a 31.87, y MMBench de 31.55 a 38.25.
Eficiencia: Como se muestra en la Tabla 2, ST-Veto introduce una sobrecarga computacional insignificante en comparación con el modelo base. En contraste, adaptar los métodos basados en AR a la difusión a menudo requiere duplicar el costo de generación (dos pasadas de inferencia) para emular el razonamiento secuencial, mientras que ST-Veto opera dentro de un único proceso de inferencia de difusión.
Estudios de Ablación:
- Eliminar tanto el Veto de Taylor como el Veto de Atención de Imagen resultó en un menor rendimiento, confirmando que tanto la estabilidad temporal como el anclaje visual son necesarios.
- La predicción de Taylor de segundo orden (usando 4 pasos de historial) proporcionó el mejor equilibrio entre rendimiento y complejidad.
- Promediar las señales de atención a través de múltiples capas intermedias fue más robusto que usar una sola capa.

Significancia y Reivindicaciones

El artículo afirma que ST-Veto establece una base para el razonamiento nativo de difusión. Al explotar la visibilidad global de la evolución de los tokens inherente a los modelos de difusión, ST-Veto dirige la generación hacia rutas que son tanto temporalmente estables como visualmente ancladas.

Los autores enfatizan que su enfoque es modesto en su alcance:

Es una intervención de inferencia libre de entrenamiento, que no requiere actualizaciones de parámetros.
No elimina todos los riesgos de los sistemas generativos multimodales (por ejemplo, sesgo o alucinación), pero mejora la fiabilidad de la selección de tokens.
El método aborda una brecha estructural específica: la incapacidad de los dMLLMs actuales para mantener un razonamiento coherente bajo configuraciones de generación larga debido a la inestabilidad de la decodificación paralela.

El trabajo sugiere que las mejoras futuras en el razonamiento de dMLLM deberían centrarse en mecanismos adaptados al proceso de difusión (como el monitoreo de la dinámica de confianza y el anclaje visual) en lugar de intentar forzar dependencias secuenciales sobre un paradigma no secuencial.