Resumen Técnico: Las ideas en el escalado en tiempo de inferencia pueden beneficiar a los algoritmos de preentrenamiento generativo

Planteamiento del Problema

El campo del preentrenamiento generativo se ve actualmente obstaculizado por una "falsa dicotomía" conceptual que categoriza a los modelos estrictamente como autorregresivos (para señales discretas) o de difusión (para señales continuas). Los autores argumentan que esta distinción es engañosa porque confunde familias de modelos con representaciones de datos, objetivos de entrenamiento y procedimientos de inferencia.

El problema central identificado es que el progreso algorítmico actual se ha estancado porque los investigadores suelen priorizar los objetivos de entrenamiento (por ejemplo, entropía cruzada frente a la estimación de puntuación de eliminación de ruido o denoising score matching) sin asegurar primero que el procedimiento de inferencia sea capaz de escalar eficientemente. Específicamente, el artículo sostiene que:

1. La capacidad de inferencia suele ser limitada: Los objetivos de entrenamiento no pueden compensar mapas de inferencia que omiten argumentos necesarios (por ejemplo, pasos de tiempo objetivo) o que imponen supuestos de factorización incorrectos (por ejemplo, la independencia ingenua en la predicción de múltiples tokens).
2. Escalado desalineado: El campo carece de un marco unificado para el "escalado en tiempo de inferencia", el cual debe verse a lo largo de dos ejes distintos: expansión de la secuencia (crecer el contenido de salida) y refinamiento del estado (revisar el estado actual).

Metodología y Marco de Trabajo

El artículo propone un nuevo marco analítico que prioriza el diseño del procedimiento de inferencia antes que el objetivo de entrenamiento. Define dos ejes primarios de escalado en tiempo de inferencia:

1. Expansión de la Secuencia: Aumentar el número de tokens, posiciones o pasos de razonamiento generados. Este es el mecanismo principal de escalado para los modelos autorregresivos (por ejemplo, LLMs), donde el cómputo escala con la longitud de la generación.
2. Refinamiento del Estado: Actualizar repetidamente un objeto existente sin necesariamente aumentar su longitud. Este es el mecanismo principal de escalado para los modelos de difusión, donde el cómputo escala con el número de pasos de eliminación de ruido o de resolución (solver) para reducir el error de discretización.

Los autores argumentan que estos ejes no son exclusivos de familias de modelos específicas. En su lugar, el contraste significativo es entre tokens discretos aprendidos con entropía cruzada frente a tokens continuos aprendidos con objetivos de estilo difusión, combinados con los algoritmos de inferencia específicos utilizados para muestrearlos.

Análisis Técnico Clave

El artículo aplica este enfoque de "inferencia primero" a tres áreas específicas para demostrar cómo los métodos actuales fallan o tienen éxito basándose en su parametrización de inferencia:

1. Limitaciones de DDIM y el argumento del Tiempo Objetivo

• El Problema: Los muestreadores estándar de tipo DDIM (bajo formulaciones de flujo rectificado) definen una actualización de un paso $x_s = x_t + (s-t)v_\theta(x_t, t)$. La red de velocidad $v_\theta$ típicamente solo recibe el estado actual $x_t$ y el tiempo de origen $t$.
• El Defecto: La red carece del tiempo objetivo $s$ como entrada. Matemáticamente, la derivada parcial $\frac{\partial DDIM}{\partial s} = v_\theta(x_t, t)$ es independiente de $s$. Esto significa que el modelo carece de la capacidad de aprender una función que mapee $x_t$ a un $s$ específico en un solo paso, independientemente del objetivo de entrenamiento (incluso con el entrenamiento de consistencia).
• La Solución: Inyectar el tiempo objetivo $s$ en las entradas de la red permite al modelo aproximar el salto directo a la solución. Esta simple modificación, combinada con el Coincidencia de Momentos Inductiva (IMM), permite algoritmos de etapa única estables que superan a los modelos de difusión en calidad, siendo un orden de magnitud más eficientes.

2. Predicción de Múltiples Tokens (MTP) y Distribuciones Conjuntas

• El Problema: MTP busca reducir la latencia prediciendo múltiples tokens en paralelo. Sin embargo, las implementaciones actuales suelen muestrear estos tokens de forma independiente (supuesto de Bayes ingenuo), fallando al representar la distribución conjunta de los tokens.
• El Defecto: El muestreo independiente ignora las correlaciones entre tokens (por ejemplo, en una lista de manos de póker, "carta alta" y "par doble" son válidas, pero "casa alta" no lo es). Esto crea un límite de capacidad donde el modelo no puede generar combinaciones válidas incluso si las probabilidades marginales son correctas.
• Intentos de Solución Actuales: Métodos como el decodificación especulativa propia o el descarte de cabezales MTP durante la inferencia intentan "corregir" esta limitación de capacidad de manera heurística.
• La Implicación: La verdadera eficiencia requiere un algoritmo de inferencia que tenga en cuenta las dependencias de los tokens, potencialmente a través de una autorevisión suave o prediciendo directamente las dependencias de los tokens, en lugar de depender del muestreo de rechazo o correcciones post-hoc.

3. Mapas de Flujo e Inferencia de Largo Alcance

• El Cambio: La literatura reciente (por ejemplo, Flow Map Matching de Boffi et al.) sugiere que la generación eficiente de pocos pasos debe aprender un mapa de transporte de dos tiempos (de $t$ a $s$) en lugar de solo un campo de velocidad infinitesimal.
• La Perspectiva: En lugar de integrar numéricamente un campo vectorial local, el modelo debería parametrizar directamente movimientos de inferencia de largo alcance. Esto incluye métodos como Modelos de Atajo (Shortcut Models), Flujos Medios (Mean Flows) y Coincidencia de Distribución de Trayectoria (TDM).
• El Principio: Estos métodos comparten una forma de inferencia común: aprenden el transporte finito inducido por la dinámica local directamente, haciendo que los saltos largos sean tratables dentro de la clase del modelo.

Contribuciones Clave

1. Reencuadre de la Dicotomía: El artículo establece que el contraste fundamental en la IA generativa no es "autorregresivo vs. difusión", sino la interacción entre la representación de datos (discreto/continuo), el objetivo de aprendizaje (entropía cruzada/difusión) y el procedimiento de inferencia (expansión/refinamiento).
2. Principio de Diseño de Inferencia Primero: Sostiene que los métodos de entrenamiento no pueden arreglar fallos fundamentales en el mapa de inferencia. Si el muestreador omite argumentos necesarios (como la variable de tiempo objetivo) o impone factorizaciones incorrectas, ningún objetivo de entrenamiento podrá resolver completamente los límites de capacidad resultantes.
3. Ejes de Escalado Unificados: Introduce la "expansión de la secuencia" y el "refinamiento del estado" como métricas universales para evaluar algoritmos de preentrenamiento generativo, aplicables tanto en dominios discretos como continuos.
4. Diagnóstico Técnico: Proporciona diagnósticos matemáticos específicos de por qué los muestreadores DDIM estándar fallan en la generación de pocos pasos sin la condicionación del tiempo objetivo y por qué la predicción de múltiples tokens ingenua falla al capturar distribuciones conjuntas.

Resultados y Evidencia

El artículo no presenta nuevos resultados experimentales generados por los autores, sino que sintetiza evidencia de la literatura reciente para respaldar sus afirmaciones:

• Coincidencia de Momentos Inductiva (IMM): Cita a [ZES25] para mostrar que añadir el tiempo objetivo $s$ a la entrada y utilizar la coincidencia de momentos crea un algoritmo de etapa única que es >10 veces más eficiente en la inferencia que la difusión estándar, manteniendo la calidad de la muestra.
• Literatura de Mapas de Flujo: Cita trabajos de Boffi, Albergo y Vanden-Eijnden [BAVE24, BAVE25] y otros para demostrar que aprender mapas de transporte de dos tiempos (mapas de flujo) es un objeto más natural para la generación de pocos pasos que integrar campos de velocidad locales.
• Limitaciones de la Decodificación en Paralelo: Cita [KGO+25, ZGZ+26] para mostrar que la decodificación en paralelo en LLMs de difusión a menudo degrada la calidad en casos con alta dependencia debido a aproximaciones factorizadas, validando la necesidad de algoritmos de inferencia que respeten las dependencias de los tokens.

Significado y Reivindicaciones

El artículo afirma que el campo debe cambiar su enfoque de optimizar los objetivos de entrenamiento de forma aislada a diseñar procedimientos de inferencia que sean escalables y expresivos.

• Reivindicación Modesta: Los autores no afirman haber resuelto todos los problemas generativos. En su lugar, argumentan que "el progreso algorítmico debería priorizar la eficiencia en el tiempo de inferencia a lo largo de dos ejes: expansión de la secuencia y refinamiento del estado".
• Imperativo de Diseño: La conclusión central es que los algoritmos de preentrenamiento deben diseñarse teniendo en cuenta el procedimiento de inferencia primero. Si un mapa de inferencia es estructuralmente incapaz de representar la distribución objetivo (por ejemplo, si falta la variable de tiempo objetivo o si asume independencia donde no existe), el entrenamiento no puede compensar esa carencia.
• Dirección Futura: El artículo aboga por que los futuros algoritmos de preentrenamiento generativo sean juzgados por la eficiencia con la que escalan a lo largo de los ejes de expansión de secuencia y refinamiento de estado, y si sus parametrizaciones de inferencia pueden representar movimientos de estado de largo alcance, estables y eficientes en su espacio de estado elegido.

En resumen, el artículo postula que la próxima generación de modelos generativos no vendrá simplemente de escalar las arquitecturas actuales de difusión o autorregresivas, sino de reingenierizar la mecánica de inferencia para permitir transiciones de estado y expansiones de secuencia eficientes y de largo alcance.