Resumen Técnico: Control de Acción Latente para Generación Unificada de Imágenes Guiada por Razonamiento

Enunciado del Problema

Los modelos multimodales unificados han integrado con éxito la comprensión visual y la generación de imágenes dentro de backbones compartidos. Sin embargo, persiste una "brecha entre comprensión y generación": los modelos pueden inferir correctamente objetos, relaciones o restricciones durante la fase de comprensión, pero fallan al instanciarlos fielmente en la imagen generada. Los enfoques existentes para cerrar esta brecha suelen externalizar el razonamiento como planes en lenguaje natural, listas de verificación textuales o instrucciones de edición iterativas. Estos métodos tratan el razonamiento como artefactos externos a la dinámica del estado oculto del generador, requiriendo una reinterpretación como señales de condicionamiento. Alternativamente, los métodos de razonamiento latente trasladan la deliberación a espacios continuos, pero a menudo fallan al formular estos estados como acciones ejecutables específicas de un rol que dirijan directamente la síntesis. En consecuencia, existe una interfaz de control faltante para convertir las restricciones inferidas en señales de condicionamiento en tiempo de generación antes de que comience la síntesis visual.

Metodología: Control de Acción Latente (LAC)

Los autores proponen el Control de Acción Latente (LAC), un marco que transforma el razonamiento en una interfaz de control interna para la generación unificada de imágenes. En lugar de decodificar el razonamiento en texto, LAC emite acciones latentes continuas que se reescriben en el flujo oculto del modelo para condicionar el proceso de generación.

1. Control de Acción Latente Estructurado por Roles

LAC opera desplegando una trayectoria de acción latente $Z$ organizada en cuatro roles distintos y ordenados:

• Planificación: Planificación de la intención global.
• Borrador: Formación de una hipótesis visual interna (paso único, sin emisión de imagen intermedia).
• Diagnóstico: Diagnóstico de fallos.
• Refinamiento: Refinamiento dirigido.

Estas acciones son vectores continuos ($z \in \mathbb{R}^d$) inyectados en el flujo oculto de un generador unificado (implementado en BAGEL-7B-MoT). La longitud de la trayectoria es variable, determinada por una cabeza de parada aprendida, y el proceso concluye con un token testigo. El modelo condiciona la generación posterior de imágenes basada en flujo sobre los estados ocultos resultantes de este despliegue latente.

2. Alineación de Acción Latente Variacional Guiada por Priori

Dado que las trayectorias de acción de verdad fundamental no están disponibles, LAC emplea una estrategia de alineación variacional de acción latente guiada por priori durante el entrenamiento:

• Señales del Profesor: Los registros estructurados del profesor (para planificación, diagnóstico, refinamiento) se renderizan como imágenes compactas de estilo documental y se codifican como incrustaciones objetivo densas. Para el rol de "borrador", los objetivos se derivan de las características visuales de imágenes candidatas imperfectas.
• Objetivo Variacional: El modelo aprende una política autoregresiva $q_\theta$ para muestrear acciones. Se construye una priori Gaussiana de varianza fija a partir de las señales del profesor ($E$). La política se entrena para alinear su despliegue muestreado con estas prioris utilizando una pérdida variacional ($L_{var}$), asegurando que las acciones sean ejecutables sin inyectar directamente las señales del profesor como entradas durante la inferencia.
• Ajuste Fino Supervisado (SFT): El objetivo total combina la alineación variacional, una pérdida de ancla léxica (para anclar los estados latentes en la semántica), una pérdida de parada supervisada y una pérdida de coincidencia de flujo de imágenes.

3. GRPO de Flujo-Latente Alineado con Resultados (LF-GRPO)

Para optimizar las acciones latentes basándose en la calidad final de la imagen en lugar de solo en las prioris locales del profesor, los autores introducen el GRPO de Flujo-Latente (LF-GRPO).

• Mecanismo: Para un prompt dado, se muestrea un grupo de despliegues. Cada despliegue consiste en una trayectoria de acción latente y una trayectoria de generación basada en flujo.
• Recompensa: Se calcula una recompensa de imagen terminal para la imagen generada final.
• Asignación de Crédito: Utilizando la Ventaja Relativa de Grupo (GRPO), la recompensa terminal se asigna como una señal de ventaja compartida tanto a las acciones latentes continuas como a las transiciones de generación basada en flujo. Esto permite que la retroalimentación a nivel de imagen moldee la trayectoria de acción oculta, alineando los pasos de planificación, borrador, diagnóstico y refinamiento con el resultado visual final.

Contribuciones Clave

1. Formulación del Razonamiento como Control: El artículo formula el razonamiento en la generación unificada de imágenes como Control de Acción Latente, donde acciones continuas específicas de un rol convierten las restricciones inferidas en señales de condicionamiento en tiempo de generación, manteniendo la deliberación dentro del espacio continuo oculto.
2. Alineación Guiada por Priori y LAC-15K: Los autores introducen una metodología de entrenamiento que utiliza alineación variacional guiada por priori y construyen LAC-15K, un conjunto de datos estructurado por roles que proporciona prioris semánticas renderizadas, objetivos de borrador visual y señales de parada supervisadas.
3. Objetivo LF-GRPO: Un objetivo novedoso a nivel de resultados que optimiza conjuntamente las acciones latentes ocultas y las transiciones de generación basada en flujo bajo recompensas de imagen terminal compartidas, permitiendo que el generador aprenda a utilizar el razonamiento latente para mejorar la síntesis.

Resultados Experimentales

El método se evaluó en GenEval (generación composicional) y WISE (generación fundamentada en conocimiento del mundo), utilizando BAGEL-7B-MoT como base.

• GenEval: LAC mejoró la puntuación general de 0.77 (línea base BAGEL) a 0.82. Las ganancias fueron más significativas en categorías sensibles a restricciones: Posición (+0.11), Colores (+0.13) y Atributo de Color (+0.05). Con prompts reescritos por LLM, la puntuación alcanzó 0.90.
• WISE: LAC mejoró la puntuación ponderada general de 0.49 a 0.54, con ganancias notables en Biología (+0.18) y Química (+0.07).
• Estudios de Ablación:
  • Ruta de Entrenamiento: Eliminar las prioris semánticas renderizadas o la anclaje visual del borrador (Latent-SFTNR) no resultó en mejoras sobre la línea base, confirmando que la naturaleza específica de las prioris es crucial.
  • Intervención Latente: Reemplazar las acciones latentes aprendidas con vectores cero o vectores aleatorios causó caídas significativas en el rendimiento (por ejemplo, -7.92 en GenEval), demostrando que el generador consume activamente estas acciones. Desordenar el orden de los roles también degradó el rendimiento, validando la necesidad funcional de la estructura planificación-borrador-diagnóstico-refinamiento.
  • Eliminación de Roles: Eliminar el rol de "borrador" causó la mayor caída, destacando la importancia de las hipótesis visuales internas para la vinculación de atributos y el seguimiento de objetos.

Significado y Afirmaciones

El artículo afirma que la generación unificada de imágenes se beneficia significativamente cuando la comprensión no es meramente codificada, sino hecha accionable durante el proceso de generación. Al convertir las restricciones inferidas en una trayectoria de acción oculta y ordenada, LAC proporciona una ruta de control directa desde el razonamiento hasta la síntesis. Los resultados sugieren que la "brecha entre comprensión y generación" puede estrecharse tratando el razonamiento como una interfaz de control interna y ejecutable en lugar de un artefacto textual externo. Los autores señalan que, aunque el enfoque muestra ganancias consistentes, actualmente depende de prioris derivadas de un profesor y requiere más trabajo para reducir la dependencia del profesor y mejorar la eficiencia del aprendizaje por refuerzo.