Resumen Técnico: TAG: Guía de Amplificación Tangencial para Muestreo Resistente a Alucinaciones

1. Planteamiento del Problema

Los modelos de difusión han logrado un rendimiento de vanguardia en la generación de imágenes, pero a menudo sufren de alucinaciones, definidas como inconsistencias semánticas o violaciones de la distribución de datos (por ejemplo, imposibilidades anatómicas como dedos extra, u objetos mezclados). Investigaciones recientes sugieren que estos errores provienen de la interpolación de modos, donde las trayectorias de muestreo atraviesan valles de baja densidad entre modos distintos de la distribución de datos, lo que conduce a desajustes de atributos e inconsistencias estructurales.

Los métodos existentes de guía en tiempo de inferencia, como la Guía Libre de Clasificador (CFG) y sus variantes, suelen depender de la escalado residual entre las ramas condicional y incondicional. Aunque son efectivos, estos métodos son en gran medida desconocedores de la geometría; aplican una magnificación escalar única al residual sin tener en cuenta la estructura direccional local de la distribución de datos. Esto puede distorsionar inadvertidamente la trayectoria de eliminación de ruido, causando una deriva fuera de la variedad o un suavizado excesivo. Además, muchas soluciones existentes requieren señales externas, modificaciones arquitectónicas o evaluaciones adicionales de eliminación de ruido, lo que añade una sobrecarga computacional significativa.

2. Metodología: Guía de Amplificación Tangencial (TAG)

Los autores proponen la Guía de Amplificación Tangencial (TAG), un método de guía libre de entrenamiento, agnóstico a la arquitectura y de tipo "plug-and-play" que opera puramente sobre señales de trayectoria. TAG se basa en la descomposición geométrica del paso de actualización de muestreo.

Concepto Central

Basándose en la identidad de Tweedie y el teorema del anillo gaussiano, los autores observan que la región de alta probabilidad de una distribución corrupta yace en una cáscara esférica delgada (una variedad de datos ruidosa, $M_k$). La actualización de muestreo puede descomponerse en:

1. Componente Radial (Normal): Mueve el estado a lo largo del radio, dictado por el programa de ruido.
2. Componente Tangencial: Mueve el estado a lo largo de la variedad, preservando el radio mientras refina la estructura semántica.

Los autores hipotetizan que el componente tangencial porta información rica en estructura y semántica, mientras que el componente normal es en gran medida ruido no estructurado. Amplificar el componente tangencial dirige la trayectoria hacia regiones de mayor densidad de la variedad de datos sin alterar la progresión radial.

Algoritmo

Dado un incremento de solucionador base $\Delta_{k+1}$ (por ejemplo, de DDIM) en el paso de tiempo $k+1$:

1. Proyección: La actualización se descompone utilizando proyectores sobre la dirección radial ($P_{M_{k+1}}$) y la dirección tangencial ortogonal ($P^\perp_{M_{k+1}}$) con respecto al estado actual $x_{k+1}$.
   • $P_{M_{k+1}} = \hat{x}_{k+1}\hat{x}_{k+1}^\top$
   • $P^\perp_{M_{k+1}} = I - P_{M_{k+1}}$
2. Amplificación: El componente tangencial se amplifica por un factor $\eta \ge 1$, mientras que el componente radial permanece sin cambios.
   • $x_k \leftarrow x_{k+1} + P_{M_{k+1}}\Delta_{k+1} + \eta P^\perp_{M_{k+1}}\Delta_{k+1}$

Justificación Teórica

El artículo proporciona un análisis de Taylor de primer orden que muestra que amplificar el componente tangencial aumenta monótonamente la ganancia de verosimilitud logarítmica de primer orden. Específicamente, el Teorema 4.1 demuestra que aumentar $\eta$ dirige la trayectoria de muestreo hacia regiones de mayor densidad del modelo, reduciendo así los artefactos fuera de la variedad (alucinaciones) mientras se preserva la calibración radial necesaria para una eliminación de ruido adecuada.

Extensión a CFG

Para la Guía Libre de Clasificador, los autores abordan la incoherencia entre las predicciones condicional e incondicional. Proponen alinear la predicción condicional con el residual tangencial (la diferencia entre las puntuaciones condicional e incondicional proyectadas sobre el espacio tangente). Esta reconciliación reduce el desajuste que a menudo degrada la calidad de generación en la CFG estándar.

3. Contribuciones Clave

• Perspectiva Geométrica: El artículo establece un vínculo concreto entre la geometría intrínseca de la función de puntuación y la calidad de la muestra, demostrando que amplificar los componentes tangenciales dirige el muestreo hacia la variedad dentro de la distribución.
• Algoritmo TAG: Introducción de un algoritmo fundamentado teóricamente, computacionalmente ligero y agnóstico a la arquitectura que realiza este principio geométrico. No requiere reentrenamiento, evaluaciones adicionales de red ni cambios arquitectónicos.
• Compatibilidad "Plug-and-Play": TAG está diseñado para integrarse perfectamente con solucionadores y métodos de guía existentes (por ejemplo, PAG, SEG, SSG) como un paso de postprocesamiento en el vector de actualización.

4. Resultados Experimentales

Los autores evaluaron TAG en varias bases de Stable Diffusion (v1.5, v2.1, XL, 3) y modelos modernos (Qwen-Image, Wan2.2 video) utilizando el conjunto de datos COCO 2014 y T2I-CompBench.

• Mejoras Cuantitativas:
  • Generación Incondicional: TAG mejoró consistentemente el FID (por ejemplo, SD v1.5: 58.41 $\to$ 46.20) y el CMMD en todas las bases sin aumentar el número de evaluaciones de función (NFEs).
  • Generación Condicional: TAG mejoró la fidelidad de la muestra y la alineación con el prompt (ImageReward, CLIP-Score) en SD v1.5, v2.1, XL y 3.
  • Reducción de Alucinaciones: En T2I-CompBench (subconjuntos Espacial y Complejo), TAG mejoró las métricas de fidelidad composicional, indicando una reducción en alucinaciones estructurales (por ejemplo, colocación incorrecta de objetos o relaciones) en lugar de solo cambios de estilo perceptual.
  • Generación de Video: Aplicado a Wan2.2, TAG mejoró el grado dinámico, la calidad de imagen y la consistencia temporal, reduciendo artefactos estructurales en escenas complejas.
• Eficiencia:
  • TAG añade una sobrecarga computacional negligible (aprox. +9.4% de latencia) en comparación con las líneas base, ya que solo involucra proyecciones vectoriales ligeras.
  • En contraste, métodos como PAG (Guía de Atención Perturbada) casi duplican la latencia (+112.8%) debido a evaluaciones adicionales de UNet.
• Compatibilidad: Apilar TAG sobre métodos de guía existentes (PAG, SEG, SSG) produjo mejoras adicionales en FID y puntuaciones de preferencia humana, demostrando su ortogonalidad con la guía basada en residuos.

5. Significado y Afirmaciones

El artículo afirma que TAG ofrece una visión geométrica de las alucinaciones, identificándolas como una falla para mantenerse en la variedad de datos durante la interpolación de modos. Al aislar y amplificar el componente tangencial de la actualización, TAG corrige efectivamente la trayectoria de muestreo hacia regiones de alta densidad.

Los autores enfatizan que TAG es un refinamiento complementario en lugar de un reemplazo para los solucionadores existentes. Mejora la calidad de la muestra y reduce las alucinaciones con un costo computacional mínimo, lo que lo hace adecuado para su integración en pipelines existentes. El artículo nota modestamente que, aunque el análisis teórico establece una ganancia de verosimilitud local de primer orden, no caracteriza completamente el comportamiento de la trayectoria inversa durante todo el proceso de muestreo. Se sugiere trabajo futuro para explorar la escalado adaptativo y estimaciones de geometría de variedad local más complejas.