Resumen Técnico: El Presupuesto de Dirección: Los Ejemplos superan a los Mandos

Planteamiento del Problema

Los modelos generativos se dirigen típicamente mediante "mandos" (knobs): prompts, escalas de guía o etiquetas de propiedades. Sin embargo, los profesionales observan un techo duro: empujar estos controles a sus límites a menudo no logra mover una propiedad objetivo (por ejemplo, el brillo de una imagen, la brecha de banda de un cristal) hasta la extensión deseada. El artículo postula que esta limitación no es un defecto de la arquitectura del modelo o de su proceso de entrenamiento, sino una restricción estructural impuesta por los propios datos de entrenamiento.

El problema central es distinguir entre dos tipos de operaciones de dirección:

1. Decir (Telling): Describir un objetivo mediante un prompt o etiqueta (por ejemplo, "perro brillante"). Esta es una operación conjuntiva que estrecha la distribución de salida al intersectar restricciones dentro de una categoría específica.
2. Mostrar (Showing): Proporcionar un conjunto de ejemplos y pedir "más como estos". Esta es una operación disyuntiva que une instancias diversas, permitiendo al modelo capturar objetivos que no pueden articularse con palabras o que requieren combinar propiedades opuestas.

El artículo argumenta que la brecha entre lo que "decir" puede lograr y lo que "mostrar" puede lograr no es incidental, sino un presupuesto fijo determinado por la estructura de la varianza de los datos de entrenamiento antes de que el modelo sea siquiera entrenado.

Metodología

Marco Teórico: El Presupuesto

Los autores definen el espacio de salida de un modelo generativo como algo ordenado en contenedores ($B$) basados en una etiqueta "barata" $P$ (por ejemplo, clase de imagen, química de cristales). Una propiedad "cara" $L$ (por ejemplo, puntuación estética, brecha de banda) varía dentro y entre estos contenedores.

La varianza total de $L$ en los datos de entrenamiento ($J$) se descompone utilizando la Ley de la Varianza Total en dos presupuestos distintos:

1. Presupuesto Intra-Contenedor ($T$): La varianza promedio de $L$ dentro de un solo contenedor. Esto representa el margen disponible para decir. Dado que decir opera reponderando las salidas dentro de un contenedor fijo, está estructuralmente confinado a este presupuesto.
2. Presupuesto Entre-Contenedores ($E$): La varianza de las medias de $L$ a través de diferentes contenedores. Esto representa el margen disponible para mostrar. Mostrar opera cambiando la mezcla de contenedores (la "receta" $P$) de los cuales se extrae el lote, permitiendo acceder a este presupuesto.

La varianza total es exactamente:
$$\text{Var}_J(L) = \underbrace{\sum_b w_b v_b}_{T \text{ (Intra)}} + \underbrace{\sum_b w_b (g_b - \bar{g})^2}_{E \text{ (Entre)}}$$
donde $w_b$ es la proporción del contenedor, $v_b$ es la varianza intra-contenedor y $g_b$ es la media del contenedor.

El Alcance de las Operaciones

El artículo deriva que el desplazamiento máximo que una operación puede lograr en la media de $L$ está acotado por $\sqrt{\chi^2} \times \text{Presupuesto}$, donde $\chi^2$ mide la desviación de la distribución original.

• Decir: Confinado a $T$. En la práctica, los mandos (como las escalas de guía) realizan un $\chi^2$ pequeño (cercano a 1), limitando su alcance aproximadamente a $T$.
• Mostrar: Accede a $E$. Al construir una receta que se desvía significativamente de la distribución de los datos, mostrar puede realizar un $\chi^2$ mucho mayor (a menudo $\sim 100$), permitiendo mover la media mucho más allá del alcance de cualquier mando.

Validación Empírica

Los autores prueban estas afirmaciones en dos dominios no relacionados:

1. Imágenes: Un transformador de difusión (DiT) entrenado en ImageNet. Los contenedores son las clases de ImageNet; los objetivos incluyen brillo, puntuación estética y puntuación de contenido CLIP.
2. Cristales: Un generador entrenado en una base de datos de materiales (Alexandria). Los contenedores son composiciones químicas; los objetivos incluyen brecha de banda, estabilidad y densidad.

Realizan una "auditoría barata" en los datos de entrenamiento para calcular $T$ y $E$ sin generar ninguna muestra, y luego verifican si los modelos reales se adhieren a estos presupuestos.

Contribuciones Clave

1. La Distinción de Presupuesto: Una cuenta cuantitativa precisa que divide la dirigibilidad de una propiedad en una parte de "decir" (intra-contenedor) y una de "mostrar" (entre-contenedores). Esta división es computable a partir de los datos de entrenamiento por sí sola, antes del entrenamiento del modelo.
2. La Observación AND/OR: Una formalización de que "decir" es conjuntivo (intersección/estrechamiento) mientras que "mostrar" es disyuntivo (unión/diversidad). Esto explica por qué mostrar puede alcanzar objetivos que involucran condiciones "o" o preferencias tácitas que no pueden nombrarse.
3. Lente Unificador de Modos de Fallo: El artículo reencuadra cuatro problemas familiares del modelado generativo —colapso de modo, la tasa de alineación (alignment tax), el hackeo de recompensa (reward hacking) y el fallo de la generalización compositiva— como un único desajuste estructural: intentar resolver un problema de "mostrar" (que requiere dispersión a nivel de colección) usando métodos de "decir" (optimización por salida individual).
4. Marco Predictivo: La capacidad de predecir a priori si un objetivo es alcanzable mediante mandos o si requiere ejemplos. Si la proporción entre-contenedores ($E/(E+T)$) es alta, los ejemplos son necesarios; si es baja, los mandos bastan.
5. Receta para la Dirección: Un método práctico para construir la "receta" óptima (mezcla de contenedores) para alcanzar un objetivo. Para objetivos de promedio, la receta se concentra en el mejor contenedor único; para objetivos de dispersión/cobertura, mezcla contenedores para cubrir el frente de Pareto.

Resultados

1. La División es Exacta y se Transfiere

• Exactitud: La descomposición de la varianza en $T$ y $E$ se mantuvo exactamente en ambos dominios.
• Transferencia: Para las propiedades que el modelo reproduce fielmente (por ejemplo, la densidad de los cristales, el brillo de las imágenes), el presupuesto calculado de los datos de entrenamiento predijo con precisión el comportamiento del modelo. Para las propiedades que el modelo tiene dificultades para reproducir (por ejemplo, la estabilidad de los cristales), la auditoría de datos fue un mal predictor, lo que requirió una auditoría directa de las salidas del modelo.

2. Los Ejemplos Superan a los Mandos (Cuando el Presupuesto lo Exige)

• Magnitud: En el dominio de los cristales, donde la proporción entre-contenedores era alta (por ejemplo, 0.98 para la brecha de banda), elegir químicas (mostrar) movió el objetivo 6.8 veces más lejos que el mando intra-química más fuerte posible.
• Límites de los Mandos: Incluso cuando se usaban los mandos más fuertes (por ejemplo, muestreo "best-of-12" o prompts suaves aprendidos), no pudieron igualar el alcance de mostrar en objetivos con alta varianza entre contenedores.
• Excepciones: En objetivos con baja varianza entre contenedores (por ejemplo, el brillo de las imágenes, donde $E/(E+T) \approx 0.17$), un mando aprendido fuerte sí superó a la simple mezcla de contenedores, confirmando la predicción del presupuesto de que los mandos son suficientes cuando la varianza del objetivo es mayoritariamente intra-contenedor.

3. Expresividad y Cobertura

• Objetivos Conjuntivos: Cuando se pidió un lote que cubriera dos propiedades opuestas (por ejemplo, "vehículos limpios" Y "comida limpia"), el "decir" (prompting) o la composición de condiciones resultó en un "medio turbio" (quimeras). Solo mostrar (mezclar un contenedor de vehículos y un contenedor de comida) produjo instancias genuinas de ambos.
• Dirección Tácita: El marco logró dirigir hacia "gustos" que los expertos podían demostrar pero no nombrar (por ejemplo, un estilo estético específico) mediante el uso de ejemplos para inferir la mezcla de contenedores, siempre que la clave barata (etiqueta de clase) pudiera distinguir los contenedores relevantes.

4. Efectos del Entrenamiento

El artículo demuestra que el ajuste fino estándar (filtrado, RLHF) remodela el presupuesto de manera predecible. Sin embargo, si el ajuste fino es demasiado agresivo y el modelo abandona su distribución de entrenamiento, el presupuesto del lado de los datos ya no se aplica y el modelo debe ser auditado directamente.

Significado y Reivindicaciones

El artículo afirma que el "Presupuesto de Dirección" proporciona una comprensión fundamental y agnóstica al modelo de la dirección generativa:

• Predictibilidad: Los profesionales pueden medir el presupuesto en los datos de entrenamiento para saber de antemano si necesitan cambiar de la técnica de prompting a la dirección basada en ejemplares.
• Explicación Estructural: Explica por qué la optimización por salida individual (el estándar en RLHF y ajuste fino) conduce inevitablemente a una pérdida de variedad (colapso de modo) porque colapsa la dispersión entre contenedores ($E$), que es la única fuente de diversidad a nivel de colección.
• Expresividad: Valida que "mostrar" es el único mecanismo capaz de dirigir hacia objetivos que son inherentemente disyuntivos o tácitos, ya que estos objetivos viven en el presupuesto entre-contenedores al que "decir" no puede acceder.

Los autores enfatizan que esto no es una nueva técnica de generación, sino un relato cuantitativo de los límites y capacidades de las técnicas existentes (prompts vs. ejemplos), derivado directamente de las propiedades estadísticas de los datos.