Resumo Técnico: O Orçamento de Direcionamento: Exemplos superam Botões

Declaração do Problema

Modelos generativos são tipicamente direcionados usando "botões" (knobs) — prompts, escalas de orientação ou tags de propriedades. No entanto, os praticantes observam um teto rígido: levar esses controles ao limite frequentemente falha em mover uma propriedade alvo (ex: brilho de imagem, band gap de cristal) até a extensão desejada. O artigo postula que essa limitação não é uma deficiência da arquitetura do modelo ou do processo de treinamento, mas uma restrição estrutural imposta pelos próprios dados de treinamento.

O problema central é distinguir entre dois tipos de operações de direcionamento:

1. Dizer (Telling): Descrever um alvo via prompt ou tag (ex: "cachorro brilhante"). Esta é uma operação conjuntiva que estreita a distribuição de saída ao interseccionar restrições dentro de uma categoria específica.
2. Mostrar (Showing): Fornecer um conjunto de exemplos e pedir por "mais como estes". Esta é uma operação disjuntiva que une instâncias diversas, permitindo que o modelo capture alvos que não podem ser articulados em palavras ou que exigem a combinação de propriedades opostas.

O artigo argumenta que a lacuna entre o que o "dizer" pode alcançar e o que o "mostrar" pode alcançar não é incidental, mas um orçamento (budget) fixo determinado pela estrutura de variância dos dados de treinamento antes mesmo do modelo ser treinado.

Metodologia

Estrutura Teórica: O Orçamento

Os autores definem o espaço de saída de um modelo generativo sendo organizado em compartimentos (bins, $B$) baseados em um rótulo "barato" $P$ (ex: classe de imagem, química de cristal). Uma propriedade "cara" $L$ (ex: pontuação estética, band gap) varia dentro e entre esses compartimentos.

A variância total de $L$ nos dados de treinamento ($J$) é decomposta usando a Lei da Variância Total em dois orçamentos distintos:

1. Orçamento Intra-Compartimento ($T$): A variância média de $L$ dentro de um único compartimento. Isso representa a margem disponível para o dizer. Como o "dizer" opera reponderando saídas dentro de um compartimento fixo, ele está estruturalmente confinado a este orçamento.
2. Orçamento Entre-Compartimentos ($E$): A variância das médias de $L$ através de diferentes compartimentos. Isso representa a margem disponível para o mostrar. O "mostrar" opera mudando a mistura de compartimentos (a "receita" $P$) da qual o lote é extraído, permitindo acessar este orçamento.

A variância total é exatamente:
$$\text{Var}_J(L) = \underbrace{\sum_b w_b v_b}_{T \text{ (Intra)}} + \underbrace{\sum_b w_b (g_b - \bar{g})^2}_{E \text{ (Entre)}}$$
onde $w_b$ é a participação do compartimento, $v_b$ é a variância intra-compartimento e $g_b$ é a média do compartimento.

O Alcance das Operações

O artigo deriva que o deslocamento máximo que uma operação pode alcançar na média de $L$ é limitado por $\sqrt{\chi^2} \times \text{Orçamento}$.

• Dizer: Confinado a $T$. Na prática, botões (como escalas de orientação) realizam um $\chi^2$ pequeno (próximo de 1), limitando seu alcance a aproximadamente $T$.
• Mostrar: Acessa $E$. Ao construir uma receita que se desvia significamente da distribuição de dados, o "mostrar" pode realizar um $\chi^2$ muito maior (frequentemente $\sim 100$), permitindo mover a média muito além do alcance de qualquer botão.

Validação Empírica

Os autores testam essas afirmações em dois domínios não relacionados:

1. Imagens: Um transformador de difusão (DiT) treinado no ImageNet. Os compartimentos são as classes do ImageNet; os alvos incluem brilho, pontuações estéticas e pontuações de conteúdo CLIP.
2. Cristais: Um gerador treinado em um banco de dados de materiais (Alexandria). Os compartimentos são composições químicas; os alvos incluem band gap, estabilidade e densidade.

Eles realizam uma "auditoria barata" nos dados de treinamento para calcular $T$ e $E$ sem gerar nenhum exemplo, e então verificam se modelos reais aderem a esses orçamentos.

Contribuições Principais

1. A Distinção de Orçamento: Uma conta precisa e quantitativa que divide a direcionabilidade de uma propriedade em uma parte de "dizer" (intra-compartimento) e uma parte de "mostrar" (entre-compartimentos). Esta divisão é computável a partir dos dados de treinamento isoladamente, antes do treinamento do modelo.
2. A Observação AND/OR: Uma formalização de que o "dizer" é conjuntivo (interseção/estreitamento) enquanto o "mostrar" é disjuntivo (união/diversidade). Isso explica por que o "mostrar" pode alcançar alvos que envolvem condições "ou" ou preferências tácitas que não podem ser nomeadas.
3. Lente Unificadora sobre Modos de Falha: O artigo reformula quatro problemas familiares de modelagem generativa — colapso de modo (mode collapse), a taxa de alinhamento (alignment tax), exploração de recompensa (reward hacking) e falha de generalização composicional — como um único desajuste estrutural: tentar resolver um problema de "mostrar" (que requer dispersão ao nível de coleção) usando métodos de "dizer" (otimização por saída individual).
4. Estrutura Preditiva: A capacidade de prever a priori se um alvo é alcançável por botões ou se requer exemplos. Se a participação entre-compartimentos ($E/(E+T)$) for alta, exemplos são necessários; se for baixa, botões bastam.
5. Receita para Direcionamento: Um método prático para construir a "receita" ótima (mistura de compartimentos) para atingir um alvo. Para objetivos de média, a receita concentra-se no melhor compartimento único; para objetivos de dispersão/cobertura, ela mistura compartimentos para cobrir a fronteira de Pareto.

Resultados

1. A Divisão é Exata e se Transfere

• Exatidão: A decomposição da variância em $T$ e $E$ manteve-se exata em ambos os domínios.
• Transferência: Para propriedades que o modelo reproduz fielmente (ex: densidade de cristal, brilho de imagem), o orçamento calculado a partir dos dados de treinamento previu com precisão o comportamento do modelo. Para propriedades que o modelo tem dificuldade em reproduzir (ex: estabilidade de cristal), a auditoria de dados foi um preditor ruim, necessitando de uma auditoria direta das saídas do modelo.

2. Exemplos Superam Botões (Quando o Orçamento Exige)

• Magnitude: No domínio dos cristais, onde a participação entre-compartimentos era alta (ex: 0,98 para band gap), escolher químicas (mostrar) moveu o alvo 6,8 vezes mais longe do que o botão mais forte possível dentro da mesma química.
• Limites dos Botões: Mesmo usando os botões mais fortes (ex: amostragem "best-of-12" ou prompts suaves aprendidos), eles não conseguiram igualar o alcance do "mostrar" em alvos de alta variância entre-compartimentos.
• Exceções: Em alvos de baixo entre-compartimento (ex: brilho de imagem, onde $E/(E+T) \approx 0,17$), um botão aprendido forte foi superior à simples mistura de compartimentos, confirmando a previsão do orçamento de que botões são suficientes quando a variância do alvo é majoritariamente intra-compartimento.

3. Expressividade e Cobertura

• Objetivos Conjuntivos: Quando solicitados a gerar um lote cobrindo duas propriedades opostas (ex: "veículos limpos" E "comida limpa"), o "dizer" (prompting) ou a composição de condições resultou em um "meio turvo" (quimeras). Apenas o mostrar (misturando um compartimento de veículos e um de comida) produziu instâncias genuínas de ambos.
• Direcionamento Tácito: O framework direcionou com sucesso para "gostos" que especialistas podiam demonstrar mas não nomear (ex: um estilo estético específico) ao usar exemplos para inferir a mistura de compartimentos, desde que a chave barata (rótulo da classe) pudesse distinguir os compartimentos relevantes.

4. Efeitos do Treinamento

O artigo demonstra que o ajuste fino padrão (filtragem, RLHF) remodela o orçamento de forma previsível. No entanto, se o ajuste fino for agressivo demais e o modelo deixar completamente sua distribuição de treinamento, o orçamento do lado dos dados não se aplica mais, e o modelo deve ser auditado diretamente.

Significância e Alegações

O artigo afirma que o "Orçamento de Direcionamento" fornece uma compreensão fundamental e agnóstica de modelo sobre o direcionamento generativo:

• Previsibilidade: Praticantes podem medir o orçamento nos dados de treinamento para saber antecipadamente se precisam mudar de prompting para direcionamento baseado em exemplares.
• Explicação Estrutural: Explica por que a otimização por saída individual (o padrão em RLHF e ajuste fino) leva inevitavelmente a uma perda de variedade (colapso de modo), porque colapsa a dispersão entre-compartimentos ($E$), que é a única fonte de diversidade ao nível de coleção.
• Expressividade: Valida que o "mostrar" é o único mecanismo capaz de direcionar para alvos que são inerentemente disjuntivos ou tácitos, pois esses alvos vivem no orçamento entre-compartimentos que o "dizer" não consegue acessar.

Os autores enfatizam que isto não é uma nova técnica de geração, mas uma conta quantitativa dos limites e capacidades das técnicas existentes (prompts vs. exemplos), derivada diretamente das propriedades estatísticas dos dados.