🤖 machine learning

Abra: Scaling Diffusion Image Training

Este artigo apresenta o Abra, uma família controlada de transformers de correspondência de fluxo (flow-matching) usada para estabelecer leis de escala computacionalmente otimizadas para modelos de difusão de texto para imagem, revelando que eles escalam de forma previsível como modelos de linguagem, mas requerem significativamente mais dados por parâmetro e são robustos ao sobretreinamento.

Autores originais: Kyle Chickering, Wei-An Lin, Swayam Bhanded, Dan Saunders, Akshat Tripathi, Jiaming Song, Shyamal Buch, Xinchen Yan

Publicado 2026-08-19

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Kyle Chickering, Wei-An Lin, Swayam Bhanded, Dan Saunders, Akshat Tripathi, Jiaming Song, Shyamal Buch, Xinchen Yan

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Na era moderna da inteligência artificial, uma revolução silenciosa tem ocorrido na forma como os cientistas constroem os programas de computador mais poderosos. Durante anos, pesquisadores confiaram em um conjunto de regras conhecidas como leis de escala para decidir como gastar seu poder computacional. Essas regras atuam como um guia de orçamento, dizendo aos engenheiros se eles devem construir um cérebro ligeiramente maior para seu software ou alimentá-lo com uma biblioteca de informações muito maior. No mundo da IA baseada em texto, essas regras têm sido notavelmente claras: para obter os melhores resultados, você deve dividir seu orçamento computacional de forma aproximadamente igual entre o tamanho do modelo e a quantidade de dados que ele lê. Esse equilíbrio permitiu que as máquinas aprendessem a linguagem com uma eficiência surpreendente, levando às ferramentas sofisticadas que vemos hoje. No entanto, quando se trata de ensinar computadores a criar imagens, as regras permaneceram um mistério. Os dados visuais são muito mais complexos e ruidosos do que o texto, e as tentativas anteriores de mapear essas regras para geradores de imagem foram limitadas pela falta de experimentos em grande escala. Sem um guia claro, os desenvolvedores estavam adivinhando como equilibrar o tamanho do modelo e o volume de dados, muitas vezes desperdiçando vastas quantidades de energia e tempo.

Uma equipe de pesquisadores da Luma AI interveio agora para resolver esse enigma com um experimento massivo e sistemático. Eles construíram uma família controlada de modelos geradores de imagem, variando de muito pequenos a bastante grandes, e os treinaram usando uma quantidade estonteante de poder computacional — muito mais do que qualquer estudo anterior sobre este tópico. Ao conduzir esses modelos através de três ordens de magnitude diferentes de custo computacional, eles puderam observar exatamente como o desempenho muda à medida que os modelos crescem. O trabalho deles revela que as regras para criar imagens são fundamentalmente diferentes das regras para processar linguagem. Enquanto os modelos de texto atingem seu pico de eficiência após ler cerca de vinte palavras para cada unidade de seu tamanho, os modelos de imagem exigem uma dieta muito mais pesada. Os pesquisadores descobriram que, para atingir o ponto de eficiência ideal, um modelo de texto para imagem precisa ver cerca de duzentos tokens de imagem para cada único parâmetro em sua estrutura. Isso significa que, para a geração de imagens, os dados são dez vezes mais críticos do que são para os modelos de linguagem. O antigo conselho de equilibrar o tamanho do modelo e os dados igualmente não se aplica aqui; em vez disso, a estratégia mais eficaz é priorizar a alimentação do modelo com mais imagens, mesmo que isso signifique usar um cérebro menor.

O estudo também descobriu uma rede de segurança surpreendente para os desenvolvedores. No mundo dos modelos de linguagem, se você treinar um sistema por muito tempo em muitos dados, seu desempenho pode sofrer e o esforço extra é desperdiçado. Mas para geradores de imagem, os pesquisadores descobriram que os modelos são incrivelmente tolerantes. Se um praticante decidir treinar um modelo por mais tempo do que o estritamente necessário, a qualidade das imagens não cai significativamente. Na verdade, a perda de desempenho é tão pequena que é quase negligenciável. Essa descoberta oferece uma regra prática para a indústria: é muito mais seguro treinar um modelo menor em uma quantidade massiva de dados do que arriscar treinar um modelo enorme com poucos dados. O tempo de treinamento extra atua como um amortecedor, garantindo resultados de alta qualidade sem a penalidade de recursos desperdiçados que assombra outros tipos de IA.

Além apenas da qualidade final da imagem, a equipe observou como esses modelos aprendem a entender o mundo dentro de seus cérebros digitais. Eles testaram se os modelos eram bons em reconhecer objetos e padrões, uma habilidade conhecida como aprendizado de representação. Eles descobriram que o ponto de eficiência ideal para compreender imagens acontece em um volume de dados muito menor do que o ponto para gerá-las. Um modelo pode se tornar muito bom em reconhecer um gato ou uma paisagem muito antes de se tornar perfeito em pintá-los. Isso sugere que o conhecimento interno do modelo e sua capacidade de criar arte crescem em taxas diferentes. Além disso, os pesquisadores observaram que, à medida que a resolução das imagens aumenta, a necessidade de dados cresce ainda mais. Treinar um modelo para criar imagens de alta definição requer significativamente mais informação visual por unidade de tamanho de modelo do que treinar para criar esboços de baixa resolução.

Talvez a descoberta mais profunda tenha sido que esses modelos geradores de imagem seguem um padrão universal em suas curvas de aprendizado. Quando os pesquisadores ajustaram os dados para contabilizar o tamanho do modelo e a quantidade de computação usada, o progresso do treinamento de cada um dos modelos, do menor ao maior, colapsou em uma única linha suave. Esse fenômeno, conhecido como colapso de escala, significa que o comportamento de um modelo minúsculo pode prever com precisência o comportamento de um gigante. Isso sugere que a mecânica subjacente do aprendizado é consistente em todos os tamanhos, fornecendo uma ferramenta poderosa para engenheiros preverem como um futuro modelo massivo se comportará sem ter que construí-lo e treiná-lo primeiro.

Os pesquisadores também examinaram como diferentes medidas de sucesso, como o quão bem a imagem corresponde a uma descrição de texto ou o quão realista ela parece, escalam com o poder computacional. Eles descobriram que esses diferentes objetivos não atingem o pico ao mesmo tempo. Algumas métricas, como o quão bem a imagem segue um comando, preferem um equilíbrio diferente de dados e tamanho do que outras, como o quão proximamente a imagem corresponde à distribuição de fotos do mundo real. Isso indica que não existe uma configuração única "perfeita" para um gerador de imagem; a melhor configuração depende inteiramente do que o usuário deseja que o modelo faça. Adicionalmente, descobriram que as configurações usadas para guiar o processo de geração, que controlam o quão estritamente o modelo segue instruções, precisam ser ajustadas conforme o modelo cresce. Uma capacidade generativa mais forte na verdade requer menos orientação para produzir bons resultados.

No fim, este trabalho fornece um mapa claro e baseado em dados para o futuro da geração de imagens. Ele move o campo longe das suposições e em direção a uma compreensão precisa de como alocar recursos. A conclusão central é que, para a criação de imagens, os dados são o rei. O caminho mais eficiente não é construir o modelo mais possível, mas garantir que qualquer modelo que seja construído seja alimentado com uma vasta quantidade de informação visual. Ao seguir estas novas regras, os desenvolvedores podem construir sistemas melhores e mais eficientes que criam imagens deslumbrantes sem desperdiçar a imensa energia necessária para treiná-los. O estudo confirma que, embora o caminho para a geração de imagens perfeita seja diferente do caminho para a linguagem perfeita, ele é tão previsível e tão aberto à descoberta quanto o outro.

Resumo Técnico: ABRA: ESCALONAMENTO DO TREINAMENTO DE DIFUSÃO DE IMAGENS

Declaração do Problema

Embora as leis de escalonamento computacionalmente ótimas tenham se tornado uma ferramenta industrial padrão para guiar o treinamento de grandes modelos de linguagem (LLMs) de fronteira, sua aplicação à geração visual permanece amplamente inexplorada. Estender a análise de escalonamento para modelos de difusão de texto-para-imagem apresenta desafios únicos, incluindo maior dimensionalidade, densidade de informação de tokens dependente da resolução e curvas de treinamento mais ruidosas. Trabalhos anteriores, como Liang et al. (2024), tentaram ajustar perfis iso-FLOP, mas frequentemente dependem de extrapolação a partir de orçamentos de computação menores (abaixo de $10^{19}$ FLOPs) ou carecem de uma família de modelos controlada, levando a ajustes empíricos potencialmente imprecisos. Há uma necessidade de um estudo sistemático através de uma gama mais ampla de orçamentos de computação para determinar como o tamanho do modelo ( $N$ ) e o tamanho do conjunto de dados ( $D$ ) devem ser alocados para minimizar a perda e maximizar a qualidade generativa.

Metodologia

Os autores introduzem o ABRA, uma família controlada de transformers de fluxo de correspondência (flow-matching) densos projetados especificamente para análise sistemática de escalonamento.

Família de Modelos: O ABRA consiste em seis modelos variando de 60M a 2B de parâmetros. A arquitetura combina elementos de modelos de código aberto como FLUX.2 e PixArt- $\alpha$ , utilizando uma estrutura de bloco de fluxo duplo/fluxo único com uma taxa de expansão de FFN fixa de 6. Os modelos são treinados no conjunto de dados DataComp-1B, recaptionados usando modelos de visão-linguagem de código aberto para melhorar a qualidade das legendas.
Regime de Treinamento: Os modelos são treinados usando um objetivo de correspondência de fluxo de predição- $v$ com uma formulação de difusão latente (VAE FLUX). O treinamento abrange três ordens de magnitude em computação, de $10^{19}$ a $10^{22}$ FLOPs de imagem-token. Os autores intencionalmente sobretreinam os modelos até 400 Tokens Por Parâmetro (TPP) para garantir que o ponto computacionalmente ótimo esteja dentro do intervalo de busca.
Transferência de Hiperparâmetros: O estudo emprega $\mu$ P (Maximal Update Parameterization) para transferir hiperparâmetros (especificamente a taxa de aprendizado de $4 \times 10^{-4}$ ) através da família de modelos, garantindo que as diferenças de desempenho sejam devidas ao escalonamento e não a um ajuste subótimo.
Avaliação: Os autores avaliam a perda de treinamento, a precisão de probe linear (para qualidade de representação) e um conjunto de métricas generativas (FID, KID, CLIPScore, CMMD e distâncias baseadas em DINOv2). Crucialmente, eles realizam uma varredura na escala de Orientação Livre de Classificador (CFG) para cada modelo e métrica para identificar configurações ideais, em vez de usar um valor de orientação fixo.

Principais Contribuições

Regra de Escalonamento Acionável para Modelos de Difusão: O artigo deriva uma regra de escalonamento computacionalmente ótima para transformers de difusão de texto-para-imagem, estabelecendo que a otimalidade é alcançada em aproximadamente 200 tokens de imagem por parâmetro (TPP). Isso é cerca de 10 vezes maior que a "regra Chinchilla" (20 TPP) estabelecida para LLMs.
Robustez ao Sobretreinamento: O estudo caracteriza o fenômeno do sobretreinamento em modelos de difusão, descobrindo que eles são notavelmente robustos a isso. Ao contrário dos LLMs, onde desviar do TPP ideal acarreta uma penalidade significativa de perda, os modelos de difusão sofrem uma degradação de desempenho negligenciável (menos de 0,5% de penalidade de perda) mesmo quando treinados com o dobro da quantidade ideal de dados.
Escalonamento Heterogêneo de Capacidades: Os autores demonstram que diferentes capacidades escalam de formas distintas. Enquanto as métricas de qualidade generativa (como FID) e a perda de treinamento atingem o pico em torno de 200 TPP, a precisão de probe linear (representando a compreensão de imagem) atinge o pico em um TPP significativamente menor. Isso sugere um "ponto duplo" onde tanto a geração quanto a compreensão são conjuntamente ótimas, estimado para ocorrer em cerca de $5 \times 10^{22}$ FLOPs com um modelo de 6B de parâmetros.
Colapso de Escalonamento: Pela primeira vez, o artigo demonstra que o treinamento de modelos de difusão computacionalmente ótimos exibe colapso de escalonamento. Quando as curvas de treinamento são apropriadamente reescalonadas por computação, as trajetórias de perda de diferentes tamanhos de modelos colapsam em uma única forma universal, indicando que a dinâmica de treinamento é previsível e independente do tamanho do modelo uma vez normalizada.
Efeitos de Resolução: O estudo mostra que o treinamento em alta resolução requer mais tokens de imagem para atingir a otimalidade computacional. À medida que a resolução aumenta de 256px para 768px, o TPP ideal aumenta de ~165 para ~247, embora o número de imagens distintas necessárias por parâmetro diminua.

Resultados Empíricos

Otimalidade Computacional: Através de vários procedimentos de ajuste e tamanhos de modelo (excluindo o outlier de 60M), o TPP ideal agrupa-se consistentemente em torno de 200. A relação entre o tamanho do modelo e o tamanho dos dados segue uma lei de escalonamento equilibrada ( $N \propto C^{0.5}$ , $D \propto C^{0.5}$ ), contradizendo descobertas anteriores que sugeriam que os modelos deveriam ser escalonados mais rapidamente que os dados.
Métricas Generativas: Todas as métricas generativas testadas seguem leis de potência previsíveis em relação à computação. No entanto, o TPP ideal varia por métrica: FID e KID favorecem um TPP mais alto (exigindo mais dados), enquanto CLIPScore e CMMD favorecem um TPP mais baixo (exigindo mais parâmetros em relação aos dados).
Dinâmica de CFG: A escala ideal de CFG diminui conforme o tamanho do modelo e os passos de treinamento aumentam. Uma capacidade generativa mais forte requer menos orientação para atingir a qualidade ideal.
Colapso de Escalonamento: Nos primeiros 15% do treinamento, as curvas de perda reescalonadas da família ABRA colapsam para o nível de ruído. Para o restante do treinamento, o desvio entre modelos de diferentes tamanhos permanece abaixo do nível de ruído de um único modelo treinado com diferentes sementes, confirmando a previsibilidade das dinâmicas de treinamento.

Significância e Alegações

O artigo afirma fornecer os ajustes empíricos mais precisos para leis de escalonamento computacionalmente ótimas em modelagem de difusão de texto-para-imagem até o momento, utilizando uma ordem de magnitude mais de computação do que estudos anteriores. A principal significância reside na mudança de paradigma para os praticantes: modelos de difusão requerem significativamente mais dados do que LLMs para atingir a otimalidade computacional, e são robustos ao sobretreinamento.

Consequentemente, os autores argumentam que os praticantes devem "errar pelo excesso de dados em vez de um modelo maior". Esta descoberta desafia a intuição de que modelos maiores são sempre superiores e fornece uma diretriz concreta e acionável (200 TPP) para alocar orçamentos de computação em tarefas de geração visual. Além disso, a descoberta do colapso de escalonamento sugere que as dinâmicas de treinamento dos modelos de difusão são tão previsíveis quanto as dos modelos de linguagem, permitindo melhores ferramentas de diagnóstico e planejamento de recursos para futuros sistemas de geração visual em larga escala.