🤖 machine learning

Any-OPD: Heterogeneous On-Policy Distillation for Flow-Matching Models via Representation-Space Bridging

O Any-OPD introduz um novo framework para destilação on-policy heterogênea entre modelos arbitrários de fluxo latente (latent flow-matching) ao conectá-los através de uma representação visual congelada e agnóstica ao modelo e correspondência contínua de nível de ruído, permitindo que um estudante de 2,5B rivalize com o desempenho de um professor de 12B onde a regressão latente tradicional falha.

Autores originais: Siming Fu, Zheming Fu, Ruizhe He, Hualiang Wang, Jie Huang, Xiaoxiao Ma, Mingchen Zhong, Weihu Huang, Xiaoxuan He, Haojun Xu

Publicado 2026-08-05

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Siming Fu, Zheming Fu, Ruizhe He, Hualiang Wang, Jie Huang, Xiaoxiao Ma, Mingchen Zhong, Weihu Huang, Xiaoxuan He, Haojun Xu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde os artistas não pintam apenas com pincéis, mas com matemática. Este é o reino da geração de imagens por IA, um campo onde computadores aprendem a criar imagens do zero estudando milhões de exemplos. Para fazer isso, os modelos de IA modernos usam um truque inteligente chamado flow matching (correspondência de fluxo). Pense nisso como um rio fluindo de uma cachoeira caótica e ruidosa (estática pura) para um lago calmo e límpido (uma imagem perfeita). A IA aprende o caminho exato desse rio para que possa guiar qualquer gota de água do ruído até uma bela imagem.

No entanto, há um problema. Os artistas de IA mais poderosos são como elefantes gigantes e lentos: são massivos, exigem supercomputadores para rodar e levam uma eternidade para gerar uma única imagem. Queremos a velocidade e a eficiência de um esquilo ágil, mas também queremos o gênio artístico do elefante. A solução é a destilação: ensinar um modelo aluno pequeno e rápido a copiar o professor grande e lento. Mas aqui está o problema: geralmente, o professor e o aluno devem falar exatamente a mesma língua, usar o mesmo mapa interno e seguir o mesmo relógio. Se eles forem de "famílias" diferentes de IA, podem estar falando dialetos diferentes ou vivendo em fusos horários distintos. Até agora, tentar ensinar um esquilo a ser um elefante quando eles usam plantas baixas completamente diferentes era impossível.

Este artigo apresenta o Any-OPD, um novo método que atua como um tradutor universal e um treinador que dobra o tempo. Os pesquisadores descobriram que você não precisa que o professor e o aluno compartilhem os mesmos mapas internos ou relógios para aprenderem um com o outro. Em vez de forçá-los a comparar suas notas internas secretas (o que seria um emaranhado de sentido para o outro), o Any-OPD permite que eles comparem as imagens finais que criam usando um "crítico de arte" de terceiros (um modelo de visão congelado chamado DINOv2) que entende o significado da imagem, não apenas os pixels.

A equipe testou isso pegando um modelo aluno minúsculo, de 2,5 bilhões de parâmetros (SD3.5-Medium), e ensinando-o a imitar um professor massivo, de 12 bilhões de parâmetros (FLUX.1-dev). Esses dois modelos são completamente diferentes: usam estruturas internas diferentes, formas diferentes de lidar com o ruído e cronogramas diferentes. Métodos padrão tentavam forçar uma comparação direta entre seus dados internos, o que causava o colapso do treinamento em uma massa borrada. O Any-OPD, no entanto, contornou isso ao comparar apenas as imagens finais em um "espaço de significado" compartilhado.

Os resultados foram impressionantes. O pequeno aluno, após ser treinado com o Any-OPD, não apenas melhorou um pouco; ele se tornou um mestre artista. Ele melhorou sua capacidade de criar imagens que os humanos preferem (medida por uma pontuação chamada PickScore), de 0,846 para 0,884, e sua pontuação de preferência humana (HPSv3) saltou de 9,12 para 10,97. De fato, esse pequeno aluno começou a rivalizar, e em alguns casos até superar, o desempenho de seu gigante professor de 12 bilhões de parâmetros, tudo isso rodando em uma fração do tamanho e do custo.

O artigo descarta explicitamente a ideia de que você possa simplesmente comparar os dados internos brutos (latentes) ou os detalhes pixel a pixel das imagens quando os modelos são diferentes. Eles mostraram que tentar uma "regressão de pixel" direta entre diferentes famílias de modelos faz com que o treinamento falhe completamente. Em vez disso, provaram que, ao ancorar o aluno primeiro e depois usar um sistema de correspondência de nível de ruído para alinhar seus passos no tempo, você pode transferir conhecimento com sucesso entre quaisquer dois modelos, não importa o quão diferentes sejam. Isso sugere que, no futuro, não ficaremos presos a apenas um gigante de IA; podemos pegar o melhor professor disponível, não importa quem o tenha construído, e ensinar qualquer modelo pequeno que precisemos implantar a ser tão bom quanto.

Resumo Técnico: Any-OPD

Declaração do Problema

A destilação on-policy (OPD) atual para modelos de fluxo-matching e difusão baseia-se em uma suposição de homogeneidade: o professor e o aluno devem compartilhar o mesmo espaço latente de VAE, arquitetura e cronograma de ruído (grade de passos de tempo). Essa suposição restringe a destilação a pares dentro da mesma família de modelos.

Na prática, os cenários de destilação mais desejáveis são heterogêneos: um usuário pode desejar implantar um modelo pequeno e eficiente (ex: SD3.5-Medium) enquanto aproveita a qualidade superior de um professor grande e estado da arte de uma família diferente (ex: FLUX.1-dev). A OPD padrão falha nesse cenário devido a dois desalinhamentos fundamentais:

Ausência de Espaço Compartilhado: Os latentes do professor são alvos inválidos no sistema de coordenadas do aluno. Além disso, a regressão pixel a pixel falha porque o refinamento do professor é uma re-síntese estocástica que preserva a semântica, mas redesenha detalhes locais; regredir em direção a essa média estocástica causa colapso no treinamento ou um desfoque severo.
Ausência de Relógio Compartilhado: Diferentes modelos utilizam distintas funções de deslocamento de ruído (noise shift functions). Consequentemente, índices de solver idênticos (números de passos) correspondem a níveis de ruído diferentes, tornando estados supervisionados por índices alinhados incomparáveis.

Métodos existentes não conseguem supervisionar a própria trajetória de um aluno usando um professor que opera em um espaço latente e um cronograma de ruído estrangeiros.

Metodologia: Any-OPD

Os autores propõem o Any-OPD (Any Teacher, Any Student, On-Policy Distillation), o primeiro framework que permite a destilação on-policy entre pares arbitrários de geradores de fluxo-matching latentes. O método desacopla o professor e o aluno ao não referenciar os parâmetros internos de nenhum dos modelos, baseando-se, em vez disso, em uma terceira representação externa e no alinhamento de nível de ruído.

1. Fase de Ancoragem (Offline)

Para abordar a lacuna de nível de distribuição, o aluno é primeiro "ancorado" à variedade (manifold) do professor.

O professor gera imagens a partir de prompts, que são então re-codificadas utilizando o VAE do aluno.
Isso projeta a distribuição de saída do professor para o sistema de coordenadas latentes do aluno.
O aluno é treinado via perda de fluxo-matching padrão sobre esses alvos re-codificados. Isso garante que o aluno aprenda a produzir imagens do "tipo correto" antes de tentar o refinamento on-policy.

2. Fase de Destilação On-Policy

O núcleo do loop de destilação opera sem latentes compartilhados ou passos de tempo sincronizados:

Professor como um Amostrador Black-Box: O professor atua puramente como um operador de projeção de ruído-e-denoise ( $\Pi^\sigma_T$ ). Dado um exemplo do aluno, o professor re-adiciona ruído a um nível de ruído específico $\sigma$ e regenera uma versão refinada.
Correspondência de Nível de Ruído (Resolvendo a Lacuna do Relógio): Em vez de alinhar por índice de passo, o método alinha por nível de ruído. Após o professor refinar um exemplo no nível de ruído $\sigma_T^k$ , o gradiente é retropropagado apenas através dos passos da trajetória do aluno onde o nível de ruído $\sigma_S^j \ge \sigma_T^k$ . Isso garante que o aluno aprenda correções relevantes para a escala de ruído específica do refinamento.
Ponte de Espaço de Representação (Resolvendo a Lacuna de Espaço): A saída refinada do aluno e a saída refinada do professor são decodificadas em pixels usando seus respectivos VAEs. Essas imagens são então comparadas em um espaço de características congelado e agnóstico ao modelo (especificamente, o token CLS de um DINOv2 congelado).
- A perda é definida como $1 - \cos(f(\hat{x}_S), f(x_{ref}))$ , onde $f$ é o extrator congelado.
- Esta comparação global e livre de coordenadas é invariante à re-síntese estocástica local que derrota a regressão de pixel ou de latente.

Principais Contribuições

Formulação de OPD Heterogênea: O artigo identifica e formaliza as duas principais obstruções (falta de espaço compartilhado e relógio compartilhado) que impedem que os métodos on-policy existentes funcionem entre famílias de modelos.
O Framework Any-OPD: Uma nova arquitetura de procedimento de destilação agnóstica ao modelo que acopla os modelos unicamente através de um espaço de representação externo congelado e alinha trajetórias via correspondência de nível de ruído, em vez de índices de solver.
Validação Empírica: A primeira destilação on-policy bem-sucedida entre distintas famílias de modelos (FLUX.1-dev $\to$ SD3.5-Medium), demonstrando que um aluno de 2.5B pode se aproximar ou exceder o desempenho de um professor de 12B em métricas de preferência.

Resultados Experimentais

Os autores instanciam o Any-OPD destilando o FLUX.1-dev (12 bilhões de parâmetros) para o SD3.5-Medium (2.5 bilhões de parâmetros).

Ganhos de Desempenho: O aluno destilado supera significativamente o baseline SD3.5-Medium e se aproxima ou excede o professor de 12B em várias métricas:
- PickScore: Aumentou de 0.846 (baseline) para 0.884 (superando o professor de 0.878).
- HPSv3: Aumentou de 9.12 para 10.97 (aproximando-se do professor de 11.19).
- ImageReward: Aumentou de 0.922 para 1.116 (superando o professor de 0.971).
Descobertas de Ablação:
- Regressão de Latente: A regressão direta de latente através da fronteira do VAE causa colapso imediato no treinamento.
- Perda de Pixel/MSE: Falha devido à natureza estocástica do refinamento do professor.
- DINOv2 CLS: O único objetivo estável e eficaz, confirmando que o alinhamento semântico global é necessário sobre o alinhamento local de pixel/patch.
- Ancoragem: Essencial para estabilidade; iniciar a OPD sem a fase de ancoragem resulta em desempenho inferior.
- Generalização: Trocar o professor para o Z-Image (outra família distinta) com hiperparâmetros idênticos produz melhorias consistentes, verificando a intercambialidade do método.

Significância e Alegações

O artigo afirma que o Any-OPD remove as barreiras estruturais que impedem o uso dos modelos geradores mais fortes disponíveis como professores para modelos menores e implantáveis. Ao tratar o professor puramente como um amostrador e comparar as saídas em um espaço de características externo e congelado, o método permite a transferência de capacidades de geração de alta qualidade entre arquiteturas, VAEs e cronogramas de ruído completamente diferentes.

Os autores enfatizam que esse desacoplamento torna o "gerador mais forte disponível, quem quer que o construa", um professor utilizável para "qualquer modelo que você precise implantar", efetivamente democratizando o acesso à qualidade de geração estado da arte sem exigir homogeneidade arquitetural.