🤖 machine learning

Gradual Fine-Tuning for Flow Matching Models

Este artigo introduz o Gradual Fine-Tuning (GFT), uma estrutura de recozimento controlada por temperatura e teoricamente fundamentada que permite a adaptação estável, eficiente e diversa de modelos de flow matching para distribuições alvo usando apenas amostras do alvo, superando os métodos existentes em convergência e qualidade de geração.

Autores originais: Gudrun Thorkelsdottir, Arindam Banerjee

Publicado 2026-06-17

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Gudrun Thorkelsdottir, Arindam Banerjee

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um artista altamente qualificado que passou anos aprendendo a pintar paisagens belas (este é o seu modelo pré-treinado). Agora, você quer que este artista comece a pintar retratos de uma família específica (esta é a sua distribuição alvo). Você tem um álbum de fotos da família para mostrar ao artista, mas não quer que ele esqueça como pintar paisagens ou perca seu estilo único no processo.

O artigo apresenta um novo método chamado Ajuste Fino Gradual (GFT - Gradual Fine-Tuning) para ajudar este artista a fazer essa transição suavemente, sem se confundir ou perder seu toque.

Aqui está como o artigo explica o problema e a solução, usando analogias simples:

O Problema: O "Salto Repentino"

Atualmente, se você tentar ensinar o artista a pintar retratos apenas mostrando as novas fotos e dizendo: "Esqueça todo o resto, apenas faça isso", muitas vezes dá errado.

Instabilidade: O artista pode ficar confuso, começar a tremer e produzir pinturas bagunçadas e caóticas.
Perda de Habilidade: Eles podem esquecer as pinceladas suaves que aprenderam durante seus anos de treinamento em paisagens, resultando em retratos rígidos ou artificiais.
Ineficiência: Leva muito tempo para descobrir o novo estilo, e o artista pode ficar preso em um ciclo de maus hábitos.

Outros métodos tentam corrigir isso adicionando "recompensas" (como dar uma estrela de ouro ao artista por um bom retrato), mas o artigo argumenta que estas são frequentemente instáveis, exigem que o artista simule sessões inteiras de pintura apenas para receber feedback e podem ser muito lentas.

A Solução: A "Rampa Gradual" (GFT)

Os autores propõem o Ajuste Fino Gradual (GFT). Em vez de um salto repentino, imagine uma rampa controlada por temperatura que inclina gradualmente o foco do artista das paisagens para os retratos.

O Botão de Temperatura ( $\beta$ ): Pense em um botão rotulado como "Temperatura".
- Temperatura Alta (Início): O botão é girado para o alto. O artista é instruído: "Mantenha seu estilo de paisagem majoritariamente, mas apenas levemente olhe para as fotos da família". O artista faz ajustes pequenos e seguros. Eles não entram em pânico porque suas habilidades principais ainda estão protegidas.
- Resfriamento (Meio): À medida que o treinamento progride, você gira o botão lentamente para baixo. O artista é permitido mudar mais. Eles começam a misturar suas habilidades de paisagem com o novo estilo de retrato.
- Temperatura Zero (Fim): O botão é girado totalmente para baixo. Agora, o artista está totalmente focado nas fotos da família. Como eles mudaram lentamente, não esqueceram suas habilidades, e a transição é suave.
A Magia Matemática: O artigo prova que, se você fizer esse "resfriamento" corretamente, é matematicamente garantido que o artista acabará pintando exatamente os retratos da família que você queria, sem perder sua qualidade original. É como um GPS que guia você do Ponto A ao Ponto B seguًindo uma estrada sinuosa e suave, em vez de um salto de um precipício.

Por que isso é melhor (Os Resultados)

O artigo testou este método em tarefas do mundo real (como mudar estilos de imagens médicas ou adaptar fotos de satélite) e descobriu:

Estabilidade: O artista não teve "colapsos". O processo de aprendizado foi constante e previsível, ao contrário de outros métodos que oscilam descontroladamente.
Velocidade: O artista aprendeu o novo estilo de forma mais rápida e eficiente.
Diversidade: O artista não apenas copiou as fotos da família de uma maneira chata e repetitiva. Eles mantiveram a variedade e a riqueza de seu estilo original enquanto se adaptavam ao novo assunto.
Eficiência: O artigo também mostra que este método funciona bem com técnicas de "poucos passos" (few-step). Imagine o artista sendo capaz de terminar um retrato em um ou dois movimentos de pincel em vez de vinte, sem perder a qualidade. O GFT torna isso possível.

O "Ingrediente Secreto": Transporte Ótimo

O artigo menciona o uso de acoplamentos de "Transporte Ótimo" (Optimal Transport). Em nossa analogia, isso é como dar ao artista um mapa específico que pareia cada árvore da paisagem com um membro específico da família, como o cabelo de alguém. Em vez de adivinhar como transformar o estilo antigo no novo, o artista segue um caminho direto e eficiente. Isso torna a geração de novas imagens muito mais rápida.

Resumo

O Ajuste Fino Gradual é uma nova maneira de ensinar modelos de IA a se adaptarem a novos dados. Em vez de forçar uma mudança súbita e caótica, utiliza um "cronograma de resfriamento" para guiar gentilmente o modelo de seu conhecimento antigo para o novo objetivo. O resultado é um modelo que é estável, rápido, diverso e matematicamente garantido a atingir o resultado desejado. É a diferença entre jogar um nadador no fundo da piscina e ensiná-lo a nadar entrando gradualmente pela parte rasa.

Resumo Técnico: Ajuste Fino Gradual para Modelos de Flow Matching

Declaração do Problema

O ajuste fino (fine-tuning) de modelos de flow matching pré-treinados apresenta um desafio significativo em cenários caracterizados por dados limitados, distribuições em evolução ou restrições computacionais. Embora avanços recentes em ajuste fino baseado em recompensa (ex: Adjoint Matching, abordagens de aprendizado por reforço) tenham mostrado potencial, eles frequentemente sofrem de limitações teóricas e instabilidades práticas. Especificamente, os métodos existentes frequentemente falham em garantir simultaneamente correção teórica, estabilidade de treinamento, eficiência de inferência e preservação de diversidade.

Um cenário crítico, porém subexplorado, é o ajuste fino quando amostras diretas da distribuição alvo estão disponíveis (ex: em adaptação de domínio ou deriva de dados/dataset drift), eliminando a necessidade de funções de recompensa externas. O ajuste fino padrão neste contexto trata o modelo pré-treinado meramente como uma inicialização, ignorando sua dinâmica aprendida (como caminhos de probabilidade curtos), o que leva a uma alta instabilidade e potencial colapso de modo (mode collapse). Há uma necessidade de um framework principiológico que equilibre a adaptação a uma nova distribuição alvo com a preservação das propriedades benéficas do modelo pré-treinado.

Metodologia: Ajuste Fino Gradual (GFT)

Os autores propõem o Ajuste Fino Gradual (GFT), um framework que utiliza regularização por recozimento (annealed regularization) para criar uma sequência de objetivos intermediários controlados por temperatura. Esta abordagem interpola suavemente entre a dinâmica pré-treinada e a dinâmica alvo.

Formulação Teórica

O GFT é derivado de um problema de otimização sobre o espaço de caminhos induzido por fluxos estocásticos. O objetivo minimiza a divergência Kullback-Leibler (KL) entre o processo ajustado $P_\theta$ e o processo alvo $P_q$ , regularizado pela divergência KL entre $P_\theta$ e o processo pré-treinado $P_{\theta_0}$ :

$\min_{\theta} \text{KL}(P_\theta \| P_q) + \beta \text{KL}(P_\theta \| P_{\theta_0})$

onde $\beta \in \mathbb{R}^+$ é um parâmetro de temperatura.

Teorema 4.1 estabelece que a minimização deste objetivo produz um campo de deriva ótimo $v^*_\theta$ que é uma combinação convexa do campo vetorial alvo $v_q$ e do campo vetorial pré-treinado $v_{\theta_0}$ :

$v^*_\theta(X_t, t) = \left( \frac{1}{1 + \beta} \right) v_q(X_t, t) + \left( \frac{\beta}{1 + \beta} \right) v_{\theta_0}(X_t, t)$

Regularização por Recozimento (Annealed Regularization): Para alcançar a convergência, o GFT emprega um cronograma de resfriamento dependente do tempo onde $\beta$ é gradualmente reduzido de um valor inicial alto para $0^+$ .

$\beta$ Alto: Penaliza fortemente o desvio do modelo pré-treinado, prevenindo o colapso prematuro e garantindo estabilidade.
$\beta$ Baixo ( $\to 0^+$ ): Relaxa a restrição, permitindo que o modelo recupere assintoticamente o campo vetorial alvo $v_q$ .

Reformulação Tratável

Como o campo vetorial alvo $v_q$ é desconhecido e o objetivo é definido sobre medidas de caminho, os autores aplicam o Teorema de Girsanov para reformular o objetivo em termos de termos de deriva. Isso resulta em uma função de perda tratável envolvendo a distância $L_2$ ao quadrado entre as derivações.

Além disso, para permitir um treinamento e inferência eficientes, o GFT utiliza princípios de Conditional Flow Matching (CFM). Ao condicionar em acoplamentos arbitrários fonte-alvo (ex: planos de Transporte Ótimo/OT), a perda torna-se:

$\mathcal{L}_\pi(\theta) = \mathbb{E}_{Z \sim \pi, X_t \sim P(\cdot|Z), t \sim U[0,1]} \left[ \frac{1}{2} \left( \|v_\theta - v_q(\cdot|Z)\|^2 + \beta \|v_\theta - v_{\theta_0}\|^2 \right) \right]$

Esta formulação preserva as garantias teóricas do objetivo incondicional enquanto permite o uso de acoplamentos eficientes (como OT) para acelerar a geração.

Extensão para Inferência de Poucos Passos

O framework se estende naturalmente para modelos Mean Flow (MF), que permitem inferência de poucos passos. Os autores provam que o campo de velocidade média ótimo para modelos MF também segue uma forma de combinação convexa, permitindo que o GFT seja aplicado à geração de um passo ou poucos passos sem sacrificar a correção teórica.

Principais Contribuições

O artigo delineia quatro contribuições primárias:

Convergência Teórica: Prova de que o GFT converge para a distribuição alvo sob suposições padrão, com uma taxa de convergência explícita dependente da temperatura $\beta$ .
Equivalência de Acoplamento: Estabelecimento de que o GFT produz resultados equivalentes ao condicionar em acoplamentos fonte-alvo arbitrários, permitindo o uso de técnicas de treinamento (como OT) que aumentam a eficiência da inferência.
Extensão para Poucos Passos: Demonstração da extensão natural do GFT para métodos de inferência de poucos passos (ex: Mean Flow) sem comprometer as garantias teóricas.
Superioridade Empírica: Validação experimental abrangente mostrando que o GFT alcança qualidade de geração comparável ou superior a outros métodos, fornecendo melhor estabilidade de treinamento, diversidade de geração e caminhos de probabilidade consistentemente mais curtos.

Resultados Experimentais

Os autores avaliaram o GFT em múltiplos cenários, incluindo adaptação cross-domain e in-domain em conjuntos de dados do benchmark WILDS (Camelyon17, RxRx1, FMoW) e dados simulados 2D.

Estabilidade e Convergência: O GFT demonstrou significativamente maior estabilidade em comparação ao ajuste fino padrão de CFM e métodos baseados em recompensa (ex: Adjoint Matching). Métricas como variância instantânea e correlação de Spearman entre épocas e FID indicaram uma convergência monotônica e estável.
Qualidade de Geração: Na adaptação cross-domain, o GFT alcançou pontuações FID comparáveis ao ajuste fino padrão, mas com comprimentos de caminho médios menores, indicando inferência mais eficiente. Na adaptação in-domain, o GFT igualou a precisão do ajuste fino total, mantendo comprimentos de caminho menores.
Diversidade: Em alvos Gaussianos bimodais 2D, o GFT e o CFM padrão cobriram ambos os modos com alta diversidade. Em contraste, métodos baseados em recompensa como o Adjoint Matching sofreram colapso de modo, gerando amostras fortemente agrupadas dentro de um único modo.
Eficiência: O GFT manteve a eficiência de treinamento livre de simulação (simulation-free) do CFM. Enquanto o Adjoint Matching exigia simulações de ODE caras para cada passo (resultando em tempos de treinamento uma ordem de magnitude maiores), o GFT permaneceu eficiente.
Inferência de Poucos Passos: Quando aplicado a modelos Mean Flow, o GFT alcançou FID comparável a modelos iterativos, mas com uma redução de 50-100x nas avaliações do modelo (NFEs) durante a inferência.
Controle de Regularização: Experimentos variando a temperatura mínima $\beta$ revelaram um trade-off controlável entre o FID final e o comprimento médio do caminho, permitindo que os usuários ajustem explicitamente o equilíbrio entre precisão de geração e velocidade de inferência.

Significância e Alegações

O artigo posiciona o GFT como uma alternativa simples, porém teoricamente fundamentada e praticamente eficaz para a adaptação escalável de modelos de flow matching sob mudança de distribuição.

Os autores afirmam que o GFT aborda lacunas críticas na literatura existente ao satisfazer todos os requisitos essenciais para um método de ajuste fino ideal:

Teoricamente Correto: Converge comprovadamente para a distribuição alvo correta com uma taxa controlável.
Estável: Exibe uma convergência altamente monotônica, evitando as oscilações e instabilidades comuns no ajuste fino padrão.
Eficiente: Mantém o treinamento livre de simulação do CFM e suporta inferência eficiente via acoplamentos OT e métodos de poucos passos.
Diverso: Preserva a diversidade do modelo pré-treinado, evitando o colapso de modo observado em abordagens baseadas em recompensa.

Ao unir a alta qualidade do pré-treinamento com o ajuste fino, o GFT oferece uma solução robusta para adaptar modelos generativos a domínios complexos orientados por dados, onde o controle matizado sobre o resultado do ajuste fino é necessário. O trabalho estabelece uma base para a adaptação escalável de modelos generativos baseados em fluxo.