🤖 machine learning

Routing by Reaching: Composition of Pre-trained GFlowNets for Multi-Objective Generation

Este artigo propõe um framework que compõe GFlowNets pré-treinadas no momento da inferência para lidar eficientemente com tarefas de geração multiobjetivo sem retreinamento, oferecendo recuperação exata para escalonamento linear e aproximação limitada para operadores não lineares, ao mesmo tempo em que alcança desempenho comparável a baselines treinados conjuntamente.

Autores originais: Seokwon Yoon, Youngbin Choi, Seunghyuk Cho, Seungbeom Lee, MoonJeong Park, Dongwoo Kim

Publicado 2026-07-21

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Seokwon Yoon, Youngbin Choi, Seunghyuk Cho, Seungbeom Lee, MoonJeong Park, Dongwoo Kim

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um mestre chef tentando inventar um novo prato perfeito. Você tem uma lista de ingredientes, mas também tem uma lista de regras: deve ser picante, mas não excessivamente ardente; deve ser doce, mas não enjoativo; e deve ser barato de fazer, mas ainda assim parecer sofisticado. No mundo da inteligência artificial, cientistas usam ferramentas especiais chamadas Redes de Fluxo Generativo (ou GFlowNets) para agir como esses chefs. Em vez de cozinhar, eles "cozinham" coisas novas, como moléculas para medicamentos ou grafos complexos. Essas ferramentas são ótimas porque não buscam apenas uma única resposta "melhor"; elas exploram toda uma cozinha cheia de opções diversas e promissoras, oferecendo-lhe uma variedade de pratos que se ajustam a diferentes gostos.

No entanto, a vida real é bagunçada. Geralmente, você não quer apenas uma coisa; você quer equilibrar várias coisas ao mesmo tempo, como criar uma molécula que seja ao mesmo tempo forte e segura. O problema é que a forma antiga de fazer isso era como contratar um novo chef para cada combinação de regras. Se você quisesse mudar a receita de "picante e barato" para "doce e seguro", teria que demitir o antigo chef e treinar um novinho do zero. Isso é lento, caro e desperdiçador. A grande questão que os cientistas têm feito é: Podemos pegar uma equipe de chefs que já são especialistas em seus próprios pratos específicos e fazê-los trabalhar juntos instantaneamente para criar um novo sabor complexo sem a necessidade de retreiná-los?

Este artigo apresenta um novo método inteligente chamado "Routing by Reaching" (Roteamento por Alcance) que responde "sim" a essa pergunta. Os autores propõem uma estrutura que atua como um maestro inteligente, pegando um grupo de chefs de IA pré-treinados (GFlowNets) e misturando suas instruções sobre a hora para criar novas receitas multiobjetivo. Em vez de treinar um novo modelo para cada nova combinação de objetivos, o sistema simplesmente observa o quão provável é que cada modelo existente alcance um determinado passo no processo e usa isso como um peso para fundir suas decisões.

Os pesquisadores descobriram que, para combinações simples, como somar diferentes objetivos com pesos (um processo chamado de escalonamento linear), este método de mistura é matematicamente perfeito — ele cria exatamente a distribuição de resultados que você obteria se tivesse treinado um novo modelo do zero. Para combinações mais complexas e não lineares (como usar lógica para dizer "deve ser A, mas NÃO B"), o método não é matematicamente perfeito em todos os casos, mas os autores mostram através de simulações que ele é incrivelmente preciso nas áreas mais importantes: as regiões de alta qualidade e alta recompensa onde você realmente deseja encontrar suas soluções.

Para testar isso, a equipe realizou experimentos em dois estágios muito diferentes. Primeiro, usaram um jogo de grade 2D simples, como um mapa de videogame, onde podiam ver exatamente o quão bem a IA navegava até as zonas de recompensa. Aqui, o método deles foi significativamente mais preciso do que abordagens anteriores, especialmente à medida que adicionavam mais objetivos à mistura. Em seguida, passaram para o mundo real: a geração de novas moléculas para a descoberta de fármacos. Eles testaram isso em dois tipos de construção de moléculas: uma onde se encaixam pedaços pré-fabricados (fragmentos) e outra onde se constrói átomo por átomo. Nesses testes do mundo real, seu método igualou ou até superou o desempenho de modelos que exigiam um retreinamento massivo para cada novo objetivo. Talvez o mais impressionante seja que, quando usaram regras "lógicas" (como "alta afinidade de ligação, mas baixa toxicidade"), seu método foi cerca de 30 a 65 vezes mais rápido para gerar respostas do que o melhor método anterior, que exigia cálculos pesados a cada etapa.

O artigo sugere que esta abordagem transforma modelos de IA pré-treinados em blocos de construção reutilizáveis. Assim como um músico pode misturar diferentes faixas pré-gravadas para criar uma nova música sem regravar os instrumentos, este método permite que cientistas componham novos comportamentos de IA instantaneamente. Embora o método não seja uma solução mágica para todos os problemas possíveis (ele funciona melhor quando os modelos subjacentes são bem treinados e os objetivos não são muito contraditórios), ele oferece uma maneira flexível, rápida e altamente precisa de explorar problemas científicos complexos sem o alto custo de um retreinamento constante.

Resumo Técnico: Roteamento por Alcance (Routing by Reaching)

Declaração do Problema

As Redes de Fluxo Generativo (GFlowNets) são eficazes para amostrar candidatos diversos proporcionalmente a uma função de recompensa, uma capacidade crucial para tarefas de descoberta científica, como a geração de moléculas. No entanto, aplicações do mundo real frequentemente exigem o equilíbrio de múltiplos objetivos, muitas vezes conflitantes (ex: afinidade de ligação, acessibilidade sintética e semelhança com fármacos). As abordagens existentes para GFlowNets multiobjetivo geralmente se enquadram em duas categorias: escalarização (treinamento de um único modelo condicionado a vetores de preferência) e operadores lógicos (combinação de distribuições via classificadores).

Esses métodos existentes sofrem de duas limitações críticas:

Falta de Reutilização: Eles exigem treinamento conjunto para cada combinação específica de objetivos. Introduzir um novo objetivo ou uma nova preferência de trade-off exige o retreinamento do modelo do zero ou o treinamento de um novo classificador auxiliar, incorrendo em um custo computacional substancial.
Estruturas Fragmentadas: Os métodos atuais tipicamente abordam a escalarização ou a composição lógica de forma isolada, carecendo de um framework unificado capaz de lidar com diversos esquemas de composição (desde somas lineares até operadores não lineares complexos) sem retreinamento.

Metodologia

Os autores propõem um framework intitulado "Routing by Reaching" (Roteamento por Alcance), que compõe GFlowNets pré-treinadas no momento da inferência através da mistura de suas políticas de avanço (forward policies). O insight central é que a probabilidade de alcance $u(s)$ — a probabilidade de visitar um estado $s$ sob uma política de avanço específica — fornece pesos naturais para combinar processos de geração. Intuitivamente, um modelo que roteia mais massa de probabilidade através de um estado atual é considerado mais relevante para o objetivo daquele estado.

A Regra de Mistura

Dadas $k$ GFlowNets pré-treinadas com políticas de avanço $p_{i,F}$ , probabilidades de alcance $u_i$ e distribuições de terminação $p_i$ , a política de mistura proposta $p_{M,F}$ para uma transição de um estado $s$ para $s'$ é definida como:

$p_{M,F}(s'|s) = \frac{G(u_1(s)p_{1,F}(s'|s), \dots, u_k(s)p_{k,F}(s'|s))}{N_M(s)}$

onde:

$G$ é a função de composição (ex: soma ponderada para escalarização, média harmônica para conjunção).
$N_M(s)$ é uma constante de normalização local que garante que a política some 1.
A probabilidade de alcance $u_i(s)$ atua como um peso, escalonando a probabilidade de transição do $i$ -ésimo modelo.

Computando Probabilidades de Alcance

Para implementar isso sem retreinamento, os autores fornecem dois caminhos para obter $u_i(s)$ a partir de modelos pré-treinados:

Modelo F: Para modelos treinados com Flow Matching, Detailed Balance ou Sub-Trajectory Balance, o fluxo de estado $F_i(s)$ é explicitamente parametrizado. $u_i(s)$ é derivado diretamente como $F_i(s)/Z_i$ .
DB F: Para modelos treinados com Trajectory Balance (onde o fluxo de estado não é explícito), $u_i(s)$ é reconstruído on-the-fly durante a geração de trajetórias usando a identidade de detalhe de balanço: $u_i(s_t) = \prod_{j=1}^t \frac{p_{i,F}(s_j|s_{j-1})}{p_{i,B}(s_{j-1}|s_j)}$ .

Análise Teórica

Escalarização Linear ( $\beta=1$ ): Os autores provam que, para somas ponderadas lineares de recompensas, a política de mistura recupera exatamente a distribuição alvo. O fator de distorção entre as distribuições induzida e alvo torna-se constante.
Operadores Não Lineares: Para composições não lineares (ex: $\beta \neq 1$ , média harmônica, contraste), o fator de distorção não é garantido como constante. No entanto, a análise empírica mostra que a distorção permanece aproximadamente constante em regiões de alta densidade (onde a recompensa alvo é alta), garantindo aproximações precisas onde elas são mais importantes para a amostragem.

Principais Contribuições

Composição Sem Treinamento: Um método para compor GFlowNets pré-treinadas para conjuntos arbitrários de objetivos e diversos esquemas de composição (lineares e não lineares) sem qualquer treinamento ou ajuste fino adicional.
Garantias Teóricas: Prova de recuperação exata para escalarização linear e uma quantificação da qualidade de aproximação para operadores não lineares via fator de distorção.
Framework Unificado: Uma única abordagem que lida tanto com a escalarização condicionada por preferência quanto com operadores lógicos (conjunção/subtração), superando a fragmentação da literatura anterior.
Eficiência: Redução significativa no tempo de inferência para operadores lógicos em comparação com baselines guiados por classificador, pois evita a necessidade de enumerar e avaliar todos os estados sucessores para um termo de guia.

Resultados Experimentais

O framework foi avaliado em uma grade 2D sintética e em tarefas reais de geração de moléculas (baseadas em fragmentos e baseadas em átomos/QM9).

Grade Sintética 2D:
- Escalarização: O método alcançou um erro L1 substancialmente menor do que os baselines condicionadas por preferência (MOGFN, HN-GFN) para 2 a 5 objetivos. Diferente dos baselines, o desempenho permaneceu estável conforme o número de objetivos aumentava.
- Operadores Lógicos: O método teve desempenho comparável aos baselines guiados por classificador para operações de média harmônica e contraste, mas não exigiu treinamento adicional. Superou significativamente um baseline de "ensemble" que misturava políticas sem o peso da probabilidade de alcance.
Geração de Moléculas:
- Escalarização: A abordagem igualou ou excedeu a qualidade de amostra (recompensa média e diversidade) e o hipervolume dos baselines que exigem treinamento conjunto para cada combinação de objetivos.
- Operadores Lógicos: O método alcançou altas porcentagens de alvos para operações de média harmônica e contraste, frequentemente superando a orientação por classificador. Crucialmente, manteve a validade molecular comparável aos modelos base.
- Custo de Inferência: Para escalarização, o método incorreu em overhead mínimo (8–40ms por amostra). Para operadores lógicos, foi 30–65 vezes mais rápido que a orientação por classificador porque evita a enumeração exaustiva de estados exigida por este último.

Significância e Alegações

O artigo afirma que o "Routing by Reaching" permite que as GFlowNets pré-treinadas sirvam como blocos de construção reutilizáveis. Ao compor esses modelos no momento da inferência, praticantes podem adaptar rapidamente a diversas combinações de objetivos e explorar a fronteira de Pareto sem o custo proibitivo do retreinamento.

Os autores enfatizam que, embora o método seja teoricamente exato para escalarização linear, ele fornece aproximações precisas para operadores não lineares complexos em regiões de alta recompensa. A principal significância reside no desacoplamento do treinamento de objetivos individuais do estágio de composição, facilitando assim a exploração multiobjetivo flexível em domínios de descoberta científica, como o design de fármacos, onde os requisitos frequentemente mudam dinamicamente. O trabalho não pretende introduzir novas capacidades generativas fundamentais, mas sim um mecanismo para aproveitar eficientemente modelos treinados existentes para tarefas multiobjetivo complexas.