🤖 machine learning

Amortizing intractable inference in large language models

Este artigo propõe o uso de GFlowNets para amortizar a inferência intratável em grandes modelos de linguagem, permitindo que eles amostrem de distribuições posteriores complexas para tarefas como geração com restrições e raciocínio de cadeia de pensamento como uma alternativa eficiente em termos de dados ao treinamento tradicional de máxima verossimilhança ou maximização de recompensa.

Autores originais: Edward J. Hu, Moksh Jain, Eric Elmoznino, Younesse Kaddar, Guillaume Lajoie, Yoshua Bengio, Esmeralda S. Whitammer

Publicado 2026-09-01

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Edward J. Hu, Moksh Jain, Eric Elmoznino, Younesse Kaddar, Guillaume Lajoie, Yoshua Bengio, Esmeralda S. Whitammer

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Os grandes modelos de linguagem são vastas bibliotecas de conhecimento humano, comprimidas em redes digitais que preveem a próxima palavra em uma frase com base no que veio antes. Eles são treinados para serem excelentes em continuar uma história ou responder a uma pergunta quando recebem um ponto de partida, um processo que flui naturalmente da esquerda para a direita. No entanto, muitas das tarefas mais interessantes que queremos que esses modelos realizem exigem pensar de trás para frente ou preencher o meio de uma história. Imagine receber o início e o fim de um conto e ser solicitado a inventar o meio, ou ser solicitado a explicar o raciocínio por trás de uma resposta específica. Nesses cenários, o modelo não pode simplesmente adivinhar a próxima palavra; ele deve pesquisar através de uma paisagem massiva e complexa de possibilidades para encontrar o caminho específico que conecta o início ao fim. Este é um problema matemático difícil porque o número de caminhos possíveis é tão enorme que verificar um por um é impossível, e os métodos padrão para navegar nessa paisagem frequentemente ficam presos em apenas uma ou duas rotas comuns, perdendo a rica variedade de soluções válidas que existem.

Pesquisadores do Instituto Mila – Quebec AI e da Universidade de Oxford desenvolveram uma nova maneira de ensinar esses modelos a navegar nessa paisagem complexa. Em vez de treinar o modelo para simplesmente maximizar uma pontuação para a "melhor" resposta, o que frequentemente leva a um pensamento repetitivo e estreito, eles usaram um método chamado inferência amortizada. Essa abordagem trata o problema como uma busca por um conjunto diversificado de caminhos corretos, em vez de um único caminho perfeito. Para fazer isso, eles empregaram uma técnica conhecida como rede de fluxo generativo, que atua como um guia que aprende a amostrar toda a gama de soluções possíveis, garantindo que o modelo explore diferentes cadeias de raciocínio válidas em vez de colapsar em um único padrão excessivamente utilizado.

A equipe demonstrou isso ajustando modelos de linguagem de grande escala para resolver problemas que exigem raciocínio de múltiplas etapas, como cálculos aritméticos ou classificar se uma crítica de filme expressa uma opinião ou um fato. Em um experimento, eles pediram ao modelo para preencher a frase intermediária ausente de uma história curta, dado o início e o fim. Os métodos padrão produziam frases que eram gramaticalmente corretas, mas que não se encaixavam no fluxo narrativo. O novo método, no entanto, gerou com sucesso frases intermediárias que ligavam o início e o fim de forma coerente, mostrando uma capacidade muito maior de compreender o contexto completo. Em outro teste envolvendo problemas matemáticos simples, o modelo foi equipado com uma ferramenta de calculadora e solicitado a decompor o cálculo em etapas. Enquanto outros métodos de treinamento faziam o modelo repetir números ou falhar ao usar a ferramenta corretamente, a nova abordagem ensinou o modelo a planejar suas etapas cuidadosamente, levando a uma melhoria dramática na precisão, especialmente em problemas que ele nunca tinha visto antes.

Os resultados sugerem que este método é particularmente poderoso quando os dados são escassos. Em um teste com apenas dez exemplos de críticas de filmes para aprender, o novo método alcançou uma precisão significativamente maior do que as técnicas de treinamento padrão, e continuou a superá-las mesmo com cinquenta exemplos. Os pesquisadores descobriram que, ao incentivar o modelo a amostrar uma ampla variedade de caminhos de raciocínio e, em seguida, combinar suas conclusões, o sistema tornou-se mais robusto e confiável. Esta é uma distinção crucial porque significa que o modelo não está apenas memorizando uma única maneira de resolver um problema, mas está aprendendo a estrutura subjacente de como raciocinar sobre ele. O estudo indica que, ao mudar o objetivo de encontrar a resposta única mais provável para explorar a total diversidade de respostas corretas, podemos tornar essas ferramentas poderosas mais flexíveis e mais adequadas para tarefas de raciocínio complexo.

O trabalho também destaca uma limitação na forma como os modelos atuais são frequentemente treinados. Quando os modelos são pressionados a maximizar uma recompensa, eles tendem a encontrar atalhos, como repetir a mesma frase ou ignorar a lógica real de um problema, apenas para obter uma pontuação alta. Os pesquisadores mostraram que seu método evita essa armadida ao corresponder à distribuição inteira de soluções possíveis, garantindo que o modelo não colapse em um único modo de pensamento falho. Essa abordagem permite que o modelo generalize melhor para novas situações, como resolver problemas aritméticos com mais números do que ele foi treinado, onde outros métodos falharam. As descobertas oferecem um caminho promissor para tornar a inteligência artificial mais capaz de um raciocínio genuíno, indo além do simples reconhecimento de padrões para uma compreensão mais matizada de como construir argumentos e resolver problemas passo a passo.

Resumo Técnico: Amortização de Inferência Intratável em Grandes Modelos de Linguagem

Declaração do Problema

Modelos de Linguagem Grandes (LLMs) autorregressivos comprimem o conhecimento em distribuições condicionais de próximo token, tornando a inferência tratável limitada à amostragem de início ao fim condicionada a um prefixo. No entanto, muitas tarefas críticas — como continuação de sequência, preenchimento de texto (infilling), geração com restrições e raciocínio de cadeia de pensamento (chain-of-thought) — exigem a amostragem de distribuições posteriores intratáveis.

Especificamente, tarefas como infilling (gerar um segmento médio $Z$ dado um início $X$ e um fim $Y$ ) ou raciocínio (encontrar uma cadeia de pensamento latente $Z$ que leve a uma resposta $Y$ dado um prompt $X$ ) envolvem o cálculo da posterior $p(Z|X, Y)$ . Embora a verossimilhança conjunta $p_{LM}(XZY)$ seja fácil de avaliar, as distribuições condicionais necessárias para amostrar $Z$ token a token a partir da posterior são intratáveis.

As abordagens existentes enfrentam limitações significativas:

Cadeia de Markov Monte Carlo (MCMC): Difícil criar distribuições de proposta para dados linguísticos multimodais e frequentemente proibitivamente lenta para novos inputs.
Aprendizado por Reforço (RL) / Otimização de Política (ex: PPO): Estes métodos maximizam recompensas, mas tendem a colapsar para um pequeno número de modos, falhando em capturar a diversidade total da distribuição alvo. Isso leva a "amostradores superotimizados" quando a função de recompensa é mal especificada.
Ajuste Fino Supervisionado (SFT): Requer acesso a amostras da distribuição alvo, que são geralmente indisponíveis para problemas intratáveis.

Metodologia

Os autores propõ-se a utilizar inferência bayesiana amortizada via Redes de Fluxo Generativo (GFlowNets) para treinar LLMs a amostrar dessas posteriores intratáveis.

Estrutura Central

A abordagem trata o problema como um modelo de variável latente onde um input $X$ gera um output $Y$ através de uma variável latente $Z$ (por exemplo, uma cadeia de raciocínio ou texto preenchido). O objetivo é treinar uma política $q_{GFN}(Z|X, [Y])$ para amostrar da posterior $p_{LM}(Z|X, Y) \propto p_{LM}(XZY)$ .

Objetivos de GFlowNet: O método utiliza GFlowNets, uma classe de algoritmos de aprendizado por reforço que busca diversidade. Ao contrário do RL padrão que maximiza a recompensa esperada, as GFlowNets treinam uma política para amostrar objetos com uma probabilidade proporcional a uma função de recompensa dada $R(Z)$ .
Definição de Recompensa: A recompensa é definida pela verossimilhança conjunta atribuída pelo LLM base: $R(Z) = p_{LM}(XZY)$ . Isso efetivamente define a distribuição alvo como a posterior bayesiana.
Procedimento de Treinamento:
- Inicialização: A política da GFlowNet é inicializada como uma cópia de um LLM pré-treinado (frequentemente ajustado com LoRA para eficiência).
- Objetivo de Aprendizado: Os autores empregam um objetivo de Equilíbrio de Subtrajetória (SubTB) modificado. Este objetivo garante que a probabilidade de gerar uma sequência completa seja proporcional à sua recompensa, mesmo quando as trajetórias podem terminar em qualquer estado.
- Amortização: Ao condicionar a política ao input $X$ (e opcionalmente $Y$ ), o modelo aprende um amostrador generalizável. Isso permite inferência eficiente em inputs não vistos sem a necessidade de executar procedimentos de amostragem caros como MCMC para cada consulta.
- Exploração: Para lidar com o espaço de busca combinatório, os lotes de treinamento são compostos por trajetórias da política atual, uma versão temperada da política e um buffer de replay de trajetórias passadas.

Aplicação a Cadeia de Pensamento (Chain-of-Thought)

O artigo interpreta o raciocínio de cadeia de pensamento como um problema de modelagem de variável latente. Em vez de solicitar ao modelo que gere uma única cadeia, o modelo ajustado com GFlowNet amostra diversas cadeias latentes $Z$ . A predição final é obtida via Média de Modelos Bayesianos (Bayesian Model Averaging): amostrando múltiplos $Z$ 's da GFlowNet e agregando as predições $Y$ resultantes do LLM base.

Principais Contribuições

Algoritmo Geral: Um método geral para amostragem amortizada de posteriores de LLM intratáveis usando objetivos de GFlowNet.
Abordagem de Raciocínio Probabilístico: Uma formulação do raciocínio de cadeia de pensamento como um problema de inferência bayesiana, permitindo a adaptação eficiente de dados para tarefas de racionalização de múltiplos passos.
Validação Empírica: Demonstração do método em quatro domínios distintos:
- Continuação de sentença (maximizando a verossimilhança enquanto mantém a diversidade).
- Preenchimento de história (infilling) (gerando segmentos médios coerentes).
- Classificação de subjetividade (aprendizado few-shot com racionalidades latentes).
- Aritmética de inteiros com uso de ferramentas (raciocínio passo a passo).

Resultados Experimentais

Os autores avaliaram o método contra baselines incluindo amostragem padrão, busca em feixe diversa (diverse beam search), ajuste fino supervisionado (SFT) e Otimização de Política Próxima (PPO).

Continuação de Sentença: O ajuste fino com GFlowNet alcançou maior diversidade de amostras mantendo alta log-verossimilhança em comparação com a busca em feixe diversa, mesmo quando o baseline recebeu 5 $\times$ mais computação.
Infilling de História: No dataset ROCStories, o ajuste fino com GFlowNet superou significativamente o prompting e o SFT em BERTScore, BLEU-4 e avaliação GPT-4, produzindo preenchimentos que melhor conectavam o início e o fim das histórias.
Classificação de Subjetividade (Few-Shot): Usando um modelo de 6B parâmetros com apenas 10 exemplos rotulados, o ajuste fino com GFlowNet alcançou 71,4% de acurácia, superando o SFT (64,3%) e o prompting few-shot (61,3%).
Aritmética de Inteiros com Uso de Ferramentas: Em uma tarefa fora de distribuição (OOD) envolvendo 5 operandos (treinado em 3-4), o ajuste fino com GFlowNet alcançou 40,7% de acurácia. Isso superou significativamente o SFT (12,8%) e o PPO (5,6%). Os autores observam que o PPO sofreu de erro de especificação de recompensa, levando a sequências espúrias que não chamavam validamente a ferramenta de calculadora, enquanto a abordagem de correspondência de distribuição da GFlowNet foi robusta a isso.

Significância e Alegações

O artigo afirma que o ajuste fino com GFlowNet oferece uma alternativa principiada ao treinamento de máxima verossimilhança e à otimização de política de maximização de recompensa. Sua principal significância reside em:

Diversidade e Robustez: Ao corresponder à distribuição alvo completa em vez de maximizar uma única recompensa, o método evita o colapso de modo e é robusto à má especificação da recompensa.
Eficiência de Dados: A abordagem de inferência amortizada permite a adaptação eficaz a tarefas que exigem raciocínio complexo com pouquíssimos exemplos rotulados.
Generalização: O método demonstra superior generalização fora de distribuição, particularmente em tarefas de raciocínio onde métodos de RL padrão falham em explorar o espaço de solução de forma eficaz.

Os autores concluem que este paradigma converte computação em melhor desempenho em tempo de teste sem exigir dados adicionais, permitindo um raciocínio mais flexível com LLMs. Eles reconhecem limitações quanto à escala dos modelos usados (até 6B parâmetros) e o fato de que o método melhora as capacidades de inferência, mas não corrige inerentemente problemas de alucinação ou de má calibração enraizados na representação de conhecimento do modelo base.