🤖 machine learning

Compute Aligned Training: Optimizing for Test Time Inference

Este artigo apresenta o "Treinamento Alinhado à Computação", uma nova estrutura que alinha os objetivos de treinamento de Modelos de Linguagem de Grande Porte com estratégias de inferência em tempo de teste, derivando novas funções de perda, melhorando assim significativamente a escalabilidade de desempenho em comparação com as abordagens padrão de SFT e RL.

Autores originais: Adam Ousherovitch, Ambuj Tewari

Publicado 2026-04-29

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Adam Ousherovitch, Ambuj Tewari

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está treinando um estudante para um tipo muito específico de exame final.

O Jeito Antigo (Treinamento Padrão):
Tradicionalmente, quando ensinamos modelos de IA (como os que escrevem ensaios ou resolvem problemas de matemática), agimos como um professor rigoroso que avalia cada tarefa individualmente. Se o estudante acerta uma questão, dizemos "Bom trabalho!" e, se erra, dizemos "Tente novamente". Queremos que o estudante seja perfeito em acertar a primeira resposta toda vez.

O problema é que isso não os prepara para o teste real. No mundo real, não pedimos ao modelo apenas uma resposta. Pedimos que ele gere muitas respostas diferentes (como pedir a um estudante para escrever 10 rascunhos diferentes de um ensaio) e, em seguida, escolhemos a melhor ou votamos na mais comum.

Se você treina um estudante para ser perfeito no primeiro rascunho, ele pode ficar excessivamente confiante e parar de explorar novas ideias. Pode ficar preso em uma maneira "segura" de pensar. Quando você pedir a ele para gerar 10 rascunhos depois, ele pode apenas escrever 10 versões ligeiramente diferentes da mesma resposta "segura", e nenhuma delas pode ser a solução brilhante e criativa de que você precisava.

O Jeito Novo (Treinamento Alinhado ao Computação - CAT):
Os autores deste artigo propõem um novo método de treinamento chamado Treinamento Alinhado ao Computação (CAT). Em vez de avaliar o estudante em uma única tarefa, eles avaliam o estudante com base no desempenho que ele teria no formato do exame real.

Veja como funciona, usando algumas analogias:

1. A Analogia do "Pass@N" (O Bilhete de Loteria)

Imagine que o exame permite que você compre N bilhetes de loteria (digamos, 64 bilhetes) para uma única questão. Você ganha se qualquer um dos seus 64 bilhetes for o número vencedor.

Treinamento Padrão: Se o estudante já tem 50% de chance de ganhar com um bilhete, o professor continua pressionando-o para chegar a 90% ou 99%. Mas, em uma loteria de 64 bilhetes, uma vez que você tem 50% de chance, comprar mais bilhetes garante a vitória de qualquer maneira. O professor está desperdiçando energia tentando tornar um estudante "bom" em "perfeito" em uma questão fácil, ignorando as questões difíceis onde o estudante tem apenas 1% de chance.
Treinamento CAT: O professor percebe: "Ei, este estudante já tem boa probabilidade de ganhar com 64 bilhetes. Vou parar de avaliar essa questão fácil tão rigorosamente." Em vez disso, ele concentra toda a sua energia nas questões difíceis onde o estudante está falhando atualmente. Ele ensina o estudante a distribuir suas chances, garantindo que pelo menos um dos 64 bilhetes seja vencedor, em vez de tentar tornar um bilhete específico perfeito.

2. A Analogia do "Voto Majoritário" (A Eleição)

Imagine que o exame pede ao modelo para gerar 10 respostas, e a turma vota na mais popular.

Treinamento Padrão: O professor tenta fazer com que a primeira resposta do estudante seja a absolutamente mais popular, mesmo que já esteja ganhando por uma margem esmagadora. É como um candidato que já está ganhando 90% dos votos; o professor continua dizendo que ele deve fazer mais campanha, o que é uma perda de tempo.
Treinamento CAT: O professor observa o "ponto de virada". Se a resposta do estudante está atualmente perdendo por uma pequena margem, o professor dá um grande impulso para ajudá-lo a cruzar a linha de chegada. Se o estudante já está ganhando confortavelmente, o professor para de dar pontos extras. Isso força o modelo a se concentrar nas questões de "campo de batalha", onde um pouco de esforço extra pode inverter o voto.

3. A Analogia do "Melhor de N" (O Show de Talentos)

Imagine que o modelo gera 10 músicas, e você mantém apenas a única melhor.

Treinamento Padrão: O professor tenta fazer com que a música média soe boa. Isso leva a músicas seguras, chatas, "meio-termo", que nunca são ruins, mas nunca são incríveis também.
Treinamento CAT: O professor diz ao modelo: "Está tudo bem se 9 das suas músicas forem terríveis, desde que a 10ª seja uma obra-prima." Isso incentiva o modelo a correr riscos e tentar ideias estranhas e de alta variância. Ele aprende a produzir uma ampla variedade de saídas, sabendo que o processo de "busca" (escolher a melhor) filtrará as falhas e manterá o vencedor.

O Que Eles Realmente Fizeram?

Os pesquisadores testaram essa ideia de três maneiras específicas:

Problemas de Matemática: Eles treinaram modelos de IA para resolver problemas de matemática. Quando usaram o CAT para preparar os modelos para "Pass@N" (gerar muitas respostas e escolher a correta), os modelos ficaram significativamente melhores em resolver problemas difíceis em comparação com o método padrão.
Votação: Eles treinaram modelos para gerar respostas para um "Voto Majoritário". Novamente, os modelos CAT tiveram melhor desempenho quando a estratégia de votação foi aplicada.
Design de Proteínas: Eles até testaram isso em um tipo completamente diferente de IA que projeta proteínas (os blocos de construção da vida). Em um cenário onde a IA precisava encontrar uma estrutura de proteína rara e de alta qualidade entre muitas ruins, os modelos treinados com CAT foram muito melhores em encontrar a proteína "jackpot" do que os modelos padrão.

A Conclusão

O artigo argumenta que como você treina um modelo deve corresponder a como você o usa.

Se você planeja usar o modelo para gerar muitas opções e escolher a melhor, você não deve treiná-lo para ser perfeito na primeira tentativa. Você deve treiná-lo para ser bom em criar um conjunto de opções onde a melhor seja provável de ser encontrada.

Eles chamam isso de "Treinamento Alinhado ao Computação" porque alinha o processo de treinamento com o "computação" (o poder de pensamento extra) usado no momento do teste. É uma maneira de obter melhores resultados sem precisar de computadores mais poderosos ou mais tempo de treinamento; você apenas muda as regras do jogo para corresponder à realidade de como o modelo será usado.

1. Declaração do Problema: O Desalinhamento Treinamento-Inferência

O artigo aborda uma desconexão fundamental no desenvolvimento moderno de Modelos de Linguagem de Grande Escala (LLMs): os objetivos de treinamento são otimizados para o desempenho de amostra única, enquanto a implantação depende cada vez mais de estratégias de computação no momento do teste (busca).

O Status Quo: Métodos padrão de pós-treinamento, como Ajuste Fino Supervisionado (SFT) e Aprendizado por Reforço (RL), otimizam a probabilidade de uma única saída correta (por exemplo, minimizando a Entropia Cruzada ou maximizando a recompensa esperada de uma amostra).
O Conflito: Estratégias modernas de inferência (por exemplo, Pass@N, Votação Majoritária, Best-of-N) geram múltiplas soluções candidatas e as agregam para encontrar a melhor resposta.
- Exemplo (Pass@N): Se um modelo tem 50% de chance de estar correto, aumentar essa chance para 90% rende retornos decrescentes para uma métrica Pass@100 (onde o sucesso já é quase certo). O treinamento padrão, no entanto, continua a empurrar para 100% de probabilidade, desperdiçando capacidade em amostras "fáceis".
- Exemplo (Votação Majoritária): Um modelo precisa apenas de uma pluralidade (por exemplo, 35% de probabilidade) para vencer rivais. O treinamento padrão empurra para $p \to 1.0$ , encorajando vitórias "avassaladoras" em vez de um consenso robusto, o que pode degradar o desempenho quando o modelo é forçado a atuar como um ensemble.
Consequência: Esse desalinhamento causa colapso da política (redução da diversidade) e impede que os modelos utilizem efetivamente orçamentos aumentados de computação no momento do teste.

2. Metodologia: Treinamento Alinhado à Computação (CAT)

Os autores propõem o Treinamento Alinhado à Computação (CAT), um framework que alinha os objetivos de treinamento com a estratégia de inferência específica utilizada no momento do teste.

Conceituação Central

Os autores conceitualizam as estratégias de inferência não como heurísticas post-hoc, mas como operadores diferenciáveis ( $T$ ) que transformam a política base $\pi_\theta$ em uma distribuição efetiva no momento do teste $\tilde{\pi}_\theta$ :
$\tilde{\pi}_\theta(y|x) = T(\pi_\theta(\cdot|x), \phi)$
onde $\phi$ representa hiperparâmetros (por exemplo, orçamento de amostras $N$ ).

A Função de Perda Unificada

Em vez de minimizar o log-verossimilhança negativo da verdade fundamental sob a política base ( $\pi_\theta$ ), o CAT minimiza a perda sob a política efetiva de nível de sistema ( $\tilde{\pi}_\theta$ ):
$L_{CAT}(\theta) = -\mathbb{E}_{(x, y^*)} [\log \tilde{\pi}_\theta(y^*|x)]$

Mecanismo de Escalonamento de Gradiente

Para tornar isso computacionalmente viável sem amostrar todo o espaço de saída, os autores derivam uma aproximação diagonal do gradiente. Eles mostram que o gradiente do objetivo CAT pode ser aproximado escalando o gradiente padrão por um fator de peso $w(p, \phi)$ :
$\nabla_\theta L_{CAT} \approx w(p, \phi) \cdot \nabla_\theta L_{CE}$
Aqui, $p$ é a probabilidade base da resposta correta, e $w$ representa a utilidade marginal de aumentar $p$ em relação à estratégia no momento do teste.

Fatores de Escalonamento Chave Derivados:

Pass@N (SFT & RL):
- $w(p, N) = \frac{N p (1-p)^{N-1}}{1 - (1-p)^N}$
- Comportamento: Suprime gradientes para amostras fáceis (alta $p$ ) onde o sucesso já está garantido, focando o aprendizado em amostras "difíceis" onde ganhos marginais melhoram a cobertura.
Votação Majoritária (SFT & RL):
- $w(p, N, k) \approx \frac{k \binom{N}{k} p^k (1-p)^{N-k}}{\sum_{i=k}^N \binom{N}{i} p^i (1-p)^{N-i}}$
- Comportamento: Concentra a massa do gradiente perto do limiar de consenso ( $p \approx k/N$ ). Ignora amostras que já estão vencendo ou perdendo irremediavelmente, focando apenas no "ponto de virada".
Best-of-N (RL):
- $w \propto N (P_{<y})^{N-1}$
- Comportamento: Cria dinâmicas de "o vencedor leva tudo". Os gradientes reforçam apenas as amostras de maior recompensa em um lote, encorajando o modelo a explorar caudas de alta variância e alta recompensa da distribuição, em vez de colapsar para uma média segura.

Garantias Teóricas

O artigo prova que, para Estratégias Competitivas (onde aumentar a probabilidade de um rival prejudica o sucesso), a aproximação diagonal é uma subestimativa conservadora do gradiente verdadeiro. Isso garante que o otimizador nunca dê um passo na direção errada, atuando como um estabilizador natural contra o colapso da política.

3. Contribuições Principais

Framework Unificado de Operadores: Formaliza estratégias no momento do teste como operadores diferenciáveis, derivando um mecanismo geral para alinhar o treinamento com estratégias de inferência arbitrárias (SFT e RL).
Extensão Além do Pass@N: Generaliza trabalhos anteriores (por exemplo, Otimização Direta de Cobertura) para Votação Majoritária e Best-of-N, cobrindo tanto os paradigmas SFT quanto RL.
Agnosticismo de Modalidade: Demonstra a aplicabilidade do framework além dos LLMs para Modelos de Linguagem de Proteínas (PLMs), mostrando desempenho melhorado em paisagens de recompensa complexas e multimodais.
Análise de Variância: Fornece uma análise teórica e empírica da inflação da variância do gradiente, propondo técnicas de normalização (por exemplo, estimadores ponderados por log) para estabilizar o treinamento.

4. Resultados Experimentais

Os autores avaliaram o CAT no benchmark MATH (usando Mistral-7B) e Geração de Proteínas (usando ProtGPT2).

A. Modelos de Linguagem (Benchmark MATH)

Pass@N (SFT): Modelos treinados com CAT para $N=64$ sacrificaram a precisão de amostra única (Pass@1 caiu ~2,3%), mas alcançaram uma melhoria absoluta de 7,8% na cobertura Pass@64 em comparação com o SFT padrão.
Votação Majoritária (SFT): Modelos CAT superaram consistentemente os baselines em todos os orçamentos de inferência. Um "ponto ideal" foi observado em $N=16$ , onde o modelo equilibrou viés e variância de forma ótima.
Aprendizado por Reforço (GRPO): O RL padrão sofreu de colapso da política, saturando rapidamente (Pass@32 $\approx$ 35,8%). Modelos treinados com CAT preservaram a variância necessária para a busca, alcançando 40,0% no Pass@32.
Efeito de Aquecimento: Usar CAT na fase de aquecimento SFT melhorou significativamente o desempenho subsequente do RL, aumentando até mesmo a precisão de tiro único (Pass@1) ao enriquecer os caminhos de raciocínio do modelo.

B. Geração de Proteínas (Modelos de Linguagem de Proteínas)

Incondicional (Vale da Morte): Em uma paisagem de recompensa multimodal (ótimo local em $h \approx 0.35$ , ótimo global em $h \approx 0.75$ , separados por um "vale" de agregação), o RL padrão ficou preso no ótimo local. O Best-of-N CAT conseguiu "pular" o vale com sucesso, encontrando o máximo global mantendo alta variância distribucional.
Geração Condicional: Modelos CAT aprenderam a gerar sequências com hidrofobicidade inversa às entradas, demonstrando escalabilidade superior e alinhamento com a tarefa relacional em comparação ao RL padrão.

5. Significado e Implicações

Mudança de Paradigma: O artigo argumenta que os objetivos de treinamento devem ser projetados com o procedimento de inferência a jusante em mente. À medida que a computação no momento do teste se torna a alavanca primária para escalar a capacidade do modelo, o treinamento deve otimizar o resultado agregado, não a amostra única.
Eficiência: O CAT alcança esses ganhos sem aumentar os custos de computação de treinamento. Simplesmente re-pesa gradientes existentes com base na utilidade marginal da amostra para a estratégia no momento do teste.
Estabilidade vs. Exploração: O framework fornece uma maneira principiante de trocar precisão de amostra única por diversidade distribucional, permitindo que os modelos utilizem efetivamente procedimentos de busca como Best-of-N e Votação Majoritária sem colapsar em comportamento de busca de modo.
Generalizabilidade: Ao provar a eficácia tanto em LLMs quanto em PLMs, o artigo sugere que o "Treinamento Alinhado à Computação" é um princípio universal para qualquer modelo generativo que utilize busca no momento do teste.

Em conclusão, o Treinamento Alinhado à Computação preenche a lacuna entre aprendizado e busca, garantindo que os modelos não sejam apenas "inteligentes" ao gerar uma resposta, mas sejam otimizados para ser "inteligentes" ao encontrar a melhor resposta quando recebem o orçamento computacional para buscar.