🤖 machine learning

Why the Third Axis Is Freedom

Este artigo argumenta que o "terceiro eixo" no treinamento generativo não é a própria modelagem explorativa (XM), mas sim a "liberdade" — a fraqueza das restrições comportamentais — que o XM facilita ao aumentar a probabilidade de correspondência e supera empiricamente os métodos tradicionais de seleção em cenários de generalização e mudança de distribuição.

Autores originais: Michael Timothy Bennett

Publicado 2026-08-07

📖 8 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Michael Timothy Bennett

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Jogo de Adivinhação da IA

Imagine que você está ensinando um robô a desenhar imagens. No mundo da inteligência artificial, isso é geralmente feito através de um processo chamado "treinamento generativo". O robô tenta fazer uma imagem e, se ela parecer diferente do exemplo que você mostrou a ele, ele recebe uma "penalidade" ou uma pontuação ruim. O robô quer minimizar essa penalidade, então ele aprende a copiar o exemplo o mais perfeitamente possível. Mas aqui está o detalhe: se o robô apenas aprender a cuspir a única resposta mais comum que vê, ele pode se tornar muito bom em copiar aquela coisa específica, mas terrível em lidar com qualquer coisa nova ou diferente. Ele se torna um papagaio rígido em vez de um artista criativo.

Por muito tempo, os cientistas se perguntaram como tornar esses modelos mais flexíveis. Eles descobriram um truque chamado "Modelagem Exploratória". Em vez de pedir ao robô para fazer apenas um palpite, você pede para ele fazer muitos palpites de uma vez — digamos, dez desenhos diferentes. Então, você só pune aquele que estiver mais próximo do alvo, ignorando os outros nove. Isso força o robô a manter uma variedade maior de ideias em sua cabeça, esperando que uma delas seja a correta. Essa ideia foi recentemente chamada de um novo "terceiro eixo" do treinamento de IA, sugerindo que a capacidade de manter muitos "modos" ou versões de uma resposta é a chave para tornar a IA mais inteligente.

Mas será que manter muitas ideias é o mesmo que ser inteligente? Este artigo faz uma pergunta mais profunda: a magia está no número de palpites ou na liberdade que o robô tem para escolher? O autor argumenta que simplesmente contar quantos palpites um modelo faz não é a história toda. Em vez disso, o verdadeiro segredo é a "liberdade" — que, neste contexto, significa de quantas maneiras diferentes o modelo é permitido estar correto sem quebrar as regras. É a diferença entre um robô que é forçado a escolher de uma lista minúscula de dez opções e um robô que é permitido escolher de uma vasta biblioteca de possibilidades, mesmo que ele use apenas algumas delas no momento. O artigo explora se essa "liberdade" é o que realmente ajuda a IA a aprender melhor, em vez de apenas o número bruto de palpites.

O Terceiro Eixo é Liberdade, Não Apenas uma Contagem

O autor, Michael Timothy Bennett, lança um novo olhar sobre este "terceiro eixo" do treinamento de IA. Ele argumenta que, embora a ideia anterior de "expressividade generativa" (a capacidade de manter muitos modos) seja interessante, ela é, na verdade, um pouco de uma pista falsa. O verdadeiro herói da história é a liberdade.

Pense no comportamento de um modelo como um conjunto de regras para um jogo. Uma regra "fraca" é uma regra que não te restringe muito. Por exemplo, uma regra dizendo "Você pode usar qualquer cor de camisa" é fraca porque permite milhões de possibilidades. Uma regra "forte" dizendo "Você deve usar uma camisa vermelha" é forte porque te deixa com apenas uma escolha. Bennett argumenta que os melhores modelos de IA são aqueles que mantêm suas regras o mais "fracas" possível, enquanto ainda são corretos. Essa "fraqueza" é o que ele chama de liberdade. É o volume de conclusões compatíveis que o modelo ainda pode imaginar. Se um modelo é muito rígido (muito forte), ele pode falhar quando o mundo muda. Se ele é livre (fraco), ele pode se adaptar a novas situações porque não se trancou em um único caminho estreito.

O artigo desafia a ideia de que o "terceiro eixo" é simplesmente sobre o número de saídas que um modelo pode produzir (sua "contagem de modos"). Bennett mostra que um modelo poderia teoricamente ter um número enorme de saídas permitidas, mas ainda assim ser terrível em generalizar se apenas usar uma delas. Por outro lado, um modelo com um conjunto menor de saídas permitidas pode ser incrivelmente poderoso se espalhar sua atenção uniformemente entre elas. O artigo prova matematicamente que a liberdade é uma propriedade da função do modelo (o que ele realmente faz), não de sua forma (quantos parâmetros ou camadas possui). Você pode mudar o tamanho do modelo ou os dados que ele vê, mas se a "liberdade" de seu comportamento permanecer a mesma, sua capacidade de generalizar permanecerá a mesma.

A Magia do "Best-of-K"

Então, como obtemos essa liberdade? O artigo analisa um método chamado Modelagem Exploratória (XM), onde um modelo gera $K$ candidatos e escolhe o melhor. O autor deriva uma fórmula matemática mostrando exatamente como esse processo funciona.

Imagine que você está procurando por uma chave específica em uma sala escura.

Se você procurar apenas uma vez ( $K=1$ ), você pode perder a chave mesmo que ela esteja bem ali.
Se você procurar dez vezes ( $K=10$ ), suas chances de encontrar a chave aumentam.

O artigo mostra que esse processo de "procurar dez vezes" age como uma lupa sobre a liberdade do modelo. Ele não cria nova liberdade do nada; em vez disso, ele recompensa modelos que possuem um amplo "perfil de permissão". Se um modelo permite muitas saídas diferentes (alta liberdade), o processo "best-of-K" tem muito mais probabilidade de encontrar uma boa correspondência. Se o modelo é rígido e permite apenas uma saída, procurar dez vezes não ajuda muito, porque as dez tentativas serão provavelmente a mesma coisa entediante.

O autor prova que, à medida que você aumenta $K$ (o número de palpites), o processo de treinamento naturalmente empurra o modelo para ser mais "fraco" (mais livre). Ele para de tentar ser uma cópia perfeita de apenas uma coisa e começa a aprender a cobrir uma gama mais ampla de possibilidades. Isso é especialmente verdadeiro quando os alvos (as coisas que o modelo está tentando aprender) não são todos iguais. Se alguns alvos são raros e outros são comuns, um $K$ pequeno fará o modelo focar apenas nos comuns. Mas, conforme $K$ aumenta, o modelo é forçado a prestar atenção nos raros também, eventualmente espalhando sua "permissão" por todas as opções válidas.

Os Experimentos: Colocando a Teoria à Prova

O artigo não fica apenas no campo da matemática; ele realiza dois grandes experimentos para ver se isso se sustenta no mundo real das redes neurais.

Experimento 1: Mais palpites tornam o modelo mais livre?
Os pesquisadores treinaram modelos de IA com diferentes valores de $K$ (de 1 a 32). Eles mediram a "liberdade" dos modelos treinados contando quantas saídas diferentes válidas os modelos eram realmente permitidos produzir.

O Resultado: Quando usaram um $K$ mais alto, os modelos tornaram-se significativamente mais livres. Por exemplo, sob alvos uniformes, aumentar $K$ de 1 para 8 aumentou o "log médio de liberdade" em cerca de 8,3. Os modelos não ficaram apenas melhores em adivinhar; eles realmente expandiram seu "perfil de permissão" para incluir mais possibilidades válidas. Isso confirmou que o método de treinamento converte com sucesso o orçamento de "palpites" em liberdade funcional.

Experimento 2: Escolher o modelo mais "livre" o torna melhor?
Aqui, os pesquisadores treinaram vários modelos e depois tiveram que escolher o melhor para usar em uma nova situação (onde as regras do jogo mudaram ligeiramente). Eles compararam duas formas de escolha:

Validação do Filho (Child-Validation): Escolher o modelo que teve o melhor desempenho nos dados de treinamento originais (a tarefa "filha").
Seleção por Liberdade (Freedom Selection): Escolher o modelo que teve a maior pontuação de "liberdade", mesmo que não fosse o absoluto melhor nos dados originais.

O Resultado: O método de "Seleção por Liberdade" venceu 29 de 30 vezes. Os modelos escolhidos por sua liberdade tiveram um desempenho muito melhor nos novos dados equilibrados (melhorando a taxa de acerto de aproximadamente 0,317 para 0,389). Isso sugere que, ao selecionar pela liberdade, você está selecionando um modelo que é mais robusto e adaptável à mudança, mesmo que pareça ligeiramente menos perfeito nos dados específicos em que foi treinado.

A Grande Visão: Meios vs. Fins

O artigo conclui com uma distinção clara entre a ferramenta e o objetivo.

A Exploração (os $K$ palpites) é o meio. É o mecanismo, o orçamento, a maneira como forçamos o modelo a olhar ao redor.
A Liberdade é o fim. É a propriedade real do modelo que o torna bom em generalizar.

O autor argumenta que a "expressividade generativa" (a ideia de que ter muitos modos é o objetivo) é apenas um substituto para a liberdade. É uma forma de contar as possibilidades, mas perde a nuance de como essas possibilidades são usadas. Um modelo pode ter uma contagem de modos alta, mas ainda ser rígido se não as usar bem. A verdadeira generalização vem da liberdade — a capacidade do modelo de permanecer aberto a muitos futuros compatíveis.

No fim, o artigo sugere que o "terceiro eixo" do treinamento de IA sempre foi a liberdade. Os novos métodos, como a Modelagem Exploratória, são apenas uma maneira inteligente de treinar modelos para serem menos restritos, menos rígidos e mais prontos para o que quer que o futuro lhes reserve. Ao treinar com mais palpites, não estamos apenas ensinando a IA a adivinhar melhor; estamos ensinando-a a ser mais livre.

Resumo Técnico: Por que o Terceiro Eixo é a Liberdade

Definição do Problema
Trabalhos recentes sobre Modelagem Exploratória (XM) propõem a "expressividade generativa" como um terceiro eixo de pré-treinamento, definida como o número máximo de modos que um modelo minimizador de perda pode reter sobre uma classe de distribuições de dados. O XM treina modelos gerando $K$ candidatos por etapa e atualizando apenas com base no par mais próximo da meta. Embora o XM reporte ganhos de desempenho que escalam com $K$ , tamanho do modelo e dados, este artigo argumenta que a "expressividade generativa" é uma métrica inferior para compreender a generalização. Especificamente, ela não consegue classificar modelos treinados sob o mesmo objetivo, não descreve o modelo específico selecionado pelo treinamento e carece de um teorema formal que a conecte à generalização ótima. O artigo postula que o verdadeiro mecanismo subjacente que impulsiona o sucesso do XM não é a contagem de modos, mas a liberdade — uma propriedade da função definida como a "fraqueza da restrição" implícita no comportamento de um modelo.

Metodologia
O artigo emprega um framework teórico baseado na Teoria do Empilhamento (Stack Theory), que mede a "liberdade" de uma política contando o número de conclusões compatíveis (refinamentos) que ela permite dentro de uma linguagem incorporada, em vez de contar parâmetros ou modos. A metodologia procede através de três etapas principais:

Derivação Teórica:
- O autor deriva uma Identidade de Cobertura Best-of- $K$ para espaços de saída mensuráveis arbitrários. Esta identidade mostra que o risco do treinamento hard best-of- $K$ depende da probabilidade de um candidato errar uma região aceitável, elevada à potência $K$ .
- Prova-se que, sob consistência de implantação (onde os candidatos de treinamento são extraídos da mesma lei usada na inferência), o processo de treinamento aplica uma transformação $q \mapsto 1 - (1-q)^K$ à massa das regiões aceitáveis.
- Uma linguagem generativa finita é construída onde a liberdade de uma política é definida pela cardinalidade de sua extensão (o conjunto de conclusões compatíveis). O artigo prova que para $K > 1$ , a probabilidade de atingir um alvo aumenta estritamente com a liberdade local da política, desde que a política distribua a massa uniformemente por seus outputs permitidos.
- O artigo distingue entre modelos determinísticos de $K$ -cabeças (que possuem um teto de suporte rígido de $K$ ) e XM Forward estocástico (onde o suporte pode exceder $K$ ).
Design Experimental:
- Experimento 1 (Dinâmica de Treinamento): Um gerador contínuo condicionado a latentes foi treinado usando XM Forward baseado em amostragem com variando $K$ ( $1, 2, 4, \dots, 32$ ). O estudo mediu o "perfil de permissão implantado" (o conjunto de saídas que o modelo pode emitir com probabilidade positiva) e calculou o log-liberdade resultante. Isso foi testado sob distribuições de alvo uniformes e dependentes de contexto.
- Experimento 2 (Seleção de Modelo): Um pool de modelos treinados via XM foi gerado. Duas estratégias de seleção foram comparadas: a "validação de filho" padrão (selecionando com base no desempenho no processo de distribuição de treinamento) e um "seletor de liberdade" (selecionando modelos que mantêm alto desempenho de filho, mas maximizam a liberdade medida em contextos de pais não rotulados). O objetivo era testar se a seleção por liberdade melhora a generalização sob um deslocamento de distribuição (de frequências de cauda longa de filhos para frequências equilibradas de pais).

Principais Contribuições

Reenquadramento do Terceiro Eixo: O artigo argumenta formalmente que o "terceiro eixo" na modelagem generativa é a liberdade (o volume de conclusões compatíveis), não a expressividade generativa (contagem de modos). A liberdade é uma propriedade da função, enquanto a expressividade é uma capacidade de nível de objetivo.
Conexão Formal entre Exploração e Liberdade: O autor prova que o treinamento Best-of- $K$ atua como um mecanismo para amplificar o acesso a permissões raras. Para $K > 1$ , o objetivo prefere estritamente políticas com maior liberdade local (mais saídas permitidas) sobre aquelas com menos, desde que a massa seja equilibrada.
Teorema de Generalização: Prova-se que, sob demandas não vazias e independentes em contextos não vistos, a probabilidade de uma política permanecer compatível com requisitos futuros é exatamente proporcional à sua liberdade total.
Validação Empírica:
- O artigo demonstra que aumentar $K$ no treinamento XM Forward aumenta diretamente a liberdade medida da política implantada.
- Mostra que selecionar modelos com base na liberdade (em vez de apenas no desempenho da tarefa de filho) melhora significantemente o desempenho em uma distribuição de pai deslocada, mesmo quando os modelos selecionados possuem um desempenho ligeiramente inferior na tarefa de filho original.

Resultados

Teórico: A identidade de cobertura derivada confirma que a exploração ( $K$ ) amplifica o valor de permissões raras. O artigo prova que para $K \ge 2$ , o ótimo populacional único para alvos uniformes é a distribuição uniforme sobre o suporte total, o que maximiza a liberdade local. Para alvos não uniformes, o ótimo troca frequência por amplitude de suporte conforme $K$ aumenta, eventualmente convergindo para massa uniforme sobre o suporte total.
Experimento 1: Aumentar $K$ de 1 para 32 aumentou o log-liberdade média medida. Sob alvos uniformes, a liberdade saturou em $K=16$ . Sob alvos dependentes de contexto, a liberdade continuou a subir, demonstrando que um $K$ maior converte orçamentos de exploração em perfis de permissão mais amplos.
Experimento 2: Em 29 de 30 mundos de teste, o seletor de liberdade superou o seletor de validação de filho na tarefa de pai equilibrado. Os modelos selecionados por liberdade alcançaram uma taxa de acerto de pai equilibrado de 0,389 comparado a 0,317 para o baseline de validação de filho (uma melhoria de +0,072). Esses modelos retiveram repertórios válidos mais amplos (8,53 saídas ativas vs. 5,85) e maior log-liberdade, aceitando uma redução marginal no desempenho de cauda longa do filho.

Significância e Alegações
O artigo alega fornecer uma divisão formal de trabalho para a modelagem generativa:

Parâmetros e Dados determinam o tamanho da região permitida que um modelo pode incorporar.
Exploração ( $K$ ) controla o quão fortemente o treinamento recompensa o acesso amostrado a essa região.
Liberdade é a propriedade resultante da função que determina a compatibilidade futura.

O autor afirma que a "expressividade generativa" é meramente um proxy para a liberdade que descarta a estrutura de extensão essencial para a generalização. O artigo conclui que o XM é um meio para um fim: é um mecanismo eficaz para o "free-maxing" (selecionar a política correta mais fraca). O "terceiro eixo" sempre foi a liberdade; o XM simplesmente operacionaliza a pressão de treinamento para se importar com ela. Os resultados sugerem que selecionar pela liberdade, em vez de apenas minimizar a perda ou contar modos, é uma estratégia superior para melhorar a generalização sob deslocamentos de distribuição.

O Grande Jogo de Adivinhação da IA

O Terceiro Eixo é Liberdade, Não Apenas uma Contagem

A Magia do "Best-of-K"

Os Experimentos: Colocando a Teoria à Prova

A Grande Visão: Meios vs. Fins

Mais como este