🤖 machine learning

Representation-Based Exploration for Language Models: From Test-Time to Post-Training

Este artigo demonstra que incorporar um bônus de diversidade simples, baseado em representações derivadas de estados ocultos pré-treinados, tanto na amostragem em tempo de inferência quanto no aprendizado por reforço pós-treinamento, aumenta significativamente o desempenho e a eficiência de amostragem de modelos de linguagem ao promover a descoberta de novos comportamentos em vez de meramente refinar os existentes.

Autores originais: Jens Tuyls, Dylan J. Foster, Akshay Krishnamurthy, Jordan T. Ash

Publicado 2026-07-16

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Jens Tuyls, Dylan J. Foster, Akshay Krishnamurthy, Jordan T. Ash

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde os computadores não apenas seguem instruções, mas realmente aprendem a pensar por si mesmos, resolvendo quebra-cabeças e escrevendo código ao tentar, falhar e tentar novamente. Este é o reino do Aprendizado por Reforço (Reinforcement Learning - RL), um ramo da inteligência artificial onde um agente aprende interagindo com seu ambiente para maximizar recompensas. Pense nisso como treinar um cachorro: se ele sentar, ganha um petisco; se pular, não ganha nada. Com o tempo, o cachorro aprende os melhores comportamentos para obter o máximo de petiscos.

No mundo dos grandes modelos de linguagem (os chatbots de IA superinteligentes que usamos hoje), esse processo é chamado de "pós-treinamento". Os cientistas alimentam o modelo com um problema matemático ou uma tarefa de programação, deixam que ele gere uma resposta e verificam se ela está correta. Se estiver, o modelo recebe uma "recompensa" e aprende a fazer aquela coisa específica melhor na próxima vez. No entanto, há um porém. Os métodos atuais costam agir como um estudante que apenas memoriza as respostas do livro didático. Eles ficam muito bons nos truques específicos que já conhecem, mas raramente descobrem novas maneiras de resolver problemas. Eles apenas se tornam mais afiados no que já fazem. A grande questão que os cientistas estão fazendo é: Podemos ensinar esses modelos de IA a serem exploradores curiosos em vez de apenas memorizadores? Podemos encorajá-los a tentar abordagens estranhas, novas e diversas para encontrar soluções que seu treinamento base nunca lhes mostrou?

Este artigo, intitulado "Representation-Based Exploration for Language Models", mergulha exatamente nessa questão. Os pesquisadores, Jens Tuyls, Dylan J. Foster, Akshay Krishnamurthy e Jordan T. Ash, propõem uma nova maneira inteligente de fazer a IA explorar. Em vez de apenas deixar o modelo adivinhar aleatoriamente ou simplesmente repetir o que sabe, eles dão ao modelo um "bônus de diversidade". Imagine que você está procurando um tesouro escondido em uma floresta gigante. Um caminhante aleatório poderia apenas vagar sem rumo, enquanto um caminhante inteligente poderia tentar visitar cada tipo distinto de árvore para garantir que não perdeu nenhuma pista. Este artigo sugere usar os próprios "pensamentos" internos da IA (seus estados ocultos) para medir o quão diferente uma nova ideia é das que ela já tentou. Se uma ideia parece "fresca" ou "nova" em comparação com suas tentativas anteriores, ela recebe um bônus de recompensa, encorajando o modelo a continuar explorando esse novo caminho.

A equipe testou essa ideia de duas formas principais. Primeiro, eles observaram a exploração de "tempo de inferência", que é como um teste único. Eles geraram milhares de respostas para um único problema matemático e usaram seu "bônus de diversidade" para escolher as mais interessantes para verificar. Eles descobriram que este método foi incrivelmente eficiente. Por exemplo, em um conjunto de dados matemáticos difíceis chamado MATH, usando o método deles com um modelo chamado Qwen-2.5-14b-Instruct, eles melhoraram a eficiência de encontrar uma resposta correta em mais de 50% em comparação com apenas escolher respostas aleatoriamente. Na verdade, para algumas tarefas, eles precisaram de 3 a 13 vezes menos tentativas para encontrar uma solução correta ao usar essa estratégia de exploração.

Segundo, eles integraram essa estratégia de exploração no processo de treinamento real (pós-treinamento). Eles queriam ver se isso poderia ajudar o modelo a aprender novos comportamentos em vez de apenas refinar os antigos. Os resultados foram promissores. Quando treinaram o modelo com esse bônus de exploração, ele não apenas ficou melhor nos mesmos truques de sempre; ele começou a gerar respostas que pareciam muito mais novas e criativas. Em um conjunto de dados de competição matemática difícil chamado AIME 2024, o modelo deles aprimorado pela exploração teve um desempenho tão bom quanto um método de treinamento padrão que utilizou quatro vezes mais amostras. Isso sugere que, ao encorajar deliberadamente a diversidade, podemos ajudar os modelos de IA a descobrir novas capacidades sem precisar de quantidades massivas de dados extras ou poder de computação.

No entanto, os autores tomam o cuidado de notar que isso não é uma bala mágica que resolve tudo. Eles descobriram que o método funciona melhor com modelos mais fortes e capazes; modelos mais fracos às vezes não se beneficiaram ou até pioraram. Eles também mostraram que, embora essa abordagem ajude o modelo a encontrar novas soluções, isso não significa necessariamente que o modelo seja "mais inteligente" em um sentido geral, mas sim que ele é melhor em navegar pelo vasto espaço de possíveis respostas para encontrar a correta. O artigo sugere que essa "exploração deliberada" é um caminho prático a seguir, oferecendo uma maneira de ir além de simplesmente refinar habilidades existentes e em direção à descoberta de comportamentos genuinamente novos em modelos de linguagem.

Resumo Técnico: Exploração Baseada em Representação para Modelos de Linguagem

Declaração do Problema

O aprendizado por reforço (RL) tem mostrado promessa na melhoria de modelos de linguagem (LMs) para tarefas com recompensas verificáveis, como o raciocínio matemático e a geração de código. No entanto, uma limitação crítica das técnicas atuais de pós-treinamento de RL é a incerteza sobre se elas realmente descobrem comportamentos verdadeiramente novos ou se apenas "afiam" (amplificam) capacidades já presentes no modelo base com uma probabilidade modesta. Evidências existentes sugerem que as receitas padrão de RL frequentemente falham em desbloquear capacidades ausentes no modelo pré-treinado, convergindo, em vez disso, para soluções conhecidas. Além disso, a curadoria de dados e as intervenções algorítmicas para mitigar isso estão se tornando gargalos, particularmente em domínios complexos e de natureza aberta.

O artigo postula que a exploração deliberada — incentivar explicitamente o modelo a descobrir comportamentos verdadeiramente novos e diversos — é essencial para realizar todo o potencial do RL para o raciocínio de modelos de linguagem. O desafio central é quantificar a novidade e a diversidade dentro do espaço combinatoriamente vasto da linguagem de maneira escalável, enquanto se aproveita o conhecimento prévio incorporado nos modelos pré-treinados para guiar essa busca de forma eficiente.

Metodologia

Os autores propõem uma estratégia de exploração baseada em representação, utilizando bônus elípticos derivados dos estados ocultos do modelo de linguagem pré-treinado. A metodologia é avaliada através de uma abordagem de duas frentes:

1. Seleção em Tempo de Inferência

Para isolar o papel da diversidade da otimização e generalização, os autores primeiro definem um problema de seleção em tempo de inferência. Dado um prompt $x$ e um grande conjunto de $N$ respostas candidatas geradas por um modelo fixo $\pi$ , o objetivo é selecionar um subconjunto de $k$ respostas que seja maximamente diverso e tenha uma alta probabilidade de conter uma resposta correta.

Mecanismo (RepExp): O algoritmo seleciona iterativamente respostas para maximizar um bônus elíptico. Para uma resposta $y$ , o vetor de características $\bar{h}_\theta(x, y)$ é construído através da média dos estados ocultos da última camada do modelo sobre os tokens da resposta.
Métrica de Diversidade: A novidade de uma candidata $y$ dado um conjunto de respostas previamente selecionadas é definida como $div(y) = \bar{h}_\theta(x, y)^\top \Sigma^{-1} \bar{h}_\theta(x, y)$ , onde $\Sigma$ é a matriz de covariância das características selecionadas. A inversa da covariância é atualizada eficientemente usando a identidade de Woodbury.
Objetivo: Esta abordagem seleciona um "coreset" de respostas diversas para consultar um verificador, visando melhorar a eficiência do verificador (reduzindo o número de amostras necessárias para encontrar uma resposta correta).

2. Pós-Treinamento de RL

Os autores integram esta estratégia de exploração ao pipeline de pós-treinamento GRPO (Group Relative Policy Optimization).

Aumento de Recompensa: Em vez de selecionar um subconjunto, o bônus elíptico é adicionado diretamente à recompensa extrínseca. Para um rollout $y_i$ , a recompensa torna-se $r(x, y_i) + \beta \cdot \bar{h}_\theta(x, y_i)^\top \Sigma^{-1} \bar{h}_\theta(x, y_i)$ .
Implementação: A matriz de covariância $\Sigma$ é reinicializada para cada lote de rollouts de treinamento para medir a novidade em relação ao lote atual. Os vetores de características são projetados para uma dimensão inferior (ex: 512) via projeção aleatória esparsa para garantir a escalabilidade.

3. Extensão ao Nível de Token (Preliminar)

Como prova de conceito, os autores também exploram a modificação do próprio processo de geração autorregressiva. Ao perturbar os logits ao nível de token com um bônus elíptico em cada etapa de geração, eles visam guiar a diversidade durante o processo de geração, em vez de uma seleção post-hoc.

Principais Contribuições e Descobertas

1. Melhoria da Eficiência do Verificador (Tempo de Inferência)

O artigo demonstra que a exploração baseada em representação melhora significativamente a eficiência do verificador em uma ampla gama de modelos (Phi, Llama, Qwen) e tarefas (MATH, GSM8K, MBPP+, Game of 24).

Resultado: Para modelos como o Qwen-2.5-14b-Instruct, o método alcança mais de 50% de melhoria no número de amostras necessárias para encontrar uma resposta correta em comparação com a amostragem aleatória.
Correlação com a Força do Modelo: Os benefícios da exploração escalam com a força do modelo; modelos mais fortes (ex: Qwen-32B) beneficiam-se significativamente, enquanto modelos mais fracos podem não apresentar melhoria ou até sofrer degradação.
Sensibilidade à Dificuldade: O método proporciona os maiores ganhos de eficiência nas questões mais difíceis (ex: os 20% mais difíceis em MATH).

2. Desempenho e Diversidade Aprimorados no Pós-Treinamento

Integrar a exploração baseada em representação no pós-treinamento de RL produz um desempenho superior em comparação ao GRPO padrão e às linhas de base de "Improbabilidade" (Unlikeliness).

Melhoria no Pass@k: O método mantém ou melhora as taxas de pass@k para valores grandes de $k$ , enquanto o GRPO padrão frequentemente degrada o desempenho em relação ao modelo base para grandes valores de $k$ (um fenômeno conhecido como "colapso de diversidade").
Eficiência de Amostragem: No benchmark AIME 2024, o Qwen-2.5-7b-Instruct pós-treinado usando RepExp atinge um pass@80 que se equipara ao pass@256 do GRPO padrão, representando uma melhoria de 3x na eficiência de amostragem em tempo de teste.
Anti-Afiação: A análise das log-verossimilhanças sob o modelo base revela que o RepExp gera respostas que são significativamente mais novas (menor verossimilhança) do que aquelas do GRPO padrão, que tende a afiar a distribuição do modelo base. Isso sugere que o método consegue escapar do "regime de afiação".

3. Aplicação em Verificação de Alto Custo

Em um experimento preliminar de geração de sequências de proteínas (onde a verificação via trabalho de laboratório é cara), o método melhorou a eficiência do verificador em até 56,9x em comparação com a amostragem aleatória, demonstrando utilidade potencial em domínios onde a verificação é custosa.

Significância e Alegações

O artigo afirma que a exploração deliberada, guiada por uma noção de diversidade baseada em representação e fundamentada, é um caminho prático para descobrir novos comportamentos em modelos de linguagem além da mera afiação.

Novidade da Abordagem: Diferente de trabalhos anteriores que dependem de redes auxiliares (ex: Random Network Distillation) ou curadoria de dados complexa, este método utiliza os próprios estados ocultos do modelo pré-treinado, não exigindo maquinário de aprendizado adicional.
Estratégia de Validação: Os autores enfatizam o valor de sua avaliação em dois estágios (seleção em tempo de inferência seguida de pós-treinamento) como uma forma de desvincular os benefícios da diversidade de outros mecanismos de RL.
Escopo Modesto: Os autores reconhecem que sua implementação atual é um esquema "simples e fundamentado". Eles não alegam ter resolvido todos os desafios de exploração, mas sugerem que esta abordagem fornece uma base sólida e um framework para compreender os trade-offs de estratégias mais sofisticadas. Eles observam que, embora a exploração ao nível de token mostre potencial, ela atualmente incorre em custos computacionais mais altos que requerem otimização.

Em resumo, o artigo argumenta que, ao incentivar explicitamente a descoberta de comportamentos diversos através de bônus baseados em representação, os modelos de linguagem podem ser guiados para encontrar soluções novas que o RL de pós-treinamento padrão deixa passar, expandindo assim suas capacidades de raciocínio de forma mais eficaz.