💬 NLP

N-GRPO: Embedding-Level Neighbor Mixing for Enhanced Policy Optimization

O artigo introduz o N-GRPO, uma nova estratégia de exploração para a Otimização de Política Relativa de Grupo que aprimora o raciocínio matemático ao misturar dinamicamente os embeddings de tokens âncora com seus vizinhos semânticos mais próximos para injetar diversidade enquanto preserva a consistência semântica, superando assim os baselines existentes tanto em tarefas de distribuição interna quanto de distribuição externa.

Autores originais: Xukun Zhu, Hang Yu, Peng Di, Linchao Zhu

Publicado 2026-06-10

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Xukun Zhu, Hang Yu, Peng Di, Linchao Zhu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um aluno muito inteligente (um Grande Modelo de Linguagem) a resolver problemas matemáticos difíceis. Para ficar realmente bom nisso, o aluno precisa praticar tentando muitas maneiras diferentes de resolver o mesmo problema. Esta fase de prática é chamada de "rollout".

O artigo apresenta uma nova maneira de ajudar esse aluno a praticar, chamada N-GRPO. Veja como ela funciona, dividida em conceitos simples:

O Problema: Duas Maneiras Ruins de Praticar

Atualmente, quando os modelos de IA praticam, eles geralmente tentam ser diversos de uma das duas maneiras, mas ambas possuem falhas:

A Abordagem "Papagaio" (Amostragem ao Nível de Token):
Imagine pedir ao aluno para reescrever uma frase. Ele pode dizer: "O gato sentou no tapete" ou "O tapete teve o gato sentado nele".
- O Problema: Estas são apenas reformulações. A lógica subjacente é exatamente a mesma. O aluno não está aprendendo novas maneiras de resolver o problema matemático; ele está apenas dizendo a mesma coisa com palavras diferentes. É como praticar uma peça de piano, mas apenas mudando o volume, não as notas.
A Abordagem do "Ruído Estático" (Ruído de Embedding Aleatório):
Imagine dar ao aluno um choque elétrico aleatório para agitar seu pensamento.
- O Problema: Isso é muito caótico. É como jogar uma chave inglesa nas engrenagens. O aluno pode subitamente começar a falar sobre "bananas" quando deveria estar falando sobre "álgebra". O ruído aleatório quebra o sentido, fazendo com que o aluno saia do trilho e falhe.

A Solução: N-GRPO (O Método do "Vizinho Inteligente")

Os autores propõem um meio-termo chamado Mistura de Vizinhos Semânticos. Pense nisso como um "Brainstorming de Grupo Guiado".

Em vez de escolher uma palavra aleatória ou apenas reformular, o modelo olha para a palavra que ele mais provavelmente quer dizer (a "Âncora"). Então, ele encontra os 3 "vizinhos" mais próximos dessa palavra em seu dicionário interno.

A Analogia: Imagine que o aluno esteja prestes a dizer a palavra "Quadrado".
- A abordagem "Papagaio" diria "Quadrilátero" (apenas um sinônimo).
- A abordagem do "Ruído Estático" diria "Banana" (aleatório e errado).
- O N-GRPO olha para "Quadrado" e encontra seus vizinhos: "Retângulo", "Losango" e "Cubo". Ele então cria um pensamento misturado que é uma mistura de todas as quatro.

Este blend é um pensamento "contínuo". Não é uma única palavra ainda; é um conceito difuso que reside bem no meio dessas ideias relacionadas.

Por Que Isso Funciona

Mantendo-se no Caminho: Como os vizinhos são escolhidos com base em quão semelhantes são à palavra original, o novo "pensamento misturado" ainda é matematicamente e logicamente relevante. Ele não se desvia para o absurdo (como o exemplo da "Banana").
Encontrando Novos Caminhos: Como é uma mistura, permite que o modelo explore um ângulo ligeiramente diferente do problema do que faria com uma única palavra. É como pegar uma rota ligeiramente diferente em uma floresta para encontrar um atalho oculto, em vez de apenas caminhar pelo mesmo caminho mais rápido ou mais devagar.

Como é Usado

O artigo integra isso em uma estrutura de treinamento chamada GRPO.

Durante o Treinamento: O modelo pratica. Às vezes (cerca de 10% das vezes), ele usa esta mistura de "Vizinho Inteligente" para gerar uma solução. Se essa solução levar a uma resposta correta, o modelo recebe uma recompensa e aprende que esse caminho "misturado" foi bom.
Durante o Teste (Inferência): Curiosamente, o artigo descobriu que, embora essa mistura ajude no aprendizado, ela na verdade prejudica o desempenho quando o modelo está apenas respondendo a uma pergunta por conta própria. Portanto, eles desligam a mistura quando o modelo está fazendo o teste final, mantendo as respostas claras e padrão.

Os Resultados

Os pesquisadores testaram isso em problemas matemáticos (como os benchmarks AIME e MATH) usando diferentes tamanhos de modelos de IA.

O Resultado: Modelos usando N-GRPO resolveram mais problemas corretamente do que modelos usando os métodos antigos.
A Conclusão: Ao misturar os "pensamentos" de palavras semelhantes, a IA pode explorar soluções mais criativas sem se confundir ou perder o rumo.

Limitações

O artigo observa dois problemas principais:

Velocidade: Encontrar esses "vizinhos" e misturá-los exige mais poder computacional, tornando o processo de treinamento um pouco mais lento.
Escopo: Eles testaram isso apenas em matemática e ciências. Eles ainda não tentaram isso em programação (coding), onde as regras são muito estritas (você não pode realmente "misturar" a sintaxe de código sem quebrá-la).

Em resumo, o N-GRPO ensina a IA a pensar misturando ideias semelhantes, permitindo que ela explore novas soluções sem perder a sanidade.

Resumo Técnico: N-GRPO - Mistura de Vizinhos ao Nível de Embedding para Otimização de Política Aprimorada

1. Definição do Problema

O sucesso dos Grandes Modelos de Linguagem (LLMs) no raciocínio matemático depende fortemente da geração de caminhos de solução diversos e válidos durante a fase de rollout de Aprendizado por Reforço (RL). No entanto, as técnicas de exploração atuais enfrentam um compromisso fundamental:

Amostragem ao Nível de Token: Métodos padrão frequentemente geram trajetórias redundantes que diferem apenas em refraseamentos ou reordenações comutativas (ex: "1+2" vs. "2+1") sem alterar a lógica de raciocínio subjacente.
Ruído ao Nível de Embedding: Métodos que injetam ruído aleatório (ex: ruído Gaussiano) em embeddings contínuos frequentemente perturbam a consistência semântica. Experimentos preliminares mostraram que o ruído não restringido empurra as representações para fora do manifold semântico, transformando tokens válidos em outros não relacionados e descarrilando as trajetórias de rollout.

Tentativas existentes para preencher essa lacuna, como Soft Thinking ou HRPO, muitas vezes dependem de amostragem de tokens discretos para sua aleatoriedade ou falham em manter a coerência semântica ao perturbar o espaço contínuo.

2. Metodologia: N-GRPO

Os autores propõem o N-GRPO, uma nova estratégia de exploração integrada ao framework Group Relative Policy Optimization (GRPO). A inovação central é a Mistura de Vizinhos Semânticos (Semantic Neighbor Mixing), um mecanismo de perturbação ao nível de embedding que injeta diversidade enquanto adere estritamente ao manifold semântico local.

Mecanismo Central: Mistura de Vizinhos Semânticos

Em vez de amostrar tokens discretos ou adicionar ruído não restringido, o método constrói representações de entrada misturando o embedding de um token âncora com seus vizinhos semânticos mais próximos.

Seleção da Âncora: Em cada etapa de geração, o modelo identifica o token mais preferido (a âncora semântica, $v^*_t$ ) com base nos logits escalonados por temperatura.
Recuperação de Vizinhos: Um conjunto de $k$ tokens vizinhos ( $C_t$ ) é recuperado da matriz de embeddings com base na similaridade de cosseno em relação à âncora. Isso garante que os vizinhos se agrupem ao longo da mesma direção semântica.
Mistura Ponderada: Os logits escalonados pela temperatura são normalizados sobre este conjunto de vizinhos para calcular os pesos de mistura ( $\alpha_t$ ).
Construção de Embedding Contínuo: Um embedding misturado contínuo ( $\tilde{e}_{t+1}$ ) é gerado como a soma ponderada dos embeddings dos vizinhos. Isso serve como a entrada para o próximo passo de tempo.

Integração com GRPO

O N-GRPO integra este mecanismo na fase de rollout do GRPO via um mecanismo de gating estocástico:

Máscara de Mistura (Mixing Mask): Uma máscara de Bernoulli ( $m_{i,t}$ ) com uma probabilidade fixa $\rho$ (ex: 0.1) determina se a Mistura de Vizinhos Semânticos será ativada ou se seguirá a amostragem de token discreto padrão.
Estabilidade: Ao manter a maioria dos passos como tokens discretos, o método preserva a estabilidade semântica enquanto introduz a intermitência necessária para a exploração.
Treinamento: Durante a fase de treinamento, os conjuntos candidatos e os pesos são registrados para garantir a reconstrução reproduzível da trajetória para o cálculo da vantagem. A recompensa final é calculada com base nos tokens âncoras discretos correspondentes aos passos misturados.

3. Principais Contribuições

Exploração Controlável ao Nível de Embedding: O artigo introduz um método que injeta perturbações semanticamente guiadas durante a geração, preenchendo a lacuna entre o raciocínio discreto ao nível de token e a exploração contínua ao nível de embedding.
Framework N-GRPO: Os autores integram a Mistura de Vizinhos Semânticos ao framework GRPO, criando um sistema que utiliza manifolds semânticos locais para expandir o espaço de exploração sem sacrificar a coerência.
Validação Empírica: Avaliações extensas em diferentes escalas de modelos (1.5B a 7B) e arquiteturas (DeepSeek-R1-Distill-Qwen, Llama-3.2, Qwen3) demonstram melhorias consistentes sobre baselines fortes.

4. Resultados Experimentais

O método foi avaliado em benchmarks desafiadores de raciocínio matemático (AIME25, AMC23, MATH500) e tarefas fora de distribuição (OOD) (GPQA-Diamond).

Raciocínio Matemático: O N-GRPO superou consistentemente os baselines, incluindo GRPO padrão, Soft Thinking e o baseline STHT (que utiliza ruído Gaussiano não restringido).
- No modelo DeepSeek-R1-Distill-Qwen-1.5B, o N-GRPO melhorou o Pass@32 médio de 77.41 (GRPO) para 79.17.
- No modelo 7B, o Pass@32 médio melhorou de 81.94 (GRPO) para 84.20.
- Ganhos significativos foram observados no desafiador benchmark AIME25, onde o N-GRPO alcançou um Pass@32 de 50.28 (1.5B) e 61.18 (7B), superando o GRPO e o STHT.
Generalização Out-of-Distribution (OOD): No benchmark GPQA-Diamond, o N-GRPO demonstrou generalização robusta, alcançando as maiores pontuações de Pass@32 (92.87 para 1.5B e 92.80 para 7B), indicando que o método melhora as capacidades de raciocínio científico geral, não apenas habilidades específicas de matemática.
Transferibilidade: O mecanismo foi transferido com sucesso para o framework GSPO (N-GSPO), mostrando um ganho de +7.66 no AIME25, sugerindo que o mecanismo de perturbação não está estritamente acoplado à normalização de vantagem específica do GRPO.
Estudos de Ablação:
- Taxa de Mistura (Mixing Rate): O desempenho permaneceu estável em várias taxas de mistura (0.1 a 0.2), embora a mistura excessiva (0.2) em modelos menores para o AIME25 tenha causado uma queda, destacando a necessidade de um equilíbrio entre diversidade e estabilidade.
- Métrica de Distância: A distância de cosseno superou significativamente as métricas L1 e L2 para a seleção de vizinhos, atribuído à natureza direcional da informação semântica em espaços de embedding de alta dimensão.
- Inferência: Os autores observam que aplicar a Mistura de Vizinhos Semânticos durante a fase de inferência (sem o mecanismo de filtragem do GRPO) degrada o desempenho, confirmando seu papel como uma ferramenta de exploração em tempo de treinamento, e não como uma estratégia de decodificação.

5. Significância e Alegações

O artigo afirma que o N-GRPO oferece um caminho promissor para avançar as capacidades de raciocínio de LLMs ao explorar a dinâmica de raciocínio no espaço de embedding. Sua significância reside em:

Resolução do Compromisso (Trade-off): Ele injeta diversidade com sucesso no processo de rollout sem o drift semântico causado pela injeção de ruído ingênuo ou a redundância da amostragem ao nível de token.
Fundamentação Semântica: Ao aproveitar o manifold semântico local, o método garante que a exploração permaneça dentro de regiões de raciocínio válidas.
Generalização: A abordagem não se limita a famílias de modelos específicas ou políticas destiladas de raciocínio, mostrando robustez através de diferentes escalas e modelos base.

Os autores concluem que, embora o método introduza overhead computacional durante o rollout e seja atualmente validado principalmente em tarefas de matemática e ciências, ele estabelece um novo paradigma para otimização de política que equilibra exploração e consistência semântica.