💬 NLP

Vocabulary Dropout for Curriculum Diversity in LLM Co-Evolution

O artigo apresenta o "vocabulário dropout", um mecanismo leve que aplica máscaras aleatórias aos logits de saída de um modelo gerador de problemas para evitar a colapso da diversidade em sistemas de co-evolução, resultando em curricula mais informativas e melhorias significativas no desempenho de modelos solucionadores em raciocínio matemático.

Autores originais: Jacob Dineen, Aswin RRV, Zhikun Xu, Ben Zhou

Publicado 2026-04-07

📖 3 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Jacob Dineen, Aswin RRV, Zhikun Xu, Ben Zhou

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um aluno (o Solver) a resolver problemas de matemática muito difíceis. Para isso, você contrata um professor (o Proposer) para criar exercícios.

O problema é que, se você deixar o professor criar exercícios sozinho, ele logo descobre um "truque": ele percebe que, se criar sempre o mesmo tipo de pergunta (mesmo que com números diferentes), o aluno erra e o professor ganha pontos. Então, o professor para de criar coisas novas e começa a repetir o mesmo modelo de pergunta infinitamente. O aluno fica entediado, não aprende nada novo e o progresso para. Isso é o que os pesquisadores chamam de "colapso da diversidade".

A solução apresentada neste artigo é uma ideia brilhante e simples chamada Vocabulary Dropout (ou "Dropout de Vocabulário").

A Analogia do "Mestre de Cerimônias com Óculos Escuros"

Pense no vocabulário de uma IA como um grande salão cheio de milhares de palavras diferentes. Quando o professor cria uma pergunta, ele escolhe palavras desse salão.

Normalmente, o professor escolhe sempre as mesmas palavras favoritas porque elas garantem que ele ganhe pontos.

A técnica de Vocabulary Dropout funciona como um Mestre de Cerimônias maluco que entra no salão a cada nova pergunta e esconde aleatoriamente 25% das palavras (colocando óculos escuros em algumas e tirando outras).

O que acontece? O professor tenta criar uma pergunta, mas de repente, a palavra "soma" ou "triângulo" está escondida! Ele é forçado a usar outras palavras, a mudar a estrutura da frase e a pensar de um jeito diferente para conseguir criar um problema que ainda faça sentido.
O resultado: Como as palavras escondidas mudam a cada rodada, o professor nunca consegue se acostumar com um único modelo. Ele é forçado a ser criativo constantemente.

O Que Acontece na Prática?

Os pesquisadores testaram isso em dois modelos de inteligência artificial (um menor e um maior) focados em matemática.

Sem a técnica (O jeito antigo): O professor cria perguntas que parecem diferentes na superfície, mas são todas a mesma coisa por dentro. O aluno melhora um pouco no início e depois estagna.
Com a técnica (O jeito novo): O professor é forçado a variar. Ele cria perguntas com estruturas diferentes, usando palavras diferentes.
- Para o aluno (Solver): O currículo de aprendizado fica muito mais rico. Em vez de ver 100 variações da mesma pergunta, ele vê 100 perguntas verdadeiramente diferentes.
- Resultado final: O aluno aprendeu muito mais rápido e ficou muito mais inteligente, especialmente em provas de nível olímpico e competitivo. O modelo de 8 bilhões de parâmetros melhorou em média 4,4 pontos em testes difíceis.

Por que isso é importante?

Geralmente, para melhorar a inteligência artificial, as pessoas tentam mudar a "recompensa" (dizer ao professor: "faça perguntas mais difíceis"). Mas o artigo mostra que mudar a regra do jogo (esconder palavras) é mais eficaz.

É como se, em um jogo de xadrez, você dissesse ao jogador: "Hoje você não pode usar a peça Rainha". Isso força o jogador a pensar em estratégias novas e criativas que ele nunca consideraria se pudesse usar todas as peças o tempo todo.

Resumo em uma frase

Os pesquisadores descobriram que, para ensinar uma IA a pensar melhor, às vezes é preciso tirar algumas ferramentas da mão dela (esconder palavras aleatórias) para forçá-la a ser criativa e não ficar presa em rotinas repetitivas, resultando em um aluno muito mais inteligente no final.

1. Problema: Colapso de Diversidade em Co-evolução de LLMs

O artigo aborda um desafio fundamental na co-evolução de auto-jogo (self-play) para Grandes Modelos de Linguagem (LLMs). Neste paradigma, um modelo "propositor" gera problemas de raciocínio e um modelo "resolvedor" tenta resolvê-los, criando um ciclo iterativo de aprendizado.

O Fenômeno: Na prática, o propositores convergem rapidamente para uma distribuição estreita de problemas (templates) que satisfazem a função de recompensa, mas que não são verdadeiramente desafiadores ou variados.
A Causa: Diferente de jogos (como Go ou Xadrez), onde as regras definem ações legais e estados, a linguagem natural não possui restrições externas verificáveis. O propositores exploram "atalhos" (narrow templates) que induzem erros no resolvedor sem necessariamente aumentar a dificuldade real ou a complexidade do problema.
Consequência: Isso leva a um colapso de diversidade (diversity collapse). O currículo gerado torna-se não informativo, estagnando a melhoria do resolvedor. Métricas de diversidade léxica padrão (como Self-BLEU) frequentemente falham em detectar esse colapso funcional, pois o texto pode parecer variado superficialmente, mas a estrutura lógica permanece idêntica.

2. Metodologia: Vocabulary Dropout (VD)

Os autores propõem uma solução simples, mas eficaz, chamada Vocabulary Dropout (VD), que atua diretamente no espaço de ação do propositores, em vez de apenas modificar a recompensa.

Mecanismo: O VD aplica uma máscara não estacionária e rígida sobre os logits de saída do propositores durante o treinamento e a geração do currículo.
- Em cada batch, um subconjunto aleatório de tokens do vocabulário é removido (logits definidos como $-\infty$ ).
- Um pequeno subconjunto de tokens críticos para o formato (ex: tags XML, símbolos matemáticos) é protegido para garantir a validade sintática.
- A máscara é reamostrada a cada batch, impedindo que o modelo aprenda a depender de sequências fixas de tokens.
Integração: O método foi implementado no framework R-Zero (que usa GRPO - Group Relative Policy Optimization) para treinamento matemático. O VD é aplicado tanto na fase de treinamento do propositores quanto na fase de geração do currículo.
Analogia: Assim como as regras de um jogo forçam jogadores a explorarem diferentes posições estratégicas, o VD força o propositores a explorar diferentes regiões do espaço de tokens, evitando a adaptação co-ativa (co-adaptation) para padrões degenerados.

3. Contribuições Principais

Caracterização Empírica do Colapso: O estudo demonstra que o colapso funcional ocorre precocemente (entre as iterações 1 e 2) e não é capturado por métricas de diversidade léxica tradicionais.
Introdução do Vocabulary Dropout: Uma nova técnica que impõe restrições diretas no espaço de ação (vocabulário) para sustentar a diversidade lexical, semântica e funcional ao longo do treinamento.
Evidência de Melhoria no Desempenho: Demonstração de que a diversidade sustentada se traduz em melhorias tangíveis no resolvedor, especialmente em benchmarks de nível competitivo.

4. Resultados Experimentais

Os experimentos foram conduzidos com modelos Qwen3-4B e Qwen3-8B em tarefas de raciocínio matemático.

Desempenho do Resolvedor:
- O modelo Qwen3-8B com VD (taxa de retenção $\alpha=0.75$ ) apresentou uma melhoria média de +4.4 pontos em relação à linha de base (sem VD).
- Os ganhos foram mais pronunciados em benchmarks de alto nível: AMC, Olympiad e AIME.
- No modelo 4B, uma taxa de retenção mais branda ( $\alpha=0.85$ ) funcionou melhor, indicando que a força da máscara deve ser calibrada conforme a capacidade do modelo.
Diversidade do Currículo:
- O VD manteve a diversidade em todas as métricas:
  - Léxica: Redução de ~50% no Self-BLEU (menos repetição).
  - Semântica: Aumento de ~15 tipos de questões efetivos (medido pelo Vendi Score).
  - Funcional: Aumento de ~35% na epiplexity (quantidade de informação aprendível no currículo).
- O propositores com VD utilizou um vocabulário mais amplo (36-52% mais tokens únicos), mesmo com menos tokens disponíveis por passo.
Análise de Trade-off:
- O VD pode gerar problemas mal formulados (ill-posed) que confundem o verificador de auto-consistência. No entanto, a diversidade do subconjunto de problemas bem formulados compensou o ruído, resultando em um currículo superior.
- O método é mais eficaz quando o propositores e o resolvedor têm capacidades similares (ex: 8B vs 8B). Em cenários cruzados (8B propositores vs 4B resolvedor), o VD pode prejudicar o desempenho devido a um desalinhamento na calibração de dificuldade.

5. Significado e Conclusão

O artigo estabelece que restricões no espaço de ação são tão cruciais para o auto-jogo em linguagem quanto as regras são para jogos clássicos.

Mudança de Paradigma: Em vez de focar apenas no design de recompensas ou na seleção de dados (abordagens anteriores), o VD atua diretamente na distribuição de probabilidade de geração do modelo.
Simplicidade e Eficácia: A técnica não requer modelos auxiliares, modificações na arquitetura do modelo ou recompensas complexas. É uma implementação leve que pode ser integrada a qualquer pipeline de geração de texto.
Implicações Futuras: O trabalho sugere que a estrutura do espaço de ação é um "alavanca" produtiva para controlar a dinâmica co-evolutiva. A combinação de VD com verificadores mais fortes (como executores de código) é apontada como o próximo passo para sistemas de auto-jogo robustos e diversificados.

Em resumo, o Vocabulary Dropout é uma solução elegante para o problema de estagnação em co-evolução de LLMs, garantindo que o currículo gerado permaneça informativo e desafiador, permitindo que os modelos continuem a melhorar além dos limites impostos pela convergência prematura.