🤖 AI

From Noise to Diversity: Random Embedding Injection in LLM Reasoning

Este artigo demonstra que a injeção de vetores de incorporação aleatória sem treinamento nos inputs de Modelos de Linguagem de Grande Escala aprimora efetivamente o desempenho de raciocínio ao aumentar a diversidade de tokens nas etapas iniciais e ampliar o Pass@N, um mecanismo que melhora tanto a precisão de inferência quanto os resultados de treinamento sem exigir prompts suaves aprendidos.

Autores originais: Heejun Kim, Seungpil Lee, Jewon Yeom, Jaewon Sok, Seonghyeon Park, Jeongjae Park, Taesup Kim, Sundong Kim

Publicado 2026-05-13

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Heejun Kim, Seungpil Lee, Jewon Yeom, Jaewon Sok, Seonghyeon Park, Jeongjae Park, Taesup Kim, Sundong Kim

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um bibliotecário brilhante, mas muito rígido (o Modelo de Linguagem de Grande Escala), que é ótimo em resolver problemas de matemática, mas às vezes fica preso em uma rotina. Ele sempre segue o mesmo caminho até a resposta e, se esse caminho leva a um beco sem saída, ele desiste.

Por muito tempo, os pesquisadores tentaram corrigir isso "treinando" o bibliotecário com anotações especiais e personalizadas (chamadas de Soft Prompts) para guiá-lo em direção a soluções melhores. Eles assumiram que a mágica estava no conteúdo dessas anotações.

Este artigo faz uma pergunta diferente: E se a mágica não estiver nas próprias anotações, mas no simples ato de entregar ao bibliotecário um novo pedaço de papel aleatório antes de ele começar?

Aqui está a explicação da descoberta deles, Soft Prompts Aleatórios (RSP), usando analogias do cotidiano:

1. O Experimento do "Ruído Aleatório"

Em vez de treinar uma anotação especial, os pesquisadores pegaram apenas um punhado de rabiscos completamente aleatórios e sem sentido (números aleatórios) e os anexaram ao início ou ao final do problema de matemática.

A Surpresa: Mesmo que esses rabiscos não contivessem nenhuma informação útil, o bibliotecário de repente começou a resolver problemas melhor. Em alguns casos, ele se saiu tão bem quanto se tivesse recebido uma anotação perfeitamente treinada e cuidadosa.
A Lição: A melhoria não veio de aprender nada novo. Veio do ato de injetar algo novo na mistura.

2. Como Funciona: A Analogia do "Caminho Ramificado"

Pense no processo de pensamento do bibliotecário como caminhar por um corredor com muitas portas.

Sem o Papel Aleatório: O bibliotecário caminha reto pelo corredor principal, abre a primeira porta que vê e continua seguindo aquele caminho. Se esse caminho for um beco sem saída, ele falha.
Com o Papel Aleatório: Os rabiscos aleatórios atuam como uma rajada súbita e confusa de vento no início do corredor.
- Estágio Inicial (O Ramo): Por causa desse "vento", o bibliotecário pausa e olha para portas diferentes das que normalmente veria. Ele pode abrir uma porta que nunca considerou antes. Isso cria um "ramo" em seu pensamento, levando a uma rota completamente diferente para a solução.
- Estágio Posterior (A Estabilização): À medida que o bibliotecário caminha mais longe nesse novo caminho, o "vento" (o papel aleatório) desaparece porque o corredor fica mais longo e a memória do bibliotecário sobre o início se dilui. Ele se acomoda em uma passada confiante nesse novo caminho.

3. O Efeito "Lançar Dados" (Pass@N)

O artigo descobriu que, se você pedir ao bibliotecário para tentar o mesmo problema 10 vezes, mas der a ele um diferente rabisco aleatório a cada vez, você obtém 10 caminhos diferentes.

O Resultado: Mesmo que 9 desses caminhos estejam errados, o fato de você ter forçado o bibliotecário a tentar 10 pontos de partida diferentes significa que é muito mais provável que você encontre o caminho correto entre eles.
O Problema: Se você usar o mesmo rabisco aleatório para as 10 tentativas, todos seguirão o mesmo caminho errado. A mágica só funciona se o "vento" mudar a cada vez.

4. Por Que Isso Importa

É Grátis: Você não precisa gastar semanas treinando o modelo ou ensinando-lhe novos fatos. Você apenas adiciona ruído aleatório.
É Estrutural: O artigo prova que a "mágica" desses truques avançados de IA frequentemente vem da estrutura de adicionar tokens extras, e não do conteúdo específico desses tokens. É como se agitar uma caixa de peças de quebra-cabeça pudesse ajudá-lo a encontrar a peça do canto correta mais rápido, mesmo que o próprio ato de agitar não resolva o quebra-cabeça.
Ajuda no Treinamento: Eles também mostraram que usar esse "vento" aleatório durante o treinamento do modelo (fase de ensino) ajuda o modelo a aprender mais rápido e melhor, semelhante a como um treinador pode variar os exercícios para evitar que um atleta fique entediado ou preso em uma rotina.

Resumo

O artigo afirma que a aleatoriedade é uma ferramenta poderosa. Ao injetar vetores aleatórios e sem sentido na entrada da IA, você a força a explorar diferentes "estradas" para a resposta no início. Uma vez que ela escolhe uma estrada, ela permanece nela, mas como você começou com uma estrada diferente, é mais provável que você termine no destino com mais frequência do que se apenas se mantivesse na rota habitual. Acontece que, às vezes, agitar as coisas é tão eficaz quanto ensinar algo novo.

Resumo Técnico: De Ruído a Diversidade: Injeção de Embeddings Aleatórios no Raciocínio de LLM

Declaração do Problema

Pesquisas recentes no raciocínio de Modelos de Linguagem de Grande Escala (LLM) focaram em Prompts Suaves, que inserem vetores de embedding contínuos treináveis nos inputs do modelo para orientar o comportamento. Embora esses métodos (por exemplo, Prefix-Tuning, SoftCoT, LTPO) tenham demonstrado ganhos de desempenho, uma ambiguidade crítica permanece: a melhoria é impulsionada pelo conteúdo aprendido dos vetores otimizados ou pelo ato estrutural da injeção em si? Trabalhos anteriores atribuem os ganhos a representações aprendidas, no entanto, restrições teóricas sugerem que prompts suaves apenas enviesam a atenção em direções fixas, sem alterar os padrões de atenção relativa entre os tokens de conteúdo. Além disso, os métodos existentes exigem treinamento específico de domínio, são sensíveis a hiperparâmetros e carecem de uma explicação teórica unificada para sua eficácia.

Metodologia: Prompts Suaves Aleatórios (RSP)

Para desvendar a contribuição do conteúdo aprendido do ato da injeção, os autores propõem Prompts Suaves Aleatórios (RSPs). Os RSPs são uma intervenção sem treinamento onde uma sequência de vetores de embedding aleatórios é anexada ao input.

Construção: Os vetores RSP são amostrados independentemente de uma distribuição Gaussiana isotrópica ajustada à média ( $\mu_E$ ) e variância ( $\sigma_E$ ) entrada por entrada da tabela de embedding de tokens pré-treinada.
$h_j \sim \mathcal{N}(\mu_E \mathbf{1}_d, \sigma_E^2 \mathbf{I}_d)$
Mecanismo: O método baseia-se em duas fases teóricas:
1. Exploração (Decodificação Precoce): Quando o cache Key-Value (KV) é curto, a massa de atenção ( $w$ ) alocada aos tokens aleatórios é significativa. Como o RSP é isotrópico, ele perturba o estado oculto em todas as direções, potencialmente deslocando as previsões dos top- $K$ tokens e abrindo trajetórias de raciocínio diversas que diferem da linha de base.
2. Recozimento (Decodificação Posterior): À medida que a geração autoregressiva prossegue, o cache KV cresce. A análise teórica (Teorema 1) demonstra que o limite superior da massa de atenção alocada à sequência RSP de comprimento fixo decai monotonicamente à medida que o número de tokens reais ( $n$ ) aumenta. Consequentemente, a influência do RSP dilui-se naturalmente, permitindo que o modelo se comprometa com um único caminho de conclusão.
Implementação: Os RSPs são injetados como um sufixo (padrão), prefixo ou infix. Crucialmente, eles são recalculados frescamente para cada execução de inferência ou trajetória de treinamento, garantindo independência.

Contribuições Principais

Isolamento dos Efeitos de Injeção: O RSP fornece uma lente unificada para estudar o efeito estrutural da injeção de prompts suaves. Ao remover completamente a etapa de treinamento, os autores demonstram que o ato de injetar vetores aleatórios sozinho pode induzir uma acurácia comparável aos prompts suaves otimizados.
Validação Teórica e Empírica: O artigo estabelece uma estrutura teórica mostrando como a massa de atenção decai com o crescimento do cache KV (Teorema 1) e como a cobertura isotrópica garante a alcançabilidade de estados de ramificação diversos. Empiricamente, os RSPs replicam as assinaturas de entropia de decodificação precoce de métodos otimizados (LTPO, SoftCoT, TTSV) sem qualquer parâmetro aprendido.
Extensão para Treinamento: Os autores estendem o RSP da inferência para o DAPO (um algoritmo de treinamento por aprendizado por reforço), demonstrando que a recalculação independente de RSP durante as execuções se compõe com a preservação de diversidade ao nível da perda para produzir ganhos de desempenho adicionais.

Resultados Experimentais

Os autores avaliaram o RSP em benchmarks de raciocínio matemático (MATH-500, GSM8K, AIME24) usando modelos como Qwen2.5-Math e LLaMA-3.1.

Ganhos de Acurácia: O RSP alcança acurácia comparável ou superior aos prompts suaves otimizados (TTSV, SoftCoT, LTPO) sem treinamento. Notavelmente, em cenários de incompatibilidade de formato (aplicando templates ChatML a modelos base não treinados para eles), o RSP recuperou acurácia significativa (por exemplo, +29,0 pontos percentuais no Qwen2.5-Math-1.5B para MATH-500).
Diversidade e Pass@N:
- Nível de Token: O RSP induz uma mudança distinta na distribuição do primeiro token ( $\rho$ de Spearman = 0,709 vs. 1,0 para escalonamento de temperatura), expandindo o suporte além dos top-10 tokens da linha de base.
- Nível de Trajetória: O RSP gera caminhos de raciocínio semanticamente diversos (maior distância inter-clusters) enquanto mantém a coerência dentro do grupo.
- Nível de Resultado: O Pass@N (probabilidade de pelo menos uma resposta correta em $N$ tentativas) escala significativamente com a recalculação independente. Compartilhar um único RSP entre amostras não produz ganho, confirmando que a diversidade surge da injeção estocástica, e não de uma perturbação fixa.
Integração com Treinamento: No treinamento DAPO, adicionar RSP às execuções resultou em uma acurácia média de pico mais alta (54,36% vs. 53,20% para DAPO sozinho) e atrasou a degradação de desempenho, sugerindo dinâmicas de exploração-exploração aprimoradas.

Significado e Alegações

O artigo alega que uma parte substancial do sucesso atribuído a prompts suaves "aprendidos" é, na verdade, um subproduto estrutural do próprio mecanismo de injeção. O ato de introduzir perturbações aleatórias e isotrópicas na camada de entrada:

Aumenta a diversidade de tokens em estágios iniciais, permitindo que o modelo explore trajetórias de raciocínio que podem ser inacessíveis via escalonamento de temperatura padrão (que preserva a ordem de classificação).
Atenua automaticamente à medida que a geração prossegue, impedindo que o ruído aleatório desestabilize a resposta final.
Serve como controle que revela as limitações da suposição de trabalhos anteriores de que o conteúdo aprendido é o principal motor das melhorias no raciocínio.

Os autores concluem que o RSP oferece uma alternativa simples e sem treinamento para aumentar a diversidade e a acurácia do raciocínio, particularmente em cenários onde o alinhamento de formato é pobre ou onde a exploração independente de trajetórias é crítica para treinamento baseado em RL. Eles notam limitações quanto à explicação teórica do decaimento por camada e à aplicabilidade a tarefas não matemáticas, enquadrando o trabalho como uma análise fundamental das dinâmicas de injeção, em vez de uma solução implantada.