💬 NLP

Parallel Test-Time Scaling for Latent Reasoning Models

Este trabalho viabiliza a escalabilidade paralela em tempo de teste para modelos de raciocínio latente, introduzindo estratégias estocásticas de amostragem baseadas em incerteza e um Modelo de Recompensa Latente para agregação de trajetórias, permitindo assim a inferência escalável em espaços contínuos.

Autores originais: Runyang You, Yongqi Li, Meng Liu, Wenjie Wang, Liqiang Nie, Wenjie Li

Publicado 2026-04-21

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Runyang You, Yongqi Li, Meng Liu, Wenjie Wang, Liqiang Nie, Wenjie Li

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um gênio muito inteligente (um Modelo de Linguagem Grande, ou LLM) que resolve problemas de matemática e lógica.

Até agora, para fazer esse gênio pensar melhor, nós o obrigávamos a "falar em voz alta" cada passo do raciocínio, como se ele estivesse escrevendo um diário. Isso é chamado de Raciocínio em Cadeia (Chain-of-Thought). É como pedir para ele explicar cada passo em português antes de dar a resposta final. Funciona bem, mas é lento e gasta muita energia, pois escrever tudo em palavras é demorado.

Recentemente, descobrimos que esse gênio também pode pensar em um "espaço secreto", direto na sua mente, sem precisar escrever palavras. Ele usa vetores (números complexos) para pular direto do pensamento A para o pensamento B. É muito mais rápido e eficiente, como um pensamento intuitivo humano. O problema é: como fazer esse pensamento secreto se tornar ainda melhor?

No mundo das palavras, a gente sabe como melhorar: pedimos para o gênio pensar várias vezes ao mesmo tempo (como se ele tivesse vários clones), gera várias respostas diferentes e escolhemos a melhor. Isso se chama Escalonamento no Tempo de Teste (Test-Time Scaling).

Mas, no "espaço secreto" (onde não há palavras), isso era impossível. Não havia como pedir para o gênio "pensar de formas diferentes" porque ele só tinha uma maneira de pensar.

Este artigo (aceito na conferência ACL 2026) resolve esse problema. Os autores criaram um método para fazer o gênio pensar em paralelo no seu espaço secreto. Eles fizeram isso em duas etapas principais:

1. Como fazer o gênio pensar de formas diferentes? (A Amostragem)

No mundo das palavras, para gerar variações, a gente usa sorteio (escolher a próxima palavra aleatoriamente). No espaço secreto, não há "próxima palavra", só números. Então, os autores inventaram duas formas de "bagunçar" levemente o pensamento para criar variações:

O "Chapéu de Malabarista" (Monte Carlo Dropout): Imagine que o cérebro do gênio tem alguns neurônios que às vezes "dormem" ou "acordam" aleatoriamente. A cada tentativa de pensar, eles desligam um conjunto diferente de neurônios. Isso cria uma versão ligeiramente diferente do gênio a cada vez, forçando-o a explorar caminhos de pensamento que ele normalmente não tomaria. É como se ele estivesse tentando resolver o problema com um "chapéu de malabarista" diferente na cabeça a cada vez.
O "Empurrãozinho" (Ruído Gaussiano Aditivo): Imagine que o gênio está pensando em uma linha reta. A cada passo, você dá um leve "empurrãozinho" aleatório nele, para a esquerda ou para a direita. Isso faz com que ele explore áreas ao redor da linha original, como se ele estivesse dançando um pouco em volta da resposta certa.

Resultado: Com essas duas técnicas, o gênio consegue gerar dezenas de "linhas de pensamento secretas" diferentes ao mesmo tempo, explorando mais possibilidades do que antes.

2. Como escolher a melhor linha de pensamento? (A Agregação)

Agora que temos 64 linhas de pensamento secretas diferentes, qual é a boa? No mundo das palavras, a gente lê todas e vê qual faz mais sentido. No espaço secreto, não dá para "ler" os números.

Para resolver isso, os autores criaram um Juiz Especial (Latent Reward Model).

Imagine que, enquanto o gênio pensa, esse Juiz observa cada passo do raciocínio secreto e dá uma nota de 0 a 10.
O Juiz não precisa entender o que está sendo dito; ele apenas aprendeu a reconhecer "padrões de pensamento promissores" versus "padrões que vão dar errado".
No final, o sistema pega todas as 64 linhas de pensamento, soma as notas dadas pelo Juiz e escolhe a que teve a maior pontuação total.

O que eles descobriram?

Funciona de verdade: Ao usar mais poder de computação para gerar mais pensamentos secretos (em paralelo), a precisão do modelo aumenta significativamente, assim como acontece com os modelos que escrevem tudo em palavras.
Estilos diferentes: O "Chapéu de Malabarista" (Dropout) é ótimo para problemas muito difíceis, porque força o gênio a sair da zona de conforto e tentar soluções estranhas. O "Empurrãozinho" (Ruído) é ótimo para manter a diversidade sem perder a qualidade.
O Juiz é essencial: Sem o Juiz treinado para dar notas, escolher a melhor linha de pensamento seria como tentar adivinhar no escuro. Com o Juiz, o sistema consegue filtrar os pensamentos ruins e focar nos bons.

Em resumo

Os autores pegaram uma tecnologia de raciocínio super rápida e eficiente (que pensa em silêncio, sem palavras) e ensinaram ela a usar o truque de "tentar várias vezes ao mesmo tempo" para ficar ainda mais inteligente. Eles criaram formas de "bagunçar" o pensamento para gerar ideias diferentes e um "juiz" para escolher a melhor ideia.

Isso abre um novo caminho para fazer inteligências artificiais resolverem problemas complexos de forma mais rápida, barata e inteligente, sem precisar escrever longos textos explicativos. É como transformar a intuição humana em uma ferramenta de supercomputação.

Título: Escalonamento Paralelo em Tempo de Teste para Modelos de Raciocínio Latente

1. Problema e Motivação

Os Grandes Modelos de Linguagem (LLMs) têm demonstrado melhorias significativas em tarefas complexas através do Escalonamento em Tempo de Teste (Test-Time Scaling - TTS), onde mais poder computacional é alocado durante a inferência para gerar múltiplos caminhos de raciocínio e agregar os resultados.

Limitação Atual: A maioria das abordagens de TTS depende de Raciocínio em Cadeia de Pensamento (Chain-of-Thought - CoT) explícito, gerando tokens de texto sequenciais. O escalonamento paralelo (amostragem de múltiplos caminhos e votação/agregação) funciona bem aqui devido à existência de distribuições de probabilidade sobre tokens (logits).
O Desafio do Raciocínio Latente: Modelos de Raciocínio Latente (ou CoT Contínuo) realizam o raciocínio em espaços vetoriais contínuos (espaço latente) em vez de gerar tokens discretos. Embora mais eficientes e compactos, eles apresentam dois obstáculos fundamentais para o TTS paralelo:
1. Falta de Mecanismo de Amostragem: Não há uma distribuição de probabilidade explícita sobre "tokens" no espaço contínuo, tornando difícil gerar múltiplos caminhos de raciocínio estocásticos de forma controlada.
2. Falta de Sinais Probabilísticos para Agregação: Não há log-verossimilhanças ou pontuações passo a passo inerentes para avaliar e agregar as trajetórias latentes amostradas (dificultando métodos como Best-of-N ou Beam Search).

2. Metodologia Proposta

Os autores propõem um framework completo para habilitar o TTS paralelo em modelos de raciocínio latente, dividindo a solução em duas etapas principais: Amostragem Estocástica e Agregação de Trajetórias.

A. Amostragem Estocástica no Espaço Latente
Para superar a falta de distribuição de probabilidade, os autores introduzem duas estratégias inspiradas na teoria de estimativa de incerteza para introduzir estocasticidade controlada:

Monte Carlo Dropout (MC-Dropout): Mantém o dropout ativo durante a inferência. Ao amostrar máscaras binárias aleatórias aplicadas aos pesos do modelo, captura a incerteza epistêmica (variabilidade devido ao conhecimento limitado do modelo). Isso gera trajetórias que exploram diferentes configurações de pesos.
Ruído Gaussiano Aditivo (AGN - Additive Gaussian Noise): Adiciona ruído gaussiano isotrópico diretamente aos vetores latentes em cada passo de raciocínio. Isso simula a incerteza aleatória (ruído inerente aos dados de entrada), permitindo uma exploração mais ampla e isotrópica ao redor da solução determinística.

B. Agregação de Trajetórias Latentes (LatentRM)
Como não há logits para ranquear trajetórias, os autores propõem o Latent Reward Model (LatentRM):

Arquitetura: Um modelo de recompensa dedicado que recebe o prompt e a trajetória latente gerada até o passo $t$ , e retorna um escore escalar.
Objetivo de Treinamento: Ao invés de usar perda binária isolada (que ignora a comparação entre candidatos), o LatentRM é treinado com um objetivo contrastivo passo a passo. Para cada passo de raciocínio, o modelo aprende a discriminar qual entre $N$ candidatos latentes tem maior probabilidade de levar à resposta correta.
Agregação: Durante a inferência, o LatentRM avalia as trajetórias amostradas. Estratégias como Best-of-N (selecionar a trajetória com maior soma de recompensas) e Beam Search guiado são utilizadas para selecionar o melhor caminho.

3. Contribuições Principais

Extensão do TTS para Espaço Latente: É a primeira proposta bem-sucedida de aplicar escalonamento paralelo (amostragem múltipla + agregação) a modelos de raciocínio contínuo, uma capacidade anteriormente exclusiva do raciocínio baseado em tokens.
Soluções de Amostragem Inovadoras: Introdução de MC-Dropout e AGN como mecanismos viáveis para gerar diversidade em espaços contínuos, mapeando conceitos de incerteza epistêmica e aleatória para o contexto de raciocínio latente.
Latent Reward Model (LatentRM): Desenvolvimento de um avaliador especializado treinado com aprendizado contrastivo, capaz de guiar a seleção de trajetórias latentes sem depender de linguagem natural intermediária.
Análise de Dinâmica de Exploração: Demonstração de que as duas estratégias de amostragem possuem comportamentos complementares: o MC-Dropout tende a uma expansão estruturada e direcionada (melhor para tarefas difíceis), enquanto o AGN oferece uma exploração isotrópica mais ampla (melhor para manter robustez e diversidade).

4. Resultados Experimentais

Os experimentos foram conduzidos em benchmarks de raciocínio matemático (GSM8K, GSM8K-Hard, MultiArith) e benchmarks mais difíceis (GPQA, AIME), utilizando diversos modelos base (COCONUT, CODI, CoLaR, Latent-SFT, Render-of-Thought).

Eficácia do Escalonamento: Ambas as estratégias de amostragem (MC-Dropout e AGN) mostraram escalabilidade monotônica: à medida que o número de trajetórias amostradas ( $N$ ) aumenta, a cobertura de problemas resolvidos também aumenta.
Comparação de Estratégias:
- O MC-Dropout consistentemente alcançou maior cobertura em quase todos os cenários, sendo mais eficaz para tarefas complexas onde a exploração direcionada é necessária.
- O AGN mostrou-se superior em manter a qualidade da solução mesmo com alta estocasticidade, preservando a densidade de probabilidade ao redor do centro determinístico.
Agregação com LatentRM: O uso do LatentRM para Best-of-N e Beam Search superou consistentemente a votação majoritária (baseline não paramétrica), provando que o modelo aprendeu a identificar trajetórias promissoras.
Generalização: O framework funcionou bem em modelos de diferentes escalas (de 124M a 4B parâmetros) e arquiteturas, demonstrando robustez.
Eficiência: O raciocínio latente com TTS paralelo manteve vantagens de eficiência computacional (menos passos de decodificação e menor latência de parede) em comparação ao CoT explícito, mesmo com a sobrecarga de amostragem múltipla.

5. Significado e Impacto

Este trabalho abre um novo caminho para a inferência escalável em modelos de IA. Ao resolver os desafios de amostragem e agregação no espaço contínuo, os autores demonstram que o raciocínio latente não precisa ser apenas uma alternativa eficiente, mas também uma plataforma viável para técnicas avançadas de escalonamento em tempo de teste.

Implicação Prática: Permite que modelos mais compactos e eficientes (que usam raciocínio latente) alcancem níveis de desempenho competitivos com modelos maiores ou com CoT explícito, apenas aumentando o poder computacional na inferência.
Futuro: O trabalho sugere direções futuras para integrar essas técnicas em frameworks de Aprendizado por Reforço (RL) e explorar técnicas de ensemble adaptadas para representações contínuas.

Em resumo, o artigo valida que o "pensamento silencioso" (raciocínio latente) pode ser amplificado através de múltiplas tentativas paralelas e seleção inteligente, superando as limitações de escalabilidade que antes pareciam inerentes a esse paradigma.