Resumo Técnico: PLaT (Planejamento com Pensamentos Latentes)

1. Problema

O raciocínio atual de Cadeia de Pensamento (Chain-of-Thought - CoT) em Grandes Modelos de Linguagem (LLMs) enfrenta dois gargalos principais:

1. Colapso do Caminho de Raciocínio: O CoT padrão opera em espaços de tokens discretos. Em cada etapa de geração, o modelo deve selecionar um único token do vocabulário, efetivamente podando caminhos de raciocínio alternativos e válidos. Isso impede que o modelo mantenha uma superposição de múltiplas estratégias, levando frequentemente a erros irrecuperáveis assim que um token suboptimal é escolhido.
2. Ineficiência Computacional: Gerar sequências longas de tokens textuais intermediários acarreta altos custos computacionais.

Abordagens recentes de "raciocínio latente" tentam mitigar esses problemas realizando o raciocínio dentro de estados ocultos contínuos. No entanto, os métodos existentes tipicamente funcionam como mapeamentos ponta a ponta opacos que exigem um número pré-definido e fixo de etapas latentes durante a inferência. Eles carecem da capacidade de determinar dinamicamente quando o raciocínio está completo e oferecem interpretabilidade limitada dos estados intermediários.

2. Metodologia: Estrutura PLaT

Os autores propõem o PLaT (Planning with Latent Thoughts), uma estrutura que desvincula fundamentalmente o processo de raciocínio (pensamento) da verbalização (linguagem). A hipótese central é que o raciocínio deve ocorrer como uma trajetória determinística em um espaço latente contínuo, com a geração de texto servindo apenas como uma projeção de baixa dimensão quando necessário.

Arquitetura

O PLaT consiste em dois componentes distintos que interagem via projetores lineares:

• O Planejador (Planner): Opera de forma autorregressiva em um manifold contínuo de alta dimensão. Ele evolui uma sequência de estados de planejamento latentes ($\tilde{S}$) baseada na pergunta de entrada e nos estados anteriores. Diferente de métodos anteriores que amostram de distribuições para o planejamento, o Planejador gera vetores determinísticos. Ele mantém uma densidade probabilística sobre múltiplas possibilidades lógicas até que uma decisão seja necessária.
• O Decodificador (Decoder): Atua como a interface para o mundo textual. Ele recebe o estado latente agregado ($S_k$) e o verbaliza em segmentos de texto ($y_k$). O Decodificador é treinado para reconstruir os passos de raciocínio reais a partir dos estados latentes.

Estratégia de Treinamento

1. Ajuste Fino Supervisionado (SFT): Todo o pipeline é otimizado usando uma perda de reconstrução (Entropia Cruzada) entre o texto real e a previsão do modelo condicionada ao estado latente. Para evitar que o modelo memorize mapeamentos ponto a ponto e para aprender a estrutura do manifold, ruído Gaussiano é injetado nos estados acumulados durante o treinamento. Um mecanismo de Média Móvel Exponencial (EMA) é usado para estabilizar a trajetória de planejamento ao agregar informações através de microetapas.
2. Aprendizado por Reforço (RL): Para refinar a política de busca, os autores empregam a Otimização de Política Relativa de Grupo (GRPO). Crucialmente, os parâmetros do Planejador são congelados para manter a integridade estrutural do manifold latente. A diversidade é introduzida exclusivamente durante a fase de verbalização, habilitando a amostragem por temperatura no Decodificador. Isso permite que o modelo explore diferentes caminhos de verbalização a partir do mesmo estado latente fixo, convergindo para aquele que maximiza a probabilidade de uma solução correta.

Inferência: Decodificação Preguiçosa (Lazy Decoding)

O PLaT introduz um protocolo de inferência eficiente chamado Lazy Decoding. Como o Planejador opera no espaço latente, o modelo gera a trajetória de estados sem gerar o texto completo.

• O sistema realiza uma "sonda semântica" decodificando apenas o primeiro token do texto potencial.
• Se o token não for um token de resposta, o modelo o descarta e prossegue para o próximo estado latente.
• Se o token indicar uma resposta, o modelo pausa o raciocínio e decodifica totalmente a resposta final.
  Esta abordagem pula a custosa geração de token por token para todas as etapas intermediárias, reduzindo significamente a latência enquanto retém a capacidade de inspecionar a cadeia de raciocínio sob demanda.

3. Resultados Principais

Experimentos foram conduzidos em benchmarks matemáticos (GSM8k, GSM-HARD, SVAMP, MultiArith) utilizando um backbone GPT-2 (small).

• Troca entre Precisão vs. Diversidade: O PLaT exibe um padrão comportamental distinto comparado aos baselines (CoT-SFT, Coconut, CODI).
  • Acurácia Greedy: O PLaT geralmente alcança uma acurácia greedy menor que os baselines. O artigo atribui isso à perda de informação inerente ao mapear o raciocínio para um espaço latente comprimido e às limitações de parâmetros do pequeno backbone.
  • Pass@k (Diversidade): O PLaT demonstra uma escalabilidade superior em diversidade de raciocínio. Nas métricas Pass@128, o PLaT supera significativamente os baselines (ex: 74,2% vs. 66,7% para o Coconut no GSM8k). As curvas de diversidade dos baselines tendem a achatar (saturar) em valores de $k$ mais altos, enquanto o PLaT mantém uma inclinação ascendente mais íngreme, indicando que aprende um espaço de solução mais amplo e robusto em vez de sofrer overfitting para uma trajetória estreita.
• Eficiência: O PLaT alcança uma aceleração significativa sobre o CoT Explícito (redução de aproximadamente 56% na latência) ao pular a geração de tokens intermediários. Embora seja ligeiramente mais lento que o método opaco Coconut, o PLaT oferece a interpretabilidade que o Coconut não possui.
• Análise de Estado Latente: A análise dos fatores de ramificação revela que o PLaT mantém um fator de ramificação mais alto durante o processo de raciocínio em comparação ao CoT. Enquanto o CoT poda agressivamente os caminhos precocemente (colapsando para uma única trajetória), o PLaT retém uma gama mais ampla de potenciais caminhos, com o número de ramos válidos eventualmente superando o CoT nas etapas finais.

4. Contribuições e Significância

O artigo reivindica as seguintes contribuições:

1. Reformulação do Raciocínio Latente: O PLaT altera o paradigma do pareamento de padrões implícito para o planejamento em um espaço latente contínuo, desvinculando explicitamente o raciocínio da verbalização.
2. Arquitetura Desacoplada: A introdução de uma arquitetção Planejador-Decodificador permite o raciocínio intermediário interpretável e a terminação dinâmica de inferência, abordando a natureza de "caixa preta" e as limitações de etapas fixas de métodos latentes anteriores.
3. Descoberta de Troca Empírica: O trabalho identifica uma troca crítica entre precisão greedy e potencial de exploração. Os autores argumentam que a capacidade do PLaT de aprender um manifold de solução amplo e explorável o torna uma fundação superior para algoritmos de busca em tempo de inferência (ex: Árvore de Pensamentos ou amostragem de rejeição), mesmo que sua acurácia greedy isolada seja menor.

Significância:
Os autores postulam que o PLaT oferece uma fundação transparente e escalável para futuros sistemas de raciocínio "Sistema 2". Ao tratar os estados latentes como trajetórias de planejamento exploráveis em vez de meros artefatos de compressão, o PLaT desloca o foco de memorizar "rastros de ouro" para aprender espaços de busca generalizáveis. Esta abordagem permite a terminação dinâmica e fornece um mecanismo para inspecionar pensamentos internos sem interromper o fluxo de raciocínio contínuo, pavimentando o caminho para o escalonamento de inferência avançado e aprendizado por reforço baseado em busca.