🤖 AI

Policy of Thoughts: Scaling Test-Time Training for LLM Reasoning via Online Policy Evolution

O artigo introduz o Policy of Thoughts (PoT), um framework que aprimora o raciocínio de LLMs ao tratar a execução em tempo de teste como um processo de otimização online onde um adaptador LoRA transitório é dinamicamente atualizado via Group Relative Policy Optimization para internalizar o feedback e evoluir a estratégia de raciocínio do modelo, permitindo que um modelo de 4B supere significativamente modelos de última geração muito maiores em benchmarks complexos de codificação.

Autores originais: Zhengbo Jiao, Hongyu Xian, Qinglong Wang, Yunpu Ma, Zhebo Wang, Zifan Zhang, Dezhang Kong, Meng Han

Publicado 2026-07-16

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zhengbo Jiao, Hongyu Xian, Qinglong Wang, Yunpu Ma, Zhebo Wang, Zifan Zhang, Dezhang Kong, Meng Han

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando resolver um quebra-cabeça incrivelmente difícil, como um desafio de codificação complexo ou um problema matemático que exige uma longa cadeia de raciocínio. Você tem um assistente superinteligente (um Modelo de Linguagem Grande) que conhece muitos fatos, mas às vezes fica preso em um loop, repetindo os mesmos erros repetidamente. No mundo da inteligência artificial, esse assistente geralmente trabalha com um cérebro "congelado": uma vez que começa a pensar, não pode mudar sua estratégia fundamental no meio do processo. Se ele tomar um caminho errado, continuará caminhando por esse caminho errado, esperando encontrar a resposta certa por pura sorte ou tentando muitos camros diferentes ao mesmo tempo. Isso é como tentar encontrar a saída de um labirinto correndo cegamente por cada corredor até bater em uma parede, em vez de aprender com as paredes com as quais já esbarrou.

Por muito tempo, a melhor maneira de resolver esses problemas difíceis era apenas dar ao computador mais tempo e poder de computação para tentar milhões de palpites diferentes. Mas este artigo sugere uma maneira mais inteligente: em vez de apenas tentar com mais força, o computador deve aprender enquanto está tentando. Pense nisso como um personagem de videogame que não apenas renasce e tenta novamente, mas que realmente aprende com a armadilha específica que acabou de matá-lo, ajustando sua estratégia instantaneamente para a próxima tentativa. O que os pesquisadores por trás deste estudo estão perguntando é: e se nossa IA pudesse "pensar rápido sobre os pés", atualizando suas próprias regras de raciocínio em tempo real com base em se seus palpites anteriores falharam ou tiveram sucesso? Esta é a diferença entre um robô que apenas segue um roteiro e um que adapta e evolui seu próprio cérebro para cada novo desafio que enfrenta.

A "Política de Pensamentos": Ensinando a IA a Aprender Enquanto Joga

Conheça o PoT (Policy of Thoughts - Política de Pensamentos), um novo framework que trata a resolução de um problema não como um palpite de uma única vez, mas como uma conversa viva e evolutiva entre a IA e o próprio problema. Os autores, uma equipe de pesquisadores de universidades como a Universidade de Zhejiang e a LMU de Munique, argumentam que a antiga maneira de fazer as coisas — onde a estratégia da IA permanece congelada enquanto ela busca respostas — está nos atrasando. Eles propõem um sistema onde a IA recebe uma "segunda chance" de aprender com seus próprios erros durante o teste, treinando a si mesma de forma dinâmica.

O Enigma Popperiano: Supor, Testar e Evoluir

A ideia central é inspirada por um famoso filósofo chamado Karl Popper, que acreditava que a ciência avança através de "conjecturas e refutações". Em termos simples, isso significa que você faz um palpite, testa-o contra a realidade e, se ele falhar, você aprende exatamente por que falhou para poder fazer um palpite melhor na próxima vez.

O PoT traz essa filosofia à vida para a IA. Veja como o ciclo funciona:

A Conjectura (O Palpite): A IA olha para um problema e gera alguns diferentes possíveis soluções (como esboçar três rotas diferentes em um mapa).
A Refutação (O Teste de Realidade): O sistema executa essas soluções em um ambiente real (como um compilador de código). Se o código travar ou der a resposta errada, isso é uma "refutação".
A Evolução (O Aprendizado): Esta é a parte mágica. Em vez de apenas descartar o palpite que falhou, o PoT usa a falha para atualizar a "política" interna da IA (sua estratégia de pensamento). Ele faz pequenos ajustes instantâneos em como a IA pensa, especificamente para este problema.
A Repetição: A IA tenta novamente com seu cérebro recém-atualizado, agora mais bem equipada para evitar o erro específico que acabou de cometer.

O Truque do "Cérebro Temporário"

Você pode se perguntar: "Se a IA aprende com cada problema, ela não ficará confusa ou esquecerá o que sabia antes?" Os autores têm uma solução inteligente. Eles usam uma técnica chamada LoRA (Low-Rank Adaptation), que é como dar à IA um "chapéu de pensar" temporário e destacável.

Imagine que a IA tem uma biblioteca massiva e permanente de conhecimento (seu modelo base). Quando enfrenta um problema difícil, ela coloca um "chapéu de pensar" especial e leve (o adaptador LoRA). Este chapéu permite que a IA aprenda e adapte rapidamente sua estratégia para este problema específico. Assim que o problema é resolvido (ou o tempo acaba), o chapéu é retirado e jogado fora. A biblioteca permanente permanece intocada e sem confusão. Isso significa que a IA pode ser mestre em adaptação para cada novo problema sem bagunçar seu conhecimento geral.

Os Resultados: Cérebro Pequeno, Grandes Vitórias

Os pesquisadores testaram essa ideia em desafios de codificação, que são notoriamente difíceis porque exigem lógica precisa, passo a passo. Eles usaram um modelo de IA relativamente pequeno (apenas 4 bilhões de parâmetros) e deram a ele o framework PoT.

Os resultados foram surpreendentes. Este modelo minúsculo, usando o PoT, conseguiu resolver 49,71% dos problemas em um benchmark rigoroso chamado LiveCodeBench V6. Para colocar em perspectiva:

Ele venceu o GPT-4o, um modelo comercial massivo, que marcou 29,71% nesse mesmo benchmark específico.
Ele superou significativamente o desempenho de base de outros modelos grandes neste teste específico, demonstrando que um modelo pequeno com aprendizado dinâmico pode superar o raciocínio estático de sistemas muito maiores.
Embora modelos como o Gemini-2.5-Flash (60,91% no geral) e o Claude-Opus-4 (55,22% no geral) tenham alcançado pontuações mais altas em benchmarks mais amplos e mistos, os 49,71% do modelo potencializado pelo PoT no rigoroso LiveCodeBench V6 representam um salto enorme para um modelo mais de 50 vezes menor, provando que o raciocínio adaptativo pode diminuir a distância em relação aos gigantes em tarefas específicas e complexas.

O mais impressionante é que o modelo potencializado pelo PoT é mais de 50 vezes menor do que alguns dos modelos gigantes com os quais compete. Ele não venceu por ter um cérebro maior; ele venceu por ter uma maneira mais inteligente de usar o cérebro que possuía.

Por Que Isso Importa

O artigo sugere que o futuro do raciocínio da IA não é apenas construir modelos cada vez maiores. É dar aos modelos a capacidade de "pensar rápido sobre os pés". Ao transformar o processo de teste em uma sessão de treinamento, a IA para de desperdiçar energia em caminhos falhos e começa a usar essa energia para melhorar sua estratégia instantaneamente.

Os autores descobriram que este método funciona melhor quando há um feedback claro (como um código que roda ou trava). Quando o feedback é impreciso, os ganhos são menores, mas ainda assim positivos. Eles também mostraram que esta abordagem funciona em diferentes tipos de modelos, não apenas no que começaram utilizando.

Em suma, o PoT sugere que a melhor maneira de resolver um problema difícil não é apenas tentar com mais força; é aprender mais rápido. Ao permitir que a IA evolua sua própria estratégia de raciocínio para cada desafio, podemos obter resultados superinteligentes de computadores muito menores e mais eficientes. É uma mudança de "procurar pela resposta certa" para "aprender como encontrar a resposta certa".

Resumo Técnico: Política de Pensamentos (PoT)

1. Definição do Problema

Grandes Modelos de Linguagem (LLMs) enfrentam uma instabilidade significativa ao lidar com tarefas de raciocínio complexas e de longo horizonte. As abordagens de estado da arte atuais baseiam-se em uma suposição de política congelada, onde os parâmetros do modelo permanecem estáticos durante a inferência. Embora métodos como Cadeia de Pensamento (CoT) e escalonamento de tempo de teste (ex: Best-of-N, Árvore de Pensamentos) aumentem o computação de inferência para explorar espaços de solução, eles tratam o feedback de execução meramente como um sinal externo para filtragem ou reescrita de trajetórias. Eles não internalizam falhas para melhorar a própria estratégia de raciocínio. Consequentemente, os modelos frequentemente desperdiçam recursos computacionais em "trajetórias enganosas", onde um único erro precoce descarrila irreversivelmente a cadeia de raciocínio, carecendo de um mecanismo para corrigir seu curso em tempo real.

Métodos existentes de Treinamento em Tempo de Teste (TTT) exploraram atualizações baseadas em gradiente, mas tipicamente visam a adaptação entre instâncias ou descoberta científica de longo horizonte, em vez do cenário de raciocínio por instância necessário para resolver problemas específicos e complexos.

2. Metodologia: Política de Pensamentos (PoT)

Os autores propõem a Política de Pensamentos (PoT), um framework que redefine o raciocínio em tempo de teste como um processo de otimização online dentro da instância. Inspirado pelo princípio epistemológico de Karl Popper de "conjecturas e refutações", o PoT permite que o modelo evolua iterativamente sua política de raciocínio através de um ciclo fechado de exploração e adaptação.

Arquitetura Central

O PoT opera em um modelo base congelado aumentado com um adaptador LoRA (Low-Rank Adaptation) transitório. O processo de raciocínio segue um ciclo de $P1 \to TT \to EE \to P2$ :

Conjectura Exploratória ($TT$): O modelo realiza uma exploração estruturada usando Busca em Árvore de Monte Carlo (MCTS). Ele gera um conjunto diversificado de trajetórias candidatas (pensamentos) expandindo nós baseando-se no objetivo PUCT (Predictor Upper Confidence Bound).
Execução e Refutação ($EE$): Soluções candidatas são executadas em um ambiente (ex: um executor de código). O feedback é obtido via resultados de testes unitários, servindo como uma medida objetiva de refutação.
Internalização da Política ( $P2$ ): Em vez de descartar tentativas falhas, o PoT utiliza a Otimização de Política Relativa de Grupo (GRPO) para atualizar o adaptador LoRA transitório.
- Um grupo de trajetórias é amostrado, e seus rewards relativos são computados para estimar sinais de vantagem.
- A perda GRPO é minimizada para atualizar os parâmetros do adaptador, efetivamente "treinando" o modelo no problema específico usando o feedback de execução.
- Isso atualiza a priori da política para etapas subsequentes de busca, estreitando a busca em direção a regiões de alta qualidade.
Reset: Uma vez que o problema é resolvido ou o orçamento é esgotado, o adaptador transitório é descartado, deixando o modelo base intocado. Isso evita o esquecimento catastrófico e a interferência entre instâncias.

Componentes Técnicos Chave

Espaço de Estados: Definido como a descrição do problema mais o histórico de pensamentos gerados e o feedback de execução.
Função de Recompensa (Reward): Derivada da execução de testes unitários (1.0 para todos passarem, crédito parcial para passagem parcial, 0 caso contrário).
Mecanismo de Adaptação: Utiliza LoRA ( $\Delta W = BA$ ) para atualizar os pesos de forma eficiente durante a inferência sem modificar o backbone pré-treinado.
Otimização: O GRPO é empregado para normalizar os rewards dentro de um grupo, permitindo que o modelo aprenda com as diferenças de desempenho relativo entre candidatos sem a necessidade de uma rede de valor separada.

3. Principais Contribuições

Treinamento em Tempo de Teste como Evolução de Política: O artigo formaliza o raciocínio em tempo de teste como um processo de otimização online, mudando o paradigma de seleção estática de trajetória para adaptação dinâmica de política. Isso permite que os LLMs internalizem o feedback de execução e reformulem estratégias de raciocínio em tempo real.
O Framework PoT: Um sistema unificado que combina exploração estruturada (MCTS) com internalização eficiente de parâmetros (GRPO + LoRA transitório). O design de adaptador por instância garante que o modelo se adapte à lógica específica do problema atual sem interferir em tarefas futuras.
Desempenho Empírico Superior: Experimentos extensos demonstram que o PoT supera significativamente as linhas de base existentes, incluindo métodos baseados em busca, técnicas de refinamento iterativo e modelos grandes comerciais, apesar de usar uma contagem de parâmetros muito menor.

4. Resultados Experimentais

Os autores avaliaram o PoT em cinco benchmarks de raciocínio de código: HumanEval, MBPP, LiveCodeBench (v5 & v6) e ICPC.

Desempenho em Modelos Pequenos: Um modelo de 4 bilhões de parâmetros (Qwen3-4B-Instruct) potencializado com PoT alcançou uma precisão geral de 64,02%.
- Isso supera o GPT-4o (49,35%), Claude-Opus-4 (55,22%) e Gemini-2.5-Flash (60,91%).
- Supera as bases de escalonamento de tempo de teste mais fortes (ex: RethinkMCTS com 57,08%, TTT-Discover com 58,79%) por margens significativas.
- No LiveCodeBench V6, o modelo de 4B alcançou 49,71%, superando 12 bases de escalonamento de tempo de teste e modelos comerciais, apesar de ser mais de 50 vezes menor em contagem de parâmetros.
Generalização: O PoT mostrou ganhos consistentes em diferentes famílias de modelos (Phi-4, Qwen) e escalas (1.7B a 30B). Também complementou modelos de "pensamento" (thinking models), elevando o Qwen3-4B-Thinking de 55,20% para 63,70% no LiveCodeBench V6.
Estudos de Ablação:
- Adaptação é Crítica: Remover a atualização LoRA (busca pura MCTS) derrubou o desempenho de 49,71% para 37,14%, destacando que a evolução da política é o principal motor do sucesso.
- Fator de Ramificação (Branching Factor): Um fator de ramificação de $k=3$ ofereceu o equilíbrio ideal entre diversidade de exploração e eficiência computacional.
- Transitório vs. Persistente: Descartar o adaptador após cada instância (reset por instância) superou a retenção do mesmo entre instâncias em 5,41 pontos, confirmando que estratégias específicas de instância não são transferíveis de forma confiável.

5. Significância e Alegações

O artigo argumenta que aprender em tempo de teste é uma estratégia superior à busca isolada para problemas de raciocínio difíceis. Ao converter computação adicional em melhoria direta da política em vez de exploração desperdiçada, o PoT permite que modelos pequenos superem modelos massivos e estáticos.

Os autores alegam que o PoT representa uma mudança fundamental da "suposição de política congelada", demonstrando que a adaptação transitória por instância é o regime correto para tarefas de raciocínio. O framework transforma efetivamente o ciclo de "conjecturas e refutações" em um processo computacional onde as falhas não são apenas filtradas, mas usadas para refinar as priori de raciocínio internas do modelo pela duração da tarefa.

Limitações: Os autores reconhecem que a dependência de modelos de recompensa aprendidos (em domínios não executáveis) introduz subjetividade, e que a eficácia de sinais baseados em modelos versus feedback ambiental determinístico permanece uma área de investigação aberta. No entanto, em domínios com feedback nativo (como código), o método alcança resultados robustos e de estado da arte.