Resumo Técnico: HEAVYSKILL – Pensamento Pesado como Habilidade Interna em Arneses Agênticos

Declaração do Problema

Avanços recentes em arneses agênticos alcançaram sucesso em tarefas de raciocínio complexo ao orquestrar múltiplos agentes com memória, habilidades e uso de ferramentas. No entanto, os mecanismos subjacentes que impulsionam esse desempenho permanecem obscurecidos por designs de sistemas intrincados. Abordagens atuais frequentemente dependem de loops de orquestração externos que ativam sub-agentes em paralelo e resumem resultados, ou empregam modificações arquitetônicas especializadas e receitas de pós-treinamento para elicitar raciocínio paralelo. O artigo argumenta que a busca por capacidade de raciocínio focou pesadamente em estratégias de escalonamento no momento do teste (TTS) que amplificam recursos computacionais, contudo, a contribuição específica do "pensamento pesado" como uma habilidade internalizável dentro dos parâmetros do modelo permanece subexplorada. Além disso, métodos existentes frequentemente carecem de um framework unificado e portátil que possa ser desacoplado de infraestruturas específicas para funcionar como uma capacidade nativa do Modelo de Linguagem de Grande Escala (LLM).

Metodologia

Os autores propõem o HEAVYSKILL, uma perspectiva e framework que trata o "pensamento pesado" não meramente como uma unidade de execução em um arnês de orquestração, mas como uma habilidade interna internalizada dentro do modelo. Essa habilidade é definida como um pipeline de duas etapas: raciocínio paralelo seguido por deliberação sequencial.

1. O Framework de Pensamento Pesado

O pipeline de inferência é decomposto em duas fases distintas:

• Raciocínio Paralelo: Dado um problema $q$, o modelo gera $K$ trajetórias de raciocínio independentes ($T_{\pi_\theta}(q, K) = \{y_1, \dots, y_K\}$). Essas trajetórias são geradas sem acesso às saídas umas das outras para garantir diversidade.
• Deliberação Sequencial: Um segundo modelo (ou o mesmo modelo) agrega as trajetórias geradas. Esta etapa envolve um processo de "resumo" onde o modelo avalia criticamente os caminhos de raciocínio, identifica erros e sintetiza uma resposta final.
• Cache de Memória Serializado: Para conectar essas fases, o framework introduz um mecanismo de cache de memória. Como trajetórias completas frequentemente excedem os limites de contexto, elas são podadas, embaralhadas para evitar viés posicional e serializadas em um contexto ($C(x_c)$) para a etapa de deliberação.
• Deliberação Iterativa (Opcional): O framework suporta refinamento iterativo onde a saída da etapa de deliberação é alimentada de volta no cache de memória como uma nova entrada para rodadas subsequentes de análise.

2. HEAVYSKILL como uma Habilidade Legível

Uma inovação chave é a destilação desse fluxo de trabalho em um arquivo de habilidade legível (por exemplo, HeavySkill.md). Diferentemente de fluxos de trabalho tradicionais que dependem de pipelines Python externos para gerenciar chamadas de API e estado, o HEAVYSKILL é um documento legível por humanos e interpretável pelo modelo.

• Estrutura: O arquivo de habilidade contém quatro componentes:
  1. Condições de Ativação: Regras declarativas para quando acionar o pensamento pesado (por exemplo, raciocínio complexo versus consultas simples).
  2. Protocolo de Raciocínio Paralelo: Instruções para iniciar $K$ agentes independentes com estratégias diversas.
  3. Prompt de Deliberação: Um modelo central instruindo o modelo a avaliar criticamente, não apenas votar, nas trajetórias. Ele proíbe explicitamente a concatenação superficial e exige síntese genuína.
  4. Restrições de Saída: Regras para formatar a resposta final (por exemplo, \boxed{} para matemática).
• Portabilidade: Por ser um documento de texto simples, ele pode ser injetado em qualquer arnês agêntico (por exemplo, Claude Code, CodeX, Hermes) que suporte carregamento de habilidades, permitindo que o orquestrador execute autonomamente o protocolo sem modificação de código.

3. Otimização via RLVR

O artigo explora a adaptação do Aprendizado por Reforço com Recompensas Verificáveis (RLVR) para otimizar o pensamento pesado. A hipótese é que o RLVR pode melhorar simultaneamente a amplitude do raciocínio (via geração paralela) e a profundidade (via deliberação), potencialmente empurrando o modelo além de suas restrições intrínsecas por trajetória.

Principais Contribuições

1. Proposta de Framework: Introdução de um framework simples, sem treinamento, para reproduzir o pensamento pesado via raciocínio paralelo e deliberação sequencial.
2. Estudo Empírico Abrangente: A primeira avaliação sistemática do pensamento pesado em diversas escalas de modelos (de 7B a modelos de fronteira) e domínios de tarefas (STEM, codificação, raciocínio geral).
3. Destilação de Habilidade: A conceitualização do pensamento pesado como uma "habilidade interna" portátil e legível que desacopla a capacidade de raciocínio de infraestruturas específicas de orquestração.
4. Análise Sistemática: Insights detalhados sobre a interplay entre componentes do framework, incluindo os papéis da diversidade de trajetórias, seleção de modelo para deliberação e os efeitos do refinamento iterativo.

Resultados Experimentais

Desempenho em Tarefas de STEM

Avaliado em benchmarks incluindo AIME25, BeyondAIME, HMMT25-Feb e GPQA-Diamond:

• Superioridade Consistente: O pensamento pesado (medido por Heavy-Mean@4 ou HM@4) supera consistentemente tentações de trajetória única (Mean@K) e estratégias tradicionais Best-of-N como Votação Majoritária (Vote@K).
• Leis de Escalonamento: Aumentar o número de trajetórias paralelas ($K$) e empregar deliberação sequencial leva a melhoria contínua de desempenho, validando o pensamento pesado como uma realização prática do Escalonamento no Momento do Teste.
• Aproximação dos Limites Teóricos: Modelos mais fortes (por exemplo, DeepSeek V3.2, GPT-5 Thinking) sob pensamento pesado aproximam-se do limite superior teórico Pass@K. Em alguns casos, o processo de deliberação (Heavy-Pass@K) excede o Pass@K bruto, sugerindo que o modelo pode sintetizar soluções corretas não presentes em nenhuma trajetória bruta única.
• Hierarquia: Uma hierarquia de desempenho consistente foi observada: Heavy-Pass@k ≥ Heavy-Mean@K ≥ Vote@K ≥ Mean@K.

Desempenho em Tarefas de Raciocínio Geral

• Objetivo vs. Subjetivo: O framework mostra ganhos substanciais em tarefas objetivas e verificáveis (por exemplo, LiveCodeBench, IFEval). No entanto, os ganhos são marginais ou ocasionalmente negativos em tarefas subjetivas baseadas em preferência (por exemplo, Arena-Hard), indicando que a deliberação sequencial se destaca em tarefas "orientadas à correção", mas pode lutar com nuances "orientadas à preferência".
• Seleção de Modelo: A etapa de deliberação não requer estritamente um modelo com poder de raciocínio intrínseco superior. Modelos maiores e que seguem instruções (por exemplo, Qwen2.5-32B) usados como deliberadores podem impulsionar significativamente o desempenho, mesmo que sejam mais fracos na resolução dos problemas independentemente, destacando a importância das capacidades de síntese sobre o poder bruto de raciocínio na segunda etapa.

Deliberação Iterativa e Uso de Ferramentas

• Iteração: Embora aumentar as iterações geralmente melhore a precisão, introduz uma compensação onde Heavy-Pass@K pode degradar devido a ruído cumulativo ou viés de etapas anteriores.
• Integração de Ferramentas: O framework integra-se com sucesso com ferramentas externas (por exemplo, interpretadores Python). O pensamento pesado supera baselines de votação em cenários intercalados com ferramentas, aproveitando efetivamente o feedback de execução para refinar trajetórias.

Adaptação RLVR

Experiências preliminares de RLVR mostram que aplicar aprendizado por reforço a trajetórias de pensamento pesado pode melhorar ainda mais o Heavy-Mean@4 em aproximadamente 10%. No entanto, problemas de estabilidade foram observados com contagens maiores de trajetórias ($K=16$) devido a limitações de comprimento de sequência, sugerindo a necessidade de configuração cuidadosa.

Significado e Alegações

O artigo alega que o HEAVYSKILL oferece um caminho promissor para LLMs autoevolutivos que internalizam raciocínio complexo sem depender de camadas de orquestração frágeis. Ao abstrair o arnês agêntico em uma capacidade inerente de "pensamento pesado", os autores demonstram que:

1. O Raciocínio é uma Habilidade Interna: O raciocínio complexo pode ser destilado em uma habilidade transferível que opera abaixo de qualquer arnês agêntico.
2. A Deliberação é Fundamental: A deliberação sequencial é mais eficaz do que o consenso estatístico simples (votação) para sintetizar respostas corretas a partir de múltiplos caminhos de raciocínio.
3. Escalabilidade: A profundidade e a largura do pensamento pesado são aprendíveis e escaláveis via aprendizado por reforço, oferecendo um mecanismo para empurrar LLMs além de suas atuais fronteiras de raciocínio.

Os autores mantêm uma postura modesta, observando que, embora o pensamento pesado supere significativamente estratégias tradicionais, não é uma panaceia para todos os tipos de tarefas (particularmente preferências subjetivas) e que a dinâmica do RLVR neste contexto requer maior exploração. O trabalho estabelece principalmente a eficácia e as limitações do pensamento pesado como um componente fundamental para sistemas agênticos de próxima geração.