STATe-of-Thoughts: Structured Action Templates for Tree-of-Thoughts

Resumo Técnico: STATe-of-Thoughts

Declaração do Problema

Métodos de Computação em Tempo de Inferência (ITC - Inference-Time-Compute), como Best-of-n e Tree-of-Thoughts (ToT), visam melhorar a qualidade e a diversidade dos outputs de Grandes Modelos de Linguagem (LLMs) ao alocar computação adicional durante a geração. No entanto, as abordagens existentes enfrentam duas limitações críticas:

1. Diversidade Limitada: Os métodos atuais dependem fortemente da amostragem de alta temperatura ao nível do token para induzir diversidade. Pesquisas indicam que isso frequentemente falha em produzir variações semânticas significativas, resultando em outputs homogêneos ou com qualidade degradada (Zhang et al., 2025c; Jiang et al., 2025).
2. Falta de Interpretabilidade e Controle: Como as decisões sobre "o que dizer" e "como dizer" são implícitas no processo de decodificação ao nível do token, é difícil controlar estratégias de raciocínio específicas ou interpretar por que um determinado output teve sucesso ou falhou. Essa opacidade limita a utilidade do ITC para tarefas que exigem variação sistemática, como o estudo de estruturas retóricas na escrita persuasiva ou a geração de conteúdo criativo diverso.

Metodologia: STATe-of-Thoughts

Os autores propõem o STATe-of-Thoughts (STATe), um framework de ITC interpretável que desloca o espaço de busca da amostragem estocástica de tokens para ações de raciocínio discretas e de alto nível. O STATe opera como uma busca em árvore onde o ramificamento é impulsionado por intervenções textuais explícitas, em vez de ruído baseado em temperatura.

Componentes Principais

O framework consiste em três módulos interativos:

1. Controlador (C): Em cada etapa de raciocínio, o controlador seleciona um conjunto de $n$ ações de um espaço de ações predefinido $\mathcal{A}$. Essas ações são templates discretos e interpretáveis que codificam escolhas de raciocínio de alto nível (ex: selecionar uma estrutura retórica como "Exemplificação" ou um tema de conteúdo como "Riscos Intergeracionais"). O controlador também pode selecionar uma ação FINISH para disparar a interrupção precoce se o raciocínio for considerado suficiente.
2. Gerador (G): Para cada ação selecionada, o gerador produz uma etapa de raciocínio condicionada a essa ação. Crucialmente, o gerador utiliza prefilling (injeção de texto na mensagem do assistente) para impor a ação. A ação é traduzida em um prefixo textual (ex: "Por exemplo,") e orientação de raciocínio interna, forçando o modelo a gerar uma continuação consistente com a estratégia escolhida.
3. Avaliador (V): O framework emprega tanto Modelos de Recompensa de Processo (PRMs) para pontuar estados intermediários de raciocínio quanto Modelos de Recompensa de Resultado (ORMs) para pontuar respostas finais. Essas pontuações guiam uma busca de feixe (beam search) para podar ramos pouco promissores e reter os top-$k$ estados para a próxima camada.

Fluxo de Trabalho

O STATe substitui o ramificamento estocástico do ToT por um loop estruturado:

1. Definir Templates de Ação: Pesquisadores definem templates de ação discretos que representam escolhas de raciocínio de alto nível (ex: relações de discurso, temas de conteúdo).
2. Busca em Árvore: O controlador seleciona ações; o gerador produz complementos condicionados a essas ações; o avaliador pontua as trajetórias resultantes.
3. Atribuição e Descoberta: Como cada ramo está associado a uma sequência de ações registrada, os pesquisadores podem analisar a associação entre sequências de ações específicas e o desempenho subsequente. Isso permite a identificação de regiões promissoras e inexploradas no espaço de ações para guiar gerações futuras.

Principais Contribuições

O artigo reivindica três contribuições primárias:

1. Um Framework de ITC Controlável: O STATe introduz um mecanismo para busca no espaço de ações, tornando as decisões de nível de etapa explícitas e auditáveis.
2. Um Mecanismo de Diversidade Além da Temperatura: Demonstra que o ramificamento baseado em intervenção produz maior diversidade semântica do que a amostragem padrão de alta temperatura, sem sacrificar a qualidade.
3. Um Framework Analítico para Padrões de Raciocínio: Ao rastrear sequências de ações, o STATe permite a análise de como padrões de raciocínio específicos (e sua ordenação) se correlacionam com a qualidade do output.

Resultados Experimentais

Os autores avaliaram o STATe em dois cenários: escrita criativa (NoveltyBench) e geração de argumentos.

1. Diversidade e Qualidade na Escrita Criativa

No NoveltyBench, o STATe superou significativamente os métodos de ITC padrão (I/O, CoT, ToT) em três regimes de temperatura (T=0.5, 0.7, 1.0).

• Diversidade: O STATe melhorou a diversidade semântica em 31–42% em comparação com o melhor baseline não-STATe (CoT com ações).
• Qualidade: Diferente do típico trade-off entre diversidade e qualidade, o STATe também melhorou a qualidade percebida em 16–20% sobre os baselines.
• Generalização: Estes resultados se mantiveram em sete modelos de quatro famílias diferentes (Qwen, Gemma, Nemotron, Ministral).

2. Estudo de Caso de Geração de Argumentos

Em um estudo gerando argumentos para a proibição de plásticos de uso único, os autores descobriram:

• Controlabilidade: As intervenções do controlador manifestaram-se de forma confiável no texto gerado. A adesão ao nível de etapa à estrutura prescrita foi quase perfeita (99,7%), e a adesão ao subtema foi forte (87,8%).
• Previsibilidade: Um modelo sequencial (M2) que codificou posições e transições de ações superou significativamente os modelos baseados apenas em presença para prever a qualidade do argumento ($R^2$ de até 0,76). Isso indica que quando e como as ações são combinadas importa mais do que apenas sua presença.
• Alinhamento Humano: Um "LLM-as-a-Judge" usado para avaliação mostrou forte alinhamento com as preferências humanas (Probabilidade de Vantagem de 0,841), validando o uso de pontuação automatizada para esta tarefa.
• Exploração Direcionada: Usando as associações aprendidas do modelo sequencial, os autores identificaram e geraram com sucesso argumentos de regiões anteriormente inexploradas do espaço de ações. Esses argumentos direcionados superaram substancialmente a exploração aleatória e os baselines simples de presença de tópicos (taxas de vitória de 78,7% vs. 63,3% contra os baselines).

Significância e Alegações

O artigo posiciona o STATe como uma ferramenta de duplo propósito:

1. Framework Prático: Oferece um método para gerar textos diversos e de alta qualidade com controle sistemático sobre estratégias de raciocínio, abordando as limitações da amostragem ao nível do token.
2. Ferramenta de Pesquisa: Fornece um mecanismo para entender os padrões de raciocínio que impulsionam o desempenho. Ao tornar o "porquê" do sucesso de um output interpretável através de sequências de ações, o STATe facilita o estudo de como escolhas retóricas ou estruturais específicas influenciam os resultados finais.

Os autores enfatizam que o STATe é mais valioso para tarefas que admitem múltiplas soluções de alta qualidade, onde entender o processo de raciocínio é tão importante quanto o output final. Eles observam que, embora o método dependa de prefilling (atualmente limitando o deployment a modelos open-source/auto-hospedados) e ofereça insights associativos em vez de causais, ele representa um passo significativo em direção ao computação de tempo de inferência controlável e interpretável.