Resumo Técnico: TSLM: Modelagem de Linguagem Estruturada em Árvore para Pensamento Divergente

Declaração do Problema

Os modelos de linguagem de grande escala (LLMs) atuais operam fundamentalmente como geradores sequenciais, modelando a probabilidade do próximo token com base em um histórico linear ($p(y|x) = \prod p(y_t | x, y_{<t})$). Embora modelos de raciocínio recentes (ex: o1, DeepSeek-R1) tenham demonstrado capacidades impressionantes por meio de traços de raciocínio estendidos, eles permanecem limitados por essa natureza sequencial. Esta arquitetura força um "compromisso linear" com um único caminho, tornando difícil explorar sistematicamente múltiplas alternativas, recuperar-se de erros precoces ou desacoplar caminhos de exploração irrelevantes.

As soluções existentes para este problema dividem-se em duas categorias, ambas com limitações significativas:

1. Modelagem Sequencial: Os modelos geram um único caminho determinístico, limitando a exploração de alternativas.
2. Busca Externa (ex: Tree-of-Thoughts): Estes métodos utilizam orquestração externa para amostrar múltiplas trajetórias independentes. No entanto, esta abordagem sofre de distribuições fragmentadas, computação redundante de prefixos compartilhados e falta de coordenação entre os ramos. Além disso, métodos de busca externa frequentemente falham em escalar de forma robusta quando a complexidade do problema aumenta (ex: queda significativa de desempenho em ambientes de Gridworld maiores).

O desafio central identificado é a incapacidade dos modelos de construir coerentemente ramos de exploração diversos dentro de um único processo de geração, levando ou ao compromisso prematuro ou à amostragem paralela fragmentada e ineficiente.

Metodologia: Modelagem de Linguagem Estruturada em Árvore (TSLM)

Os autores introduzem a Modelagem de Linguagem Estruturada em Árvore (TSLM), um framework que permite aos modelos de linguagem gerar e gerenciar nativamente árvores de raciocínio através de aprendizado supervisionado.

Mecanismo Central

O TSLM modifica o objetivo padrão de modelagem de linguagem para gerar árvores de busca completas em uma única passagem de propagação (forward pass) ou em uma sequência coerente de passagens, em vez de trajetórias independentes.

• Serialização Baseada em Tokens: O modelo utiliza tokens especiais para codificar a estrutura da árvore em uma sequência linear compatível com arquiteturas Transformer padrão:
  • [SEP]: Indica uma ação viável que pode ser expandida posteriormente.
  • [FAIL]: Indica uma ação não viável (beco sem saída).
  • [GOAL]: Marca o estado de objetivo desejado.
  • [BOS]/[EOS]: Marcam os limites de sequência para expansões de filhos.
• Dependências Condicionais: Ao contrário dos modelos sequenciais padrão onde cada token depende de todo o prefixo, o TSLM emprega o desacoplamento de contexto seletivo. A geração de um nó é condicionada apenas ao seu caminho ancestral e aos irmãos gerados anteriormente no mesmo nó, não em subárvores não relacionadas. Isso permite que o modelo aprenda a estrutura de ramificação sistematicamente sem recomputação redundante.
• Objetivo de Treinamento: O modelo é treinado em árvores de busca completas que incluem tanto caminhos bem-sucedidos quanto tentativas falhas. A função de perda é uma perda de entropia cruzada padrão aplicada à sequência serializada, ensinando o modelo a:
  1. Gerar múltiplas ações em cada ponto de decisão.
  2. Atribuir marcadores de viabilidade apropriados ([SEP], [FAIL], [GOAL]).
  3. Estruturar a exploração sistematicamente.

Construção de Dados

• Tarefas Estruturadas: Para tarefas com árvores de busca predefinidas (ex: jogos de tabuleiro), o modelo é treinado para reproduzir diretamente a estrutura da árvore.
• Tarefas de Aberto (Open-Ended): Para tarefas sem árvores explícitas (ex: GSM8K, ProntoQA), os autores empregam um método de bootstrapping. Eles utilizam um modelo de supervisão (ex: amostragem Tree-of-Thoughts) para gerar pseudo-árvores de busca, incorporando trajetórias de ouro conhecidas como ramos de alta prioridade e ordenando os ramos restantes usando uma função de recompensa.

Procedimento de Inferência

Durante a inferência, o TSLM gera uma estrutura de árvore coerente. Ele então analisa os tokens estruturais para identificar ramos viáveis ([SEP]) e ramifica esses ramos em sequências independentes para expansão paralela. Isso permite uma exploração sistemática (ex: via Busca em Largura - BFS) enquanto mantém a topologia de busca completa internamente, evitando a amostragem redundante inerente à busca externa.

Principais Contribuições

1. Framework Inovador: Introdução do TSLM, um framework de serialização baseado em tokens que permite que LMs sequenciais aprendam raciocínio estruturado em árvore via aprendizado supervisionado em traços de busca coesos.
2. Ganhos de Desempenho: Demonstração de melhorias consistentes de desempenho em diversas tarefas:
   • Game of 24: 100% de precisão (vs. 17% para baselines sequenciais).
   • Gridworld (Extrapolação): 91,5% de precisão em grades 20×20 não vistas (vs. 42,7% para Tree-of-Thoughts), demonstrando extrapolação robusta além da complexidade de treinamento.
   • Raciocínio de Aberto: Desempenho aprimorado em ProntoQA e GSM8K.
3. Capacidades Emergentes: Descoberta de novas capacidades decorrentes do aprendizado de padrões de exploração completos:
   • Detecção de Problemas Irresolúveis: O TSLM pode identificar e encerrar em instâncias irresolúveis (ex: 97/100 casos irresolúveis de Game of 24) sem alucinar, uma capacidade ausente em baselines sequenciais.
   • Extrapolação Robusta: A capacidade de generalizar para ambientes maiores e fatores de ramificação mais altos sem retreinamento.
4. Novo Paradigma de Escalonamento: Uma mudança de "amostragem paralela de $k$ trajetórias independentes" para "explorar $k$ ramos dentro de uma única árvore coerente". Esta abordagem oferece maior eficiência de inferência e maior precisão de convergência.

Resultados Experimentais

Os autores avaliaram o TSLM contra vários baselines: Sequence Cloning (SC), Procedure Cloning (PC), GRPO (Aprendizado por Reforço) e Tree-of-Thoughts (ToT).

• Planejamento Estruturado (Game of 24): O TSLM alcançou 100% de precisão pass@1, superando significativamente SC (17%), PC (47%) e GRPO (15%). Mesmo comparado ao ToT@100 (métrica pass@100), o TSLM (pass@1) obteve resultados superiores.
• Escalonamento de Gridworld: Em testes de domínio interno (10×10), o TSLM atingiu 100%. Crucialmente, em testes fora de domínio (20×20), o TSLM manteve 91,5% de precisão, enquanto o ToT colapsou para 42,7%. Isso destaca a habilidade do TSLM de internalizar procedimentos de busca que generalizam melhor do que algoritmos de busca externa.
• Raciocínio de Aberto: No GSM8K, o TSLM (61,6% pass@1) igualou ou superou ligeiramente o ToT (62,3% pass@100) e o PC (55,9%), sendo significativamente mais eficiente computacionalmente.
• Eficiência: O TSLM demonstrou tempos de inferência significativamente mais rápidos em comparação ao ToT, que sofre de "explosão de tempo" devido à amostragem redundante e falta de compartilhamento de computação. O TSLM compartilha a computação para prefixos comuns dentro da árvore única gerada.

Significância e Alegações

O artigo desafia a suposição prevalecente de que capacidades de raciocínio robustas em modelos de linguagem exigem aprendizado por reforço (RL) ou complexa orquestração de busca em tempo de inferência. Em vez disso, os autores argumentam que o aprendizado supervisionado adequadamente estruturado de traços de raciocínio em formato de árvore fornece um caminho mais direto e eficiente para o aprimoramento do raciocínio e planejamento.

As principais implicações alegadas pelos autores incluem:

• Internalização da Busca: Ao treinar em árvores completas, os modelos internalizam estratégias de exploração sistemática, levando a uma melhor generalização do que métodos de busca externa.
• Eficiência: O TSLM oferece um novo paradigma de escalonamento em tempo de teste que explora mais ramos dentro de uma única estrutura coerente, evitando a redundância computacional da amostragem paralela independente.
• Robustez: A abordagem permite que os modelos lidem com problemas irresolúveis e escalem para o aumento de complexidade sem as quedas catastróficas de desempenho observadas em métodos de busca externa.

Os autores posicionam o TSLM não apenas como uma melhoria de desempenho, mas como uma mudança fundamental na forma como os modelos de linguagem podem ser treinados para raciocinar, sugerindo que o "gargalo" não é o computo de inferência, mas a construção sistemática do espaço de busca durante o treinamento.