Latent Chain-of-Thought Improves Structured-Data Transformers

Resumo Técnico: Cadeia de Pensamento Latente Melhora Transformers de Dados Estruturados

Declaração do Problema
Avanços recentes em modelos de linguagem de grande escala (LLMs) demonstraram que escalar a computação no momento do teste, particularmente por meio do raciocínio de Cadeia de Pensamento (CoT), pode aprimorar significativamente as capacidades de raciocínio, às vezes superando a simples escalabilidade de parâmetros. Embora mecanismos como "Coconut" (alimentar estados ocultos de volta como embeddings) e profundidade recorrente (aplicar iterativamente blocos de transformer compartilhados) tenham sido explorados em linguagem natural, permanece incerto se esses benefícios se transferem para domínios de dados estruturados. Modelos state-of-the-art para previsão em tabelas (e.g., TabPFN, TabICL) e previsão de séries temporais (e.g., Chronos, TimesFM) operam atualmente por meio de uma única passagem direta sobre observações estruturadas. Este artigo investiga se a introdução de cadeia de pensamento latente — múltiplas rodadas de computação latente antes da previsão — pode melhorar o desempenho nessas configurações de dados estruturados.

Metodologia
Os autores propõem um esquema recorrente para transformers de dados estruturados que permite múltiplas rodadas de computação antes de gerar uma previsão final. O mecanismo central opera da seguinte forma:

1. Passagem Inicial: Um transformer $f_\theta$ processa a entrada (tokens de contexto e consulta) para produzir estados ocultos.
2. Compressão: Os estados ocultos nas posições de consulta ($H_q$) são comprimidos por meio de um pequeno Perceptron Multicamada (MLP) $\phi_\theta$ em "tokens de feedback" ($Z$).
3. Recorrência: Esses tokens de feedback são anexados à sequência de entrada original. O transformer é então executado novamente nesta sequência aumentada.
4. Iteração: Este processo se repete por $R$ recorrências. A previsão final é decodificada a partir dos estados ocultos nas posições originais de consulta após a $R$-ésima passagem.

O estudo avalia essa abordagem em dois domínios:

• Previsão em Tabelas: Utilizando a arquitetura de três estágios do TabICL (transformers de aprendizado por coluna, por linha e em contexto). A recorrência é aplicada especificamente no estágio de aprendizado em contexto, onde tokens de feedback são anexados à sequência de embeddings de linha.
• Previsão de Séries Temporais: Utilizando um transformer de previsão baseado em patches. Os estados ocultos de consultas futuras são comprimidos e anexados à sequência de entrada antes de reexecutar a pilha de transformers.

Desenho Experimental e Baselines
Para isolar as contribuições específicas da CoT latente, os autores treinam modelos do zero em conjuntos de dados individuais e comparam contra três baselines distintos:

1. Baseline de Mesma Profundidade: Um transformer padrão sem recorrência ($R=0$) e com o mesmo número de camadas. Isso controla a contagem de parâmetros.
2. Baseline Mais Profundo: Um transformer com o dobro de camadas ($2L$) treinado sem recorrência. Isso iguala a profundidade efetiva de passagem direta e os FLOPs de um modelo CoT com $R=1$, mas dobra a contagem de parâmetros, isolando ganhos de profundidade/capacidade versus recorrência.
3. Baselines em Loop: Modelos que compartilham pesos entre passagens (profundidade recorrente) mas não anexam tokens de feedback à entrada. Estes incluem loop de bloco único com pesos amarrados e loop estilo Universal-Transformer sobre pilhas de múltiplos blocos. Isso isola a contribuição dos tokens explícitos de CoT versus mera recorrência com pesos amarrados.

Resultados Chave
A abordagem foi avaliada em 36 conjuntos de dados: 9 do benchmark LTSF-9 de séries temporais e 27 de um subconjunto do OpenML usado nas avaliações do TabPFN.

• Ganhos de Desempenho: A CoT latente superou a baseline de mesma profundidade em 8/9 conjuntos de dados de séries temporais (ganho médio de +10,99% na perda de quantil) e 22/27 conjuntos de dados tabulares (ganho médio de +5,31% em precisão).
• Comparação com Baselines Mais Profundos: Modelos CoT superaram as baselines mais profundas e não recorrentes em média por 21,01% (séries temporais) e 4,75% (tabular). As baselines mais profundas frequentemente performaram pior que a baseline original de mesma profundidade em tarefas de séries temporais, sugerindo sobreajuste em conjuntos de dados menores.
• Comparação com Baselines em Loop: Modelos CoT superaram modelos em loop com pesos amarrados (que carecem de tokens de feedback) por 7,74% (séries temporais) e 3,82% (tabular).
• Escalonamento de Profundidade:
  • Séries Temporais: O desempenho melhorou em todas as profundidades testadas ($R \in \{1, 2, 4, 8\}$), sem uma tendência monotônica clara, embora os ganhos tenham se estabilizado. Notavelmente, um modelo treinado em $R=4$ generalizou para $R=8$ na avaliação.
  • Tabular: O desempenho mostrou uma tendência não monotônica; uma única recorrência ($R=1$) degradou ligeiramente o desempenho, mas recorrências adicionais ($R=2, 4$) recuperaram e superaram a baseline.

Significância e Alegações
O artigo alega que a cadeia de pensamento é um eixo útil para escalar a computação no momento do teste para dados estruturados, distinto de simplesmente aumentar a profundidade do modelo ou a contagem de parâmetros. Os resultados demonstram que:

1. Mecanismo de Melhoria: Os ganhos não são devidos exclusivamente ao aumento de computação ou amarração de pesos. O mecanismo específico de comprimir estados ocultos de posições de consulta em tokens de feedback e reprocessá-los é crítico. O mau desempenho das baselines em loop sugere que o benefício vem da capacidade de "escrever" computação intermediária em uma sequência à qual passagens subsequentes podem atender, em vez de apenas refinamento iterativo de um estado oculto.
2. Transferibilidade: O paradigma de CoT latente, anteriormente bem-sucedido em modelagem de linguagem, transfere-se com sucesso para tarefas de previsão em tabelas e séries temporais.
3. Limitações: Os autores observam que suas descobertas baseiam-se em modelos treinados do zero; a eficácia da CoT latente em modelos fundacionais pré-treinados em grande escala permanece uma questão empírica aberta. Adicionalmente, a implementação atual utiliza uma profundidade de recorrência fixa por modelo, em vez de um mecanismo adaptativo por entrada, e a interação com mudança de distribuição não foi explorada.