💬 NLP

Deductive Logic in Language Models: Horizontal vs Vertical Reasoning

Este artigo investiga como modelos transformer pequenos treinados em tarefas dedutivas sintéticas implementam o raciocínio por meio de mecanismos distintos horizontais (autorregressivos) e verticais (implícitos), revelando que a supervisão de Cadeia de Pensamento (Chain-of-Thought) promove a inferência genuína baseada em regras em configurações horizontais, enquanto atua como aprendizado de currículo para desenvolver padrões de raciocínio complexos em configurações verticais.

Autores originais: Davide Maltoni, Matteo Ferrara

Publicado 2026-07-01

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Davide Maltoni, Matteo Ferrara

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um cérebro de robô minúsculo e uma folha em branco (um pequeno modelo de linguagem) que não sabe nada sobre o mundo. Você quer ensinar esse robô a resolver enigmas de lógica. Este artigo é como uma história de detetive onde os pesquisadores espiam dentro do cérebro desse robô para ver como ele descobre as coisas. Eles descobriram que o robô pode resolver esses enigmas de duas maneiras muito diferentes, dependendo de como você o ensina.

Aqui está a divisão de suas descobertas usando analogias simples:

As Duas Maneiras de Pensar: "Caminhar" vs. "Teletransportar"

Os pesquisadores testaram o robô em dois tipos de enigmas:

O Enigma da Corrente: Conectar pontos (ex: se A leva a B, e B leva a C, A leva a C?).
O Labirinto da Árvore: Encontrar um caminho do topo de uma árvore até uma folha específica na base.

Eles descobriram que o robô usa dois modos distintos de pensamento:

1. Raciocínio Horizontal: O "Caminhante Passo a Passo"

A Analogia: Imagine que você está caminhando por uma floresta escura. Você só consegue ver o próximo passo à sua frente. Para chegar ao fim, você deve dar um passo, olhar ao redor, dar o próximo passo, e assim por diante. Você não pode saltar para frente.

Como funciona: Isso acontece quando o robô é ensinado usando Cadeia de Pensamento (Chain-of-Thought - CoT). Isso é como dar ao robô um caderno onde ele tem que escrever cada um dos passos de sua jornada antes de dar a resposta final.
O que o robô aprende: O robô aprende a agir como um detetive seguindo uma trilha. Ele encontra uma regra (A leva a B), escreve essa regra, e então usa esse resultado para encontrar a próxima regra (B leva a C).
O Mecanismo Secreto: Dentro do cérebro do robô, existem pequenos "motores de busca" (chamados de Cabeças de Indução) que agem como uma função de "copiar e colar". Eles olham para o que acabou de ser escrito, encontram uma peça de informação correspondente e copiam a próxima peça do enigma para frente. É um processo muito claro e mecânico de "Encontrar A, obter B, então encontrar C".

2. Raciocínio Vertical: O "Pensador que se Teletransporta"

A Analogia: Imagine que você está parado na base de uma torre alta, mas precisa saber o que está no topo antes mesmo de dar o seu primeiro passo para cima. Você não pode subir passo a passo porque ainda não sabe quais degraus são seguros. Em vez disso, você tem que se "teletransportar" mentalmente até o topo, entender todo o caminho em sua cabeça e, só então, começar a falar.

Como funciona: Isso acontece quando o robô tem que resolver o Labirinto da Árvore sem ter permissão para escrever os passos intermediários. Ele tem que resolver todo o problema dentro de suas camadas de neurônios antes de emitir a primeira palavra.
O Mecanismo Secreto: O robô não "caminha" pelo caminho; ele constrói o caminho verticalmente através de suas camadas. É como uma pilha de folhas transparentes. A folha de baixo contém o ponto de partida, a próxima folha contém o próximo passo, e assim por diante, até o topo. Quando a informação chega à camada superior, todo o caminho já foi montado.
O Papel do Ensino: Surpreendentemente, mesmo que o robô não esteja escrevendo os passos, dar a ele um exemplo de "Cadeia de Pensamento" ajuda-o a aprender. Os pesquisadores chamam isso de Aprendizado por Currículo (Curriculum Learning). É como um professor mostrando enigmas fáceis primeiro (caminhos curtos) e gradualmente dando enigmas mais difíceis (caminhos longos). O robô aprende os padrões simples primeiro e depois usa esse conhecimento para enfrentar os complexos, tudo isso acontecendo "silenciosamente" dentro de seu cérebro.

A Armadilha: "Trapacear" Sem um Professor

Os pesquisadores tentaram ensinar o robô sem as notas passo a passo (Cadeia de Pensamento).

O Resultado: O robô falhou majoritariamente em aprender a lógica real. Em vez disso, ele começou a "trapacear".
A Analogia: Imagine um aluno fazendo uma prova. Se o professor não pede o desenvolvimento, o aluno pode apenas memorizar que "perguntas com 5 números geralmente têm uma resposta 'Sim'" em vez de realmente fazer a matemática.
A Descoberta: Sem a orientação passo a passo, o robô memorizou padrões nos dados do teste (vieses) em vez de aprender as regras da lógica. Ele conseguia pontuações altas no teste de prática, mas falhava completamente em questões novas e complicadas.

A Grande Conclusão

O artigo mostra que como você ensina um robô importa mais do que apenas o próprio robô.

Se você forçar o robô a falar seus pensamentos (Horizontal), ele constrói uma cadeia de lógica clara e mecânica que podemos facilmente entender e rastrear.
Se você forçar o robô a pensar silenciosamente (Vertical), ele ainda pode aprender, mas faz isso construindo gradualmente a complexidade, quase como um aluno dominando uma habilidade através da prática, em vez de um manual.
Se você não der nenhuma orientação, ele tende a trapacear memorizando atalhos, o que o torna não confiável quando as regras mudam.

Em resumo, a "Cadeia de Pensamento" não é apenas um truque sofisticado para obter respostas melhores; é uma ferramenta fundamental que muda como o cérebro do robô é estruturado para resolver problemas, transformando-o de um memorizador em um pensador lógico.

Resumo Técnico: Lógica Dedutiva em Modelos de Linguagem: Raciocínio Horizontal vs. Vertical

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) recentes demonstram capacidades significativas de raciocínio lógico, contudo, os mecanismos computacionais de baixo nível que sustentam a inferência dedutiva permanecem pouco compreendidos. Enquanto a literatura existente foca no desempenho em benchmarks ou em descrições de circuitos de alto nível em modelos pré-treinados, há uma lacuna na compreensão de como os transformers implementam o raciocínio dedutivo de múltiplos passos a partir de primeiros princípios. Especificamente, o artigo investiga a distinção entre dois paradigmas de raciocínio:

Raciocínio Horizontal: Um processo autorregressivo onde etapas intermediárias são geradas token a token, aproveitando tokens previamente gerados para passos subsequentes (tipicamente elicitado via Cadeia de Pensamento, ou CoT).
Raciocínio Vertical: Um processo implícito onde a inferência se desenrola através da hierarquia de camadas antes que o primeiro token de saída seja produzido. Isso é necessário quando o primeiro token requer a resolução de uma parte não trivial do problema (ex: determinar um caminho da raiz à folha em uma árvore binária) sem o auxílio de etapas intermediárias autorregressivas.

O estudo aborda se pequenos modelos transformer não pré-treinados podem aprender regras lógicas explícitas em vez de atalhos estatísticos, e como a supervisão por CoT influencia esses distintos modos de raciocínio.

Metodologia

Os autores empregam uma abordagem de interpretabilidade mecanística utilizando pequenos modelos transformer decoder-only treinados do zero em duas tarefas sintéticas projetadas para eliminar a ambiguidade da linguagem natural e a dependência de conhecimento de pré-treinamento.

Tarefas

Tarefa 1 (Consequência Lógica): Uma tarefa de inferência de lógica proposicional envolvendo cadeias de implicações (cláusulas de Horn). O modelo deve decidir se uma consulta ( $q_0 \to q_1$ $q_{0} \to q_{1}$ ) é uma consequência lógica de cinco regras dadas.
- Configuração CoT: O modelo gera a cadeia intermediária de implicações que leva à conclusão antes de produzir um token de decisão final (1 ou 0).
- Configuração Non-CoT: O modelo produz apenas o token de decisão final.
Tarefa 2 (Navegação Raiz-Folha): Uma tarefa que exige que o modelo navegue em uma árvore binária da raiz até um nó folha especificado, dada uma lista não ordenada de pares pai-filho.
- Configuração CoT: O modelo gera a sequência completa de nós no caminho.
- Configuração Non-CoT: O modelo produz um token binário indicando alcançabilidade.

Arquitetura do Modelo e Treinamento

Arquitetura: Modelos "NanoGPT" do tipo GPT-2 (decoder-only) treinados do zero. Os experimentos utilizaram configurações simplificadas (ex: 2 camadas, 1 cabeça) para interpretabilidade e configurações padrão (6 camadas, 8 cabeças) para desempenho.
Treinamento: Os modelos foram treinados em conjuntos de dados sintéticos (4K a 150K exemplos) com e sem supervisão CoT.
Ferramentas de Interpretabilidade:
- LogitLens: Decodificação do conteúdo do fluxo residual para o espaço do vocabulário em camadas intermediárias.
- Visualização de Atenção: Análise de padrões de atenção e filtragem por força.
- Pseudoinversa Truncada: Uma técnica inovadora introduzida para decodificar a informação carregada pelos vetores de Query, Key e Value de volta para o espaço de tokens, desmembrando a informação específica extraída pelas cabeças de atenção.
- Média: Computação da força média de atenção através de datasets para isolar links de atenção independentes de token (posicionais).

Principais Contribuições

Explicação Mecanística do Raciocínio Horizontal: O artigo fornece uma explicação de baixo nível de como um modelo raso (2 camadas) treinado com CoT resolve a Tarefa 1. Ele identifica circuitos específicos e interpretáveis:
- Conclusão de Regra: Mecanismos do tipo cabeça de indução que buscam um antecedente de regra que corresponda ao token atual e recuperam o consequente.
- Encadeamento de Regras: Mecanismos que conectam a cauda de uma regra à cabeça da próxima.
- Tomada de Decisão: Circuitos que verificam a cadeia final contra a consulta.
Análise do Raciocínio Vertical: O estudo demonstra que a Tarefa 2 (navegação raiz-folha) requer raciocínio vertical. O modelo aprende a computar todo o caminho reverso (folha para a raiz) internamente através das camadas antes de gerar o caminho direto. Isso envolve "tokens de registro" no prompt atuando como memória de trabalho.
Papel do CoT como Aprendizado de Currículo: O artigo revela que, no raciocínio vertical, o CoT não fornece apenas orientação passo a passo (como no raciocínio horizontal), mas atua como uma forma de Aprendizado de Currículo. Ele permite que o modelo primeiro domine subproblemas mais simples (ex: caminhos mais curtos ou nós mais próximos do alvo) e generalize progressivamente para casos complexos.
Técnica de Interpretabilidade Inovadora: A introdução de um método de pseudoinversa truncada para decodificar vetores de Query, Key e Value, oferecendo uma nova ferramenta para inspecionar o fluxo de informação nos mecanismos de atenção.
Modos de Falha sem CoT: O estudo mostra que, sem CoT, os modelos falham em aprender os algoritmos lógicos pretendidos para tarefas complexas, recorrendo à memorização ou explorando vieses do dataset (ex: contar literais distintos) quando tais vieses existem.

Resultados

Raciocínio Horizontal (Tarefa 1): Um modelo simples de 2 camadas treinado com CoT atinge ~100% de precisão e generaliza perfeitamente. A análise mecanística confirma a emergência de cabeças de indução que realizam operações de "copiar-buscar-recuperar" para encadear regras. Sem CoT, o modelo falha em convergir para uma solução generalizável, frequentemente memorizando o conjunto de treinamento ou explorando atalhos estatísticos (ex: contar literais) se houver vieses no dataset.
Raciocínio Vertical (Tarefa 2): Um modelo de 6 camadas treinado com CoT resolve com sucesso a tarefa de navegação raiz-folha. O modelo aprende implicitamente a percorrer a árvore de trás para frente (folha para a raiz) dentro do fluxo residual do último token do prompt, armazenando nós intermediários em posições de "registro", e então gera o caminho para frente.
- Sem CoT, o modelo falha em aprender a lógica de navegação, a menos que haja um viés de geração específico (característica estatística explorável) presente. Uma vez removido o viés, o desempenho cai para níveis próximos ao aleatório.
- O CoT facilita esse aprendizado ao permitir um efeito de currículo: o modelo aprende a prever tokens mais próximos da folha alvo primeiro, e então estende essa competência para a raiz.
Cabeças de Indução: As cabeças de indução são identificadas como componentes centrais em ambos os modos de raciocínio, facilitando o correspondência de antecedentes de regras e a recuperação de consequentes no raciocínio horizontal, e permitindo o encadeamento reverso no raciocínio vertical.

Significância e Alegações

O artigo afirma fornecer uma explicação de baixo nível de como os transformers implementam o raciocínio dedutivo, contrastando com trabalhos anteriores que oferecem descrições de alto nível ou focam em atalhos estatísticos.

Distinção nos Modos de Raciocínio: O trabalho esclarece que o CoT serve funções diferentes dependendo do paradigma de raciocínio: ele permite a decomposição explícita passo a passo no raciocínio horizontal, enquanto atua como um andaime de currículo para computação implícita por camada no raciocínio vertical.
Necessidade de Supervisão: Os resultados sugerem que, para tarefas dedutivas complexas, a supervisão intermediária explícita (CoT) é crucial para aprender os algoritmos lógicos subjacentes. Sem ela, os modelos tendem a memorizar ou explorar vieses em vez de aprender regras de raciocínio generalizáveis.
Generalização dos Mecanismos: Os achados apoiam a visão de que os modelos de linguagem podem depender de diferentes estratégias computacionais (baseadas em regras simbólicas vs. numéricas subsimbólicas) dependendo da natureza da tarefa. O estudo destaca que as cabeças de indução, anteriormente associadas primariamente ao aprendizado em contexto, são fundamentais para implementar circuitos de inferência lógica.
Limitações: Os autores observam modestamente que sua análise de baixo nível depende de arquiteturas simplificadas (modelos rasos, embeddings compartilhados) e sintaxe simbólica. Embora os mecanismos sejam claros neste cenário, eles podem não se transferir diretamente para modelos maiores pré-treinados ou ambientes naturalísticos. Além disso, os mecanismos específicos para fundir caminhos parciais no raciocínio vertical quando o comprimento do caminho excede a profundidade do modelo permanecem parcialmente não explicados.

Em resumo, o artigo argumenta que compreender os circuitos computacionais específicos (como as cabeças de indução) e o papel da supervisão (CoT) é essencial para projetar modelos robustos capazes de raciocínio dedutivo genuíno, em vez de mera aproximação estatística.