💬 NLP

Improving Chain-of-Thought Reasoning via Quasi-Symbolic Abstractions

Este artigo apresenta o QuaSAR, uma abordagem de raciocínio que combina elementos simbólicos e linguagem natural para melhorar a precisão, robustez e consistência dos modelos de linguagem em tarefas complexas, superando as limitações das abordagens puramente simbólicas ou baseadas apenas em texto.

Autores originais: Leonardo Ranaldi, Marco Valentino, Andrè Freitas

Publicado 2026-03-31

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Leonardo Ranaldi, Marco Valentino, Andrè Freitas

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô superinteligente (um Modelo de Linguagem Grande, ou LLM) a resolver um problema de matemática difícil ou uma charada complexa.

O método tradicional, chamado Chain-of-Thought (Cadeia de Pensamento), é como pedir ao robô: "Pense passo a passo e me explique como chegou à resposta". O robô tenta falar tudo em linguagem natural, como um humano conversando. O problema? Às vezes, o robô se distrai com detalhes da conversa, alucina fatos ou se confunde com o "tom" da história, em vez de focar na lógica pura. É como tentar fazer contas de cabeça enquanto alguém conta uma história emocionante: você pode errar a conta porque ficou distraído com a história.

Outra abordagem tenta transformar tudo em código matemático ou lógica formal (como se o robô tivesse que falar apenas "1 + 1 = 2" em uma linguagem de computador). O problema aqui é que traduzir uma história inteira para essa linguagem de robô é lento, difícil e muitas vezes falha se a história for muito complexa.

A Solução: QuaSAR (O "Tradutor Híbrido")

Os autores deste paper criaram algo chamado QuaSAR (Raciocínio Abstrato Quase-Simbólico). Pense no QuaSAR como um tradutor inteligente que ajuda o robô a pensar melhor, misturando o melhor dos dois mundos: a linguagem humana e a lógica de máquina.

O QuaSAR funciona em 4 etapas, como se fosse uma receita de bolo para o raciocínio:

Abstração (O Esboço):
Imagine que você tem um problema de física sobre um foguete. Em vez de ler o texto todo de novo, o QuaSAR pede ao robô para identificar apenas o que importa: "Qual é a velocidade?", "Qual é a distância?", "Qual é o tempo?". É como tirar uma foto de apenas os ingredientes necessários para a receita, ignorando a decoração da cozinha. O robô cria uma lista de "variáveis" (nomes para os números e conceitos).
Formalização (A Tradução Parcial):
Aqui, o robô pega esses ingredientes e os coloca em uma "fórmula" meio humana, meio robô. Ele não traduz a história inteira para código, mas cria uma estrutura lógica.
- Exemplo: Em vez de dizer "O foguete voou rápido", ele diz: Velocidade = 100 km/h. É como transformar uma frase de romance em uma equação simples. Isso evita que o robô se confunda com palavras bonitas que não têm significado matemático.
Explicação (O Passo a Passo Lógico):
Agora, com a "fórmula" pronta, o robô resolve o problema. Como ele já separou a lógica da história, ele consegue seguir os passos sem se perder. É como se ele estivesse resolvendo uma equação no papel, onde cada linha depende da anterior, sem se deixar levar pela emoção do texto original.
Resposta (O Resultado Final):
O robô entrega a resposta final de forma clara e direta.

Por que isso é incrível? (As Analogias)

O Detetive vs. O Contador de Histórias:
O método antigo (CoT) é como um detetive que tenta resolver um crime enquanto ouve uma história de terror; ele pode se assustar e esquecer as pistas. O QuaSAR é como um detetive que primeiro anota as pistas em um quadro branco (símbolos) e só depois começa a montar a teoria. Ele não deixa a história atrapalhar a lógica.
O Arquiteto:
Se você pede para um arquiteto desenhar uma casa, ele não começa pintando as paredes. Ele primeiro faz o projeto (a abstração), depois desenha as plantas (a formalização), e só então constrói. O QuaSAR força o robô a fazer o projeto antes de tentar "construir" a resposta.
O Treinador de Atletas:
O paper também mostra que você pode usar o QuaSAR para "treinar" robôs menores e mais simples. É como ter um treinador de elite (um robô grande) que ensina um atleta iniciante (um robô pequeno) a pensar de forma organizada. O robô pequeno aprende a usar o "esqueleto" lógico do QuaSAR e se torna muito mais inteligente do que se apenas lesse exemplos de conversas normais.

O Resultado na Prática

Os testes mostraram que, ao usar esse método de "quase-símbolos":

Os robôs acertam 8% mais questões difíceis de matemática e lógica.
Eles são muito mais resistentes a truques. Se você mudar a ordem das palavras na pergunta ou usar sinônimos confusos, o robô QuaSAR continua acertando, porque ele olhou para a estrutura lógica, não para as palavras.
É mais fácil encontrar onde o robô errou e corrigir, porque o raciocínio está organizado em etapas claras, como uma receita de bolo, e não em um texto corrido.

Em resumo: O QuaSAR ensina os robôs a não apenas "falar" sobre o problema, mas a "ver" a estrutura lógica por trás dele, misturando a clareza da matemática com a flexibilidade da linguagem humana. É como dar ao robô uma bússola e um mapa, em vez de apenas pedir para ele "andar na direção certa".

Título: Improving Chain-of-Thought Reasoning via Quasi-Symbolic Abstractions

Autores: Leonardo Ranaldi, Marco Valentino, André Freitas.
Instituições: Idiap Research Institute, University of Edinburgh, University of Sheffield, University of Manchester, CRUK Manchester Institute.

1. Problema e Motivação

O Chain-of-Thought (CoT) tornou-se uma estratégia padrão para melhorar o raciocínio em Modelos de Linguagem de Grande Escala (LLMs), decompondo tarefas complexas em passos intermediários. No entanto, o CoT tradicional enfrenta limitações críticas:

Vieses de Conteúdo: As explicações geradas são suscetíveis a vieses semânticos e de conteúdo, o que compromete a robustez e a fidelidade do raciocínio, especialmente em variações adversariais (ex: troca de ordem de opções ou variações lexicais superficiais).
Limitações de Abordagens Simbólicas Puras: Métodos que utilizam formalismos lógicos completos e solucionadores simbólicos externos exigem uma tradução total do linguagem natural para linguagens formais. Esse processo cria um gargalo que reduz a eficiência, a flexibilidade e a escalabilidade.

O objetivo deste trabalho é encontrar um equilíbrio (trade-off) entre a flexibilidade da linguagem natural e a robustez do raciocínio simbólico, sem a necessidade de uma formalização completa e rígida.

2. Metodologia: QuaSAR

Os autores propõem o QuaSAR (Quasi-Symbolic Abstract Reasoning), uma variação do CoT que guia os LLMs a operar em um nível de abstração mais elevado através de explicações "quase-simbólicas". O framework permite a coexistência de elementos simbólicos com a linguagem natural.

O processo do QuaSAR estrutura a resolução de problemas em quatro etapas sequenciais (uma quadrupla $(Q, S, R, A)$ ):

Abstração (Abstraction):
- O modelo analisa o problema e identifica predicados, variáveis e constantes relevantes (numéricas ou verbais).
- O objetivo é isolar a estrutura lógica do problema, separando o conteúdo factual da lógica de raciocínio.
Formalização (Formalisation):
- O problema original (em linguagem natural) é reformulado utilizando uma mistura de representações simbólicas e linguagem natural.
- Esta etapa traduz termos concretos em símbolos para minimizar ambiguidades e efeitos de conteúdo, criando uma estrutura semi-formal que facilita o raciocínio.
Explicação (Explanation):
- O modelo gera uma cadeia de raciocínio baseada na estrutura simbólica definida anteriormente.
- Diferente do CoT padrão (que usa apenas texto), o QuaSAR elicia conexões lógicas explícitas entre os passos, reduzindo erros causados por conhecimento contextual implícito.
Resposta (Answering):
- Geração da solução final em um formato estrito e conciso (ex: "The answer is: [número]"), facilitando a avaliação automática.

Aplicações do Framework:

Aprendizado em Contexto (In-Context Learning - ICL): Uso direto do prompt QuaSAR em modelos grandes (ex: GPT-4o) para instruir o raciocínio passo a passo.
Geração de Demonstrações Sintéticas: Uso de modelos grandes (GPT-4o) para gerar exemplos de raciocínio QuaSAR, que são então usados para fine-tuning (SFT) de modelos menores (ex: Llama-3-8B, Qwen2-7B), transferindo a capacidade de raciocínio estruturado.

3. Contribuições Principais

Novo Paradigma de Raciocínio: Introdução do QuaSAR, que desvincula o conteúdo do raciocínio lógico sem exigir uma formalização completa, permitindo que LLMs operem com abstrações simbólicas dentro de um fluxo de linguagem natural.
Eficiência e Robustez: Demonstração de que a abordagem é mais eficiente do que métodos que dependem de solucionadores externos e mais robusta contra variações adversariais do que o CoT tradicional.
Transferência de Capacidade: Validação de que demonstrações geradas via QuaSAR por modelos grandes melhoram significativamente o desempenho de modelos menores, superando demonstrações geradas por CoT padrão.
Avaliação Abrangente: Testes extensivos em tarefas matemáticas complexas, raciocínio lógico e compreensão de linguagem natural.

4. Resultados Experimentais

Os experimentos foram realizados em diversos modelos (GPT-4o, Llama-3-70B/8B/1B, Qwen2-72B/7B/1.5B) e benchmarks (GSM8K, SVAMP, AQuA, MMLU-Redux, OlyBench, GPQA, DROP, GSM-Symbolic).

Desempenho em Modelos Grandes (ICL):
- O QuaSAR superou consistentemente o CoT padrão, CoMAT e Faithful CoT.
- No GPT-4o, houve um aumento médio de 8% na acurácia em comparação ao CoT.
- Em tarefas simbólicas (ex: GSM8K), o QuaSAR alcançou 96.5% (vs 94.0% do CoT).
Desempenho em Modelos Pequenos (SFT):
- Modelos menores treinados com demonstrações QuaSAR superaram os treinados com CoT.
- O Llama-3-8B treinado com QuaSAR atingiu 83.0% no GSM8K, contra 82.6% com CoT.
- O QuaSAR permitiu que modelos menores alcançassem desempenho superior com 50% menos dados de treinamento em comparação a modelos maiores treinados com CoT.
Robustez (Avaliação Adversarial):
- Em tarefas com opções de resposta embaralhadas (MMLU-Redux) e variações simbólicas (GSM-Symbolic), o QuaSAR manteve sua acurácia com variações mínimas (ex: 0.0% de queda no GPT-4o no MMLU-Redux), enquanto o CoT sofreu quedas significativas (ex: -1.2%).
Análise de Erros e Auto-correção:
- A estrutura quase-simbólica facilita a detecção de erros. Em testes de auto-correção, os outputs gerados via QuaSAR foram mais facilmente corrigidos pelos próprios modelos do que os outputs do CoT, devido à clareza da estrutura lógica.

5. Significância e Conclusão

O QuaSAR representa um avanço significativo na melhoria do raciocínio de LLMs ao abordar a tensão entre a flexibilidade da linguagem natural e a precisão do raciocínio simbólico.

Impacto na Robustez: A principal contribuição é a capacidade de manter a fidelidade do raciocínio mesmo quando o contexto superficial muda (variações adversariais), um ponto fraco histórico dos LLMs.
Escalabilidade: O método oferece uma solução escalável para melhorar modelos menores, utilizando a capacidade de raciocínio de modelos grandes para gerar dados de treinamento de alta qualidade (demonstrações estruturadas).
Viabilidade Prática: Ao não depender de solucionadores externos ou traduções completas para linguagens formais, o QuaSAR é mais eficiente em termos computacionais e mais fácil de implementar em pipelines de inferência padrão.

Em suma, o artigo demonstra que a introdução de abstrações quase-simbólicas dentro do fluxo de raciocínio em cadeia de pensamento melhora a precisão, a verifiabilidade e a confiabilidade dos LLMs em tarefas complexas, estabelecendo um novo estado da arte (SOTA) em diversos benchmarks de raciocínio.