🤖 AI

How Well Do LLMs Perform on the Simplest Long-Chain Reasoning Tasks: An Empirical Study on the Equivalence Class Problem

Este artigo avalia empiricamente Modelos de Linguagem de Grande Escala no Problema da Classe de Equivalência, revelando que, embora modelos de raciocínio superem significativamente os não baseados em raciocínio, ambos lutam com a tarefa, sendo que os modelos não baseados em raciocínio falham principalmente no ponto de transição de fase da conectividade e os modelos de raciocínio enfrentam a máxima dificuldade no maior diâmetro do grafo.

Autores originais: Chun Zheng, Lianlong Wu, Bingqian Li, Lvting Liu, Yi Zhou

Publicado 2026-05-11

📖 4 min de leitura☕ Leitura rápida

CC0 1.0

Autores originais: Chun Zheng, Lianlong Wu, Bingqian Li, Lvting Liu, Yi Zhou

Artigo original dedicado ao domínio público sob CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando descobrir quem pertence ao mesmo clube secreto. Você tem uma lista de regras como "Alice está no mesmo clube que Bob" e "Bob está no mesmo clube que Charlie". Se você conhece essas duas regras, pode deduzir que Alice e Charlie também estão no mesmo clube, mesmo que ninguém tenha dito isso explicitamente. Este é o Problema da Classe de Equivalência: um quebra-cabeça lógico simples sobre conectar os pontos.

Este artigo faz uma pergunta muito específica: Os modelos de IA modernos (Modelos de Linguagem de Grande Escala) conseguem resolver esses quebra-cabeças quando a cadeia de conexões fica realmente longa?

Os pesquisadores testaram dois tipos de IA:

Modelos "Não Raciocinantes": A IA padrão e rápida que adivinha a próxima palavra com base em padrões (como DeepSeek-V3).
Modelos "Raciocinantes": A IA mais nova e "pensante" que pausa para elaborar um plano passo a passo antes de responder (como DeepSeek-R1).

Eis o que eles descobriram, explicado através de analogias simples:

1. O Muro de "Um Salto" (Para IA Padrão)

Pense na IA padrão como um turista muito inteligente, mas de visão curta.

A Boa Notícia: Se você perguntar "Alice está no mesmo clube que Bob?" (uma ligação direta), o turista acerta quase todas as vezes.
A Má Notícia: Se você perguntar "Alice está no mesmo clube que Dave?" e você tiver que passar por Bob e Charlie para descobrir (uma cadeia de três), o turista fica completamente perdido.
O Resultado: Assim que a cadeia fica mais longa do que um passo, o desempenho da IA padrão despenca. Ela trata "Alice → Bob → Charlie" como três fatos separados e não relacionados, em vez de uma única história conectada. Ela atinge um "Muro de Raciocínio" imediatamente.

2. O "Caminhante Exausto" (Para IA Raciocinante)

A IA "Raciocinante" é como um caminhante com um mapa detalhado e uma bússola.

A Boa Notícia: Este caminhante é muito melhor. Ele consegue seguir com sucesso longas trilhas de conexões que confundiriam o turista. Ele não se perde após apenas um passo.
A Má Notícia: Mesmo o melhor caminhante fica cansado. Os pesquisadores descobriram que, à medida que a cadeia de conexões fica cada vez mais longa, o caminhante começa a cometer mais erros. Não é um despenca súbito como o do turista; é uma subida lenta e exponencial de erros.
O Resultado: Embora esses modelos sejam vastamente superiores, eles ainda não conseguem resolver todas as cadeias longas perfeitamente. Quanto mais longa a cadeia, mais provável é que eles tropecem.

3. A "Zona do Caos"

Os pesquisadores notaram algo interessante sobre onde os modelos falham.

Imagine que as regras são como uma teia de cordas conectando pessoas.
Para o Turista (IA Padrão): Eles falham mais quando a teia está em um estado de "transição caótica" — exatamente quando está se tornando uma grande bagunça emaranhada. Eles não conseguem lidar com a complexidade estrutural de forma alguma.
Para o Caminhante (IA Raciocinante): Eles falham mais quando o caminho que precisam percorrer está em seu comprimento absoluto máximo. Sua luta não é sobre a bagunça da teia, mas sim o puro comprimento da jornada que precisam traçar.

4. Por Que as "Dicas" Não Ajudaram

Os pesquisadores tentaram ajudar a IA:

Dando-lhe regras explícitas (como um livro de regras).
Mostrando-lhe exemplos de como resolver quebra-cabeças semelhantes primeiro.
Pedindo-lhe para tentar várias vezes e escolher a melhor resposta.

A Surpresa: Nenhuma dessas truques corrigiu o problema central.

Dar ao turista um livro de regras não o ajudou a ver a cadeia longa.
Mostrar ao caminhante exemplos não o impediu de ficar cansado em trilhas longas.
A Conclusão: O problema não é que a IA não conhece as regras; é que seu "motor" interno não foi construído para segurar uma longa cadeia de lógica em sua mente ao mesmo tempo. É uma limitação estrutural, não uma falta de instruções.

A Conclusão Final

O artigo conclui que, embora a IA "Raciocinante" seja um salto gigantesco para frente, ela ainda não resolveu o problema da lógica perfeita de cadeia longa.

A IA Padrão é como uma calculadora que só consegue fazer uma adição de cada vez.
A IA Raciocinante é como uma calculadora que consegue fazer uma soma longa, mas se a soma ficar muito longa, ela começa a soltar dígitos.

Os autores alertam que não devemos assumir que esses modelos "resolveram" o raciocínio lógico. Se você precisa que uma IA garanta uma cadeia de lógica perfeita (como em situações legais complexas ou críticas para a segurança), esses modelos ainda podem falhar, especialmente à medida que os problemas ficam maiores e mais complexos.

Resumo Técnico: Problema da Classe de Equivalência e Raciocínio em Cadeia Longa em LLMs

Definição do Problema

Este estudo investiga as capacidades e limitações de Modelos de Linguagem de Grande Escala (LLMs) em tarefas de raciocínio em cadeia longa. Para isolar a dedução lógica pura da interferência semântica, os autores formalizam o Problema da Classe de Equivalência (ECP). Nesta tarefa, um modelo recebe um conjunto de relações de equivalência geradas aleatoriamente (arestas em um grafo) e deve determinar se duas variáveis específicas pertencem à mesma classe de equivalência (ou seja, estão conectadas).

Matematicamente, isso equivale a identificar componentes conectados em um grafo aleatório de Erdős-Rényi $G(n, p)$ . O problema exige dedução recursiva multi-etapa baseada na transitividade das relações ( $a=b, b=c \implies a=c$ ). O estudo varia a escala do problema ( $n$ , o número de variáveis) e a probabilidade de conectividade ( $p$ ) para atravessar diferentes regimes de complexidade do grafo, visando especificamente a região de transição de fase onde a estrutura do grafo muda de esparsa/desconectada para um componente gigante conectado.

Metodologia

Os autores construíram um ambiente experimental controlado para avaliar tanto modelos sem raciocínio (por exemplo, DeepSeek-V3, Gemini-3-Flash) quanto modelos com raciocínio (por exemplo, DeepSeek-R1, DeepSeek-V3.2-thinking, GPT-5-mini), que utilizam mecanismos de Cadeia de Pensamento (CoT).

Protocolo Experimental:

Formalização da Tarefa: A tarefa é enquadrada como um problema de classificação binária. Dada uma lista de arestas $E$ e um par de consulta $(u, v)$ , o modelo deve emitir "Sim" ou "Não" sobre sua equivalência.
Varredura de Parâmetros: A probabilidade de conectividade $p$ é variada de 0 a 1. A densidade de amostragem é aumentada perto de limiares teóricos críticos: o surgimento do componente gigante em $p \approx \ln n / (n-1)$ e o regime esparso em $p \approx 1/n$ .
Métricas: O desempenho é medido pela Taxa de Erro em tamanhos de problema variados ( $n$ até 144) e profundidades de inferência (o comprimento do caminho mais curto entre os nós consultados).
Estudos de Ablação: Os autores testaram várias intervenções, incluindo especificação explícita de regras, enquadramento de domínio (Lógica vs. Teoria dos Grafos), aprendizado em contexto (poucos exemplos) e estratégias de decodificação (Pass@K, ajustes de temperatura).

Principais Resultados

1. Modos de Falha Divergentes

Modelos sem Raciocínio: Estes modelos exibem uma "Parede de Raciocínio" catastrófica. Embora performem de forma robusta em deduções de um único salto (Profundidade=1), suas taxas de erro disparam imediatamente na Profundidade=2 e saturam perto de um palpite aleatório (erro de 85%+) na Profundidade=3. Seu desempenho atinge o pico de erro perto do ponto de transição de fase ( $\ln n / (n-1)$ ), sugerindo que eles lutam com o caos topológico do grafo e não com o comprimento da cadeia.
Modelos com Raciocínio: Modelos aprimorados com CoT suprimem significativamente as taxas de erro em comparação com as linhas de base sem raciocínio. No entanto, eles não alcançam generalização perfeita. Seus erros mostram um decaimento dependente da profundidade: à medida que a cadeia de inferência se alonga, as taxas de erro crescem exponencialmente (geometricamente). Seus casos mais difíceis coincidem com o diâmetro máximo do grafo, indicando que o principal gargalo é o comprimento da cadeia de raciocínio, e não apenas o caos estrutural.

2. Limites de Escala

À medida que o tamanho do problema ( $n$ ) aumenta, a taxa de erro máxima para modelos sem raciocínio sobe abruptamente, excedendo 90% em $n=144$ .
Modelos com raciocínio mantêm taxas de erro muito mais baixas (por exemplo, ~1% para DeepSeek-V3.2-thinking em $n=144$ ), mas uma taxa de falha não nula persiste, particularmente perto da transição de fase e em maiores profundidades.

3. Robustez Contextual

Diluição da Atenção: Modelos com raciocínio sofrem degradação de desempenho quando requeridos para resolver múltiplas consultas dentro de uma única janela de contexto (configurações de alta interferência), sugerindo uma limitação na manutenção do estado lógico ao longo de turnos de interação estendidos.
Limites Intrínsecos: Mesmo nas configurações mais favoráveis de "baixa interferência" (uma consulta por grafo), modelos com raciocínio falham em atingir erro zero perto da transição de fase, indicando déficits intrínsecos na generalização de regras de equivalência em escala, e não apenas restrições de janela de contexto.

4. Achados de Ablação

Engenharia de Prompt: Fornecer regras lógicas explícitas, role-playing ou poucos exemplos produz ganhos negligenciáveis para modelos sem raciocínio. Isso sugere que a falha é estrutural (incapacidade de executar rastreamento de estado recursivo) e não informacional.
Enquadramento de Domínio: Enquadrar a tarefa como um problema de "Teoria dos Grafos" (componentes conectados) supera significativamente o enquadramento abstrato de "Lógica" para modelos sem raciocínio, implicando que ativar subespaços algorítmicos específicos nos dados de treinamento do modelo é mais eficaz do que a dedução abstrata.
Decodificação: Aumentar a diversidade via temperatura mais alta e amostragem Pass@5 melhora a robustez, mas falha em eliminar erros na transição de fase crítica.

Principais Contribuições

Benchmark Controlado: O artigo estabelece o Problema da Classe de Equivalência como um benchmark sintético e rigoroso para avaliar os limites do raciocínio lógico puro de LLMs, livre de contaminação de dados e ruído semântico.
Caracterização da Falha sem Raciocínio: Demonstra quantitativamente que arquiteturas Transformer padrão não podem realizar de forma confiável dedução multi-etapa além de tarefas de um único salto, independentemente da escala do modelo ou da engenharia de prompt.
Limitações dos Modelos com Raciocínio: Refuta a suposição de que modelos com raciocínio resolveram a generalização lógica, mostrando que até mesmo modelos CoT de última geração sofrem de acúmulo exponencial de erros à medida que a profundidade do raciocínio aumenta.
Déficits Arquiteturais vs. Instrucionais: O estudo fornece evidências empíricas de que a engenharia de prompt estática é insuficiente para superar barreiras estruturais de raciocínio, destacando a necessidade de mecanismos de computação ativa "Sistema 2" que vão além das implementações atuais de CoT.

Significado e Alegações

O artigo afirma que, embora os LLMs tenham feito progressos significativos, sua capacidade de realizar raciocínio multi-etapa garantido permanece fundamentalmente limitada. As descobertas sugerem que:

Modelos sem raciocínio são incapazes do rastreamento de estado recursivo necessário para cadeias longas.
Modelos com raciocínio, embora superiores, ainda estão sujeitos ao acúmulo de erros que os impede de resolver cadeias lógicas arbitrariamente longas perfeitamente.
O "colapso do raciocínio" observado é uma limitação arquitetônica intrínseca e não um resultado de instruções insuficientes ou dados de treinamento inadequados.

Consequentemente, os autores alertam contra a implantação de LLMs atuais em domínios que exigem garantias lógicas estritas (por exemplo, verificação formal, inferência legal) sem reconhecer esses modos de falha sistemáticos. O estudo conclui que o Problema da Classe de Equivalência permanece um desafio aberto, necessitando de trabalhos futuros sobre dinâmicas de atenção e ajuste fino direcionado para estender a profundidade efetiva de raciocínio.