💬 NLP

The Complexity Ceiling Benchmark: A Multi-Domain Evaluation of Sequential Reasoning Under Depth Scaling

O Complexidade Ceiling Benchmark (CCB) avalia como o raciocínio de modelos de linguagem decai com o aumento da profundidade da tarefa em três domínios, revelando que, embora alguns modelos mantenham alta precisão em tarefas espaciais e simbólicas até 50 etapas, eles colapsam rapidamente em inferência relacional, com uma métrica específica (k*) prevendo o desempenho de longo horizonte melhor do que a contagem de parâmetros.

Autores originais: Shubh Chapra, Dhruv Kumar, Murari Mandal, Yash Sinha

Publicado 2026-06-30

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Shubh Chapra, Dhruv Kumar, Murari Mandal, Yash Sinha

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está pedindo a um assistente muito inteligente, mas um pouco esquecido, para resolver um quebra-cabeça longo e de múltiplas etapas. Você poderia perguntar: "Você consegue fazer isso?" e ele diria "Sim". Mas se o quebra-cabeça tiver 50 etapas, ele pode se perder em algum lugar no meio do caminho.

Este artigo apresenta um novo teste chamado Complexity Ceiling Benchmark (CCB). Em vez de apenas perguntar "Eles acertaram a resposta?", este teste pergunta: "Quantos passos eles conseguem dar antes de começarem a perder o fio da meada?"

Aqui está como os pesquisadores dividiram isso, usando analogias simples:

1. Os Três Tipos de Quebra-Cabeças

Os pesquisadores não criaram apenas um quebra-cabeça difícil; eles criaram três tipos diferentes de tarefas de "longo horizonte" para ver como diferentes tipos de pensamento se comportam.

O Quarto em Movimento (Rastreamento Espacial): Imagine uma grade 3x3 de móveis. A cada passo, você tem que girar o quarto ou trocar duas cadeiras. O modelo tem que lembrar onde cada peça de mobília está após 50 movimentos.
- O Resultado: Os modelos mais inteligentes foram como excelentes carregadores. Eles conseguiram rastrear os móveis quase perfeitamente, mesmo após 50 movimentos. Eles raramente perderam uma cadeira.
O Livro de Contabilidade Mágico (Rastreamento Simbólico): Imagine um caderno com 7 variáveis (A até G) contendo números. A cada passo, você deve fazer cálculos e trocar números, mas nunca pode escrever o mesmo número em dois lugares ao mesmo tempo.
- O Resultado: O melhor modelo (Claude) foi como um supercontador. Ele manteve seu livro de contabilidade limpo por um longo tempo. Mas outros modelos começaram a misturar os números cedo demais, como um aluno que esquece qual variável é qual após o passo 10.
A Corrente de Fofoca (Lógica Relacional): Imagine 10 pessoas em uma festa. A cada passo, duas pessoas se tornam amigas ou inimigas. A regra é: Se A é amigo de B, e B é amigo de C, então A é automaticamente amigo de C. O modelo tem que atualizar toda a teia de relacionamentos após cada nova amizade.
- O Resultado: Foi aqui que tudo quebrou. Não importa o quão inteligente fosse o modelo, todos colapsaram após cerca de 4 ou 5 passos. É como tentar lembrar de um boato que se espalha por uma multidão; quando chega à 5ª pessoa, a história está completamente distorcida, e o modelo não consegue corrigi-la.

2. O "Decaimento Geométrico" (O Balde Furado)

Os pesquisadores encontraram um padrão: conforme o número de passos aumenta, a chance de acertar a resposta cai como uma bola quicando cada vez mais baixo.

Se um modelo tem 99% de chance de acertar um passo, no passo 50, essa chance pode cair para quase zero.
Os pesquisadores chamam isso de "Complexidade de Teto" (Complexity Ceiling). É o ponto onde o modelo simplesmente não consegue ir além sem cometer um erro.

3. A Armadilha do "Palpite Sortudo"

Uma das descobertas mais interessantes é que acertar a resposta final não significa que o modelo pensou corretamente.

Os pesquisadores analisaram o "processo de pensamento" (o rastro) dos modelos.
Eles descobriram que, 14,5% das vezes, um modelo deu a resposta final correta, mas seu raciocínio no meio estava completamente errado.
A Analogia: Imagine um aluno fazendo uma prova de matemática. Ele escreve os passos errados para os primeiros 10 problemas, mas, por pura sorte, adivinha a resposta final corretamente. Se você olhar apenas para a resposta final, você pensa que ele é um gênio. Se você olhar para os passos, vê que ele estava apenas chutando. O artigo descobriu que, nos quebra-cabeças mais difíceis (a Corrente de Fofoca), a maioria das "respostas corretas" eram, na verdade, apenas palpites sortudos.

4. Por que "Maior" nem sempre significa "Melhor"

Normalmente, pensamos que um IA maior (com mais "poder cerebral" ou parâmetros) será melhor em tarefas longas.

A Descoberta: Não necessariamente. Um modelo massivo (LLaMA-3.3 com 70 bilhões de parâmetros) falhou na mesma velocidade que modelos menores no quebra-cabeça mais difícil.
A Métrica: Os pesquisadores criaram uma nova pontuação chamada $k^*$ . Isso mede exatamente quando o modelo começa a ficar confuso.
- No quebra-cabeça da "Corrente de Fofoca", até o melhor modelo começou a ficar confuso após o passo 4,3.
- Isso sugere que o problema não é que os modelos são "pequenos demais"; é que a forma como eles processam informações (lendo uma palavra após a outra) atinge um limite rígido ao tentar gerenciar relacionamentos complexos e interconectados.

5. Podemos apenas pedir para eles se esforçarem mais?

Os pesquisadores tentaram corrigir a falha da "Corrente de Fofoca" forçando os modelos a serem mais verbosos (ex: "Por favor, repita a lista inteira de amigos após cada passo").

O Resultado: Não funcionou. Os modelos apenas desperdiçaram espaço repetindo as informações erradas. É como dizer a um motorista perdido para "dirigir com cuidado" quando ele já está dirigindo pelo caminho errado; ele apenas dirige pelo caminho errado com mais cuidado.

O Ponto Principal

Este artigo nos diz que os modelos de IA atuais têm um limite rígido de quantos passos eles podem encadear antes de perderem a coerência.

Eles são ótimos em tarefas lineares simples (como mover móveis).
Eles são bons em tarefas que exigem regras estritas (como livros de contabilidade matemáticos).
Eles são terríveis em tarefas onde um pequeno erro estraga todo o cenário (como relações sociais complexas).

O artigo conclui que precisamos parar de apenas olhar para "Eles acertaram a resposta?" e começar a olhar para "Quantos passos eles acertaram antes de começarem a chutar?", porque para tarefas longas e complexas, a resposta é frequentemente "muito poucos".

Resumo Técnico: O Complexidade Ceiling Benchmark (CCB)

Declaração do Problema

Os benchmarks atuais para Large Language Models (LLMs) tipicamente relatam a acurácia agregada em tarefas de dificuldade fixa. Essa abordagem obscurece os modos de falha específicos do raciocínio de longo horizonte, tais como lacunas de conhecimento, má leitura de prompts, exaustão da janela de contexto ou a perda cumulativa de coerência através de etapas sequenciais. Enquanto as métricas agregadas indicam que um modelo falhou, elas não explicam o porquê ou como o desempenho degrada conforme o número de etapas de raciocínio necessárias ( $N$ ) aumenta. Essa falta de granularidade limita a capacidade de implantar LLMs como agentes, onde a coerência sustentada ao longo de muitos passos é crítica.

Metodologia

Os autores introduzem o Complexity Ceiling Benchmark (CCB), um framework de avaliação controlado que trata a profundidade do raciocínio como a variável experimental primária, mantendo o conteúdo semântico constante.

Design do Benchmark

O CCB avalia modelos através de três domínios estruturalmente distintos, varrendo o número de etapas necessárias $N$ de 5 a 50:

D1 (Rastreamento de Estado Espacial Fundamentado): Tarefas de "Grade Alienígena" envolvendo uma grade $3\times3$ sujeita a transformações discretas (rotação, troca, deslocamento) sob restrições de colisão. Os erros se acumulam deterministicamente.
D2 (Manipulação de Ponteiros Simbólicos Abstratos): Tarefas que exigem a manutenção de sete variáveis contendo dígitos distintos sob deslocamentos cíclicos e aritmética modular, sujeitas a uma restrição de unicidade de atribuição.
D3 (Inferência Relacional Transitiva): Tarefas de "Lógica Social" envolvendo um grafo diplomático de dez agentes onde novas arestas de aliança/rivalidade são adicionadas, exigindo a recomputação do fechamento transitivo ( $O(n^2)$ relações) em cada etapa.

Pipeline de Avaliação

Modelos: Cinco LLMs de fronteira e de pesos abertos (Claude 3.7, Gemini 2.0 Flash, DeepSeek, GPT-4o-mini, LLaMA-3.3-70B) foram avaliados ao longo de 6.000 tentativas ( $n=40$ por célula).
Parsing: Um parser rigoroso, baseado em regex, categoriza as saídas em resultados disjuntos: Correto, Raciocínio (diverge do traço canônico), Violação de restrição, Falha de formato, Truncamento ou Erro de API. Isso evita a dependência de LLM-como-juiz.
Métrica de Nível de Traço (TFBC): Os autores definem Trace First Branch Correct (TFBC) para identificar casos onde a resposta final coincide com a verdade fundamental, mas o raciocínio intermediário divergiu do traço canônico em algum passo $k^*$ . Isso distingue a correção "fiel ao traço" da correção por "palpite de sorte".

O Modelo de Decaimento Geométrico

O artigo modela a retenção por etapa usando uma função de decaimento geométrico:
$P(\text{correto} | N) = p_d^N$
onde $p_d$ é a probabilidade de computar corretamente a transição de estado $S_k \to S_{k+1}$ dado que $S_k$ foi mantido. O parâmetro $H_s$ (horizonte de tarefa efetivo) para um limiar de sucesso $s$ é derivado como $H_s \approx \ln(s) / \ln(p_d)$ .

Nota: Os autores reconhecem que a Suposição 1 (falhas independentes por etapa) é um limite otimista, pois erros autoregressivos são positivamente correlacionados (um erro em $k^*$ corrompe todos os passos subsequentes). Assim, $p_d^N$ serve como um envelope otimista para a acurácia sustentada.

Resultados Principais

1. Tetos Específicos por Domínio

O benchmark revela uma dissociação impressionante entre domínios:

D1 & D2 (Espacial & Simbólico): Modelos de fronteira fortes (Claude, Gemini, DeepSeek) mantêm altas probabilidades de retenção ( $p_d \in [0.92, 0.99]$ ). Por exemplo, o Claude alcança $p_d=0.987$ em D2, retendo ~55% de acurácia em $N=50$ . Modelos não-fronteira (GPT-4o-mini, LLaMA) colapsam muito mais cedo ( $N \approx 15$ ).
D3 (Lógica Transitiva): Todos os modelos, independentemente do nível de capacidade, colapsam após $N=5$ . Mesmo o melhor modelo (Claude) tem um horizonte de 50%-de-sucesso de apenas $H_{0.5} \approx 4.7$ passos ( $p_d=0.863$ ). Isso sugere que o D3 representa um regime qualitativamente diferente e mais difícil, provavelmente devido a limitações arquiteturais no tratamento de atualizações de estado recursivas e consistência global.

2. Divergência de Nível de Traço ( $k^*$ )

A média do passo no qual o raciocínio diverge pela primeira vez ( $k^*$ ) é um preditor mais fiel da acurácia dentro do domínio do que a contagem de parâmetros.

Em D2, o Claude mantém a coerência por $\sim17$ passos antes de falhar na consistência global, enquanto o LLaMA falha na primeira transição simbólica ( $k^* \approx 3.9$ ).
Em D3, $k^*$ é uniformemente baixo ($2.88 - 4.30$) em todos os modelos, reforçando que a falha é estrutural e não baseada em capacidade.

3. O Fenômeno do "Palpite de Sorte"

Ao longo do benchmark, 14,5% das respostas corretas são TFBC (raciocínio divergente, resposta final correta).

Em D2, as respostas corretas são majoritariamente fiéis ao traço (apenas 8% TFBC para o Claude).
Em D3, as respostas corretas são dominadas por palpites de sorte (56–62% TFBC para os melhores modelos).
Isso indica que a acurácia agregada superestima significativamente a qualidade do raciocínio, particularmente em domínios difíceis.

4. Intervenções de Prompt

Verbosidade: Forçar o rastreamento de estado verboso (reiterar crenças) não melhorou o desempenho em D3 (McNemar $p=1.000$ ).
Estrutura de Prompt: Embora uma formatação posicional específica (VAR B) tenha gerado um pequeno aumento (20% de acurácia em $N=15$ ), ela não alterou fundamentalmente o teto ou a escala para horizontes mais longos.

Significância e Alegações

O artigo alega reduzir o perfil de raciocínio de longo horizonte de um modelo a dois números interpretáveis por família de tarefas: $p_d$ (retenção por etapa) e $k^*$ (profundidade média de coerência).

Diagnóstico de Regimes de Falha: O CCB identifica três modos de falha distintos:
- D1: Gargalo de retenção por etapa (não de formatação).
- D2: Gargalo de gerenciamento de restrições (atribuições ilegais).
- D3: Colapso de cascata estrutural (o fechamento transitivo requer mecanismos ausentes na atenção autoregressiva padrão).
Limitações das Arquiteturas Atuais: O colapso uniforme em D3 em modelos de diferentes tamanhos sugere um gargalo arquitetural em vez de um limite de capacidade. Os autores postulam que os mecanismos de atenção padrão achatam a hierarquia de sequências, falhando em suportar o gerenciamento de pilha recursiva necessário para o fechamento transitivo.
Implicações de Implantação: A métrica $p_d$ permite que profissionais estimem a profundidade na qual a acurácia esperada de um modelo cai abaixo de um limiar escolhido sem precisar rodar novas avaliações estratificadas por profundidade.
Direções Futuras: O artigo afirma explicitamente que avaliar modelos supervisionados por processo, scaffolds recursivos e sistemas aumentados por ferramentas com estado de grafo explícito é o próximo passo necessário para determinar se o teto de D3 pode ser elevado.

Os autores concluem que o CCB fornece um diagnóstico principista para a próxima geração de sistemas aumentados por memória, distinguindo entre modelos que falham devido a formatação, deriva de estado ou incapacidade fundamental da arquitetura em lidar com o raciocínio transitivo.