Resumo Técnico: O Paradigma Riddle Riddle

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) demonstrem alta precisão em vários benchmarks cognitivos, permanece incerto se esse desempenho decorre de um raciocínio flexível ou da recuperação de padrões superficiais dos dados de treinamento. À medida que o próprio raciocínio se torna parte dos corpora de treinamento, os modelos podem aprender a mimetizar a aparência do raciocínio (por exemplo, reconhecer uma estrutura de enigma e fornecer uma resposta de "pegadinha") sem avaliar o conteúdo real do problema. Os benchmarks existentes frequentemente falham em distinguir entre um modelo que memorizou uma solução e um que selecionou dinamicamente uma estratégia de raciocínio apropriada. O desafio central é projetar um paradigma que separe a estrutura de superfície de um problema de seus requisitos de conteúdo.

Metodologia

Os autores introduzem o Paradigma Riddle Riddle, um framework diagnóstico utilizando pares combinados de problemas de palavras para testar a seleção de estratégias.

Design dos Estímulos

O paradigma consiste em 30 pares combinados, cada um contendo duas condições:

1. Condição A (Enigma Genuíno): Um enigma padrão que exige raciocínio inventivo e não literal para resolver uma contradição aparente (ex: "Um caubói entra na cidade na sexta-feira... e sai da cidade na sexta-feira", onde "Sexta-feira" é o nome do cavalo).
2. Condição B (Riddle Riddle): Uma versão modificada do mesmo enigma que preserva a estrutura sintática, o fraseado e a extensão das sentenças, mas remove a "pegadinha". Estes problemas exigem apenas interpretação literal (ex: "Um caubói entra na cidade na sexta-feira... e sai da cidade na segunda-feira", onde a resposta é simplesmente um cálculo de dias).

Este design garante que quaisquer diferenças de desempenho sejam impulsionadas exclusivamente pelo conteúdo do problema, e não pelo tópico, formato ou fraseado.

Configuração Experimental

O estudo compreende dois experimentos:

• Experimento 1 (LLMs): Testou nove modelos de última geração (incluindo GPT-5.4, Claude-opus-4-6, Gemini-3.1-Pro e variantes de código aberto como Llama-3.3 e Qwen3.5). Cada modelo recebeu 30 enigmas e 30 riddle riddles com 10 repetições por item. As respostas foram codificadas para precisão e tipo de raciocínio (inventivo vs. literal). Uma "verificação de memorização" também foi realizada usando a conclusão parcial de prompts para avaliar se o alto desempenho em enigmas genuínos se devia à recuperação verbal.
• Experimento 2 (Humanos): 100 participantes humanos resolveram 6 itens (3 de cada condição) em um ambiente controlado. As respostas foram codificadas de forma semelhante aos dados dos LLMs.

Análise

Os autores empregaram regressão logística de efeitos mistos para analisar a precisão e a seleção da estratégia de raciocínio. Eles compararam o desempenho entre condições e entre solucionadores (humanos vs. LLMs), procurando especificamente por "erros diagnósticos":

• Supergeneralização: Aplicar raciocínio inventivo a um problema que requer apenas interpretação literal.
• Subgeneralização: Aplicar raciocínio literal a um problema que requer interpretação inventiva.

Principais Resultados

1. Padrões de Desempenho Opostos

O estudo encontrou uma clara dissociação entre o desempenho humano e o dos LLMs:

• LLMs: Desempenharam-se significativamente melhor em Enigmas Genuínos (84,9% de precisão) do que em Riddle Riddles (50,7% de precisão).
• Humanos: Desempenharam-se significativamente melhor em Riddle Riddles (80,5% de precisão) do que em Enigmas Genuínos (50,5% de precisão).

2. Seleção de Estratégia e Análise de Erros

• Comportamento dos LLMs: Os LLMs estenderam sistematicamente o raciocínio inventivo. Nos Riddle Riddles (onde o raciocínio literal era suficiente), 90,8% dos erros dos LLMs foram causados pela aplicação inapropriada de raciocínio inventivo. Mesmo quando os modelos trocavam de estratégia, faziam-no com menos flexibilidade do que os humanos.
• Comportamento Humano: Os humanos demonstraram uma preferência pelo raciocínio literal, mas exibiram maior flexibilidade. Seu principal modo de erro foi a subgeneralização (57,6% de seus erros em Enigmas Genuínos), onde falharam em mudar para o raciocínio inventivo quando necessário.
• Memorização: Uma forte correlação ($\rho = .88$) foi encontrada entre a capacidade de um modelo de recuperar enigmas genuínos de forma literal (via conclusão parcial de prompt) e sua precisão nesses enigmas. Crucialmente, uma maior memorização previu uma menor precisão nos Riddle Riddles correspondentes, sugerindo que os modelos estavam recuperando respostas em vez de raciocinar.

3. Correção do Raciocínio

Ao medir se a estratégia correta foi utilizada (independentemente da resposta final), os LLMs mostraram uma queda significativa na correção nos Riddle Riddles em comparação aos Enigmas Genuínos, confirmando que o próprio formato disparou o modo de raciocínio errado.

Principais Contribuições

1. O Paradigma Riddle Riddle: Um design experimental inovador que isola características de superfície dos requisitos de conteúdo, permitindo que pesquisadores testem se um sistema seleciona estratégias baseando-se no "que um problema parece ser" versus "o que um problema exige".
2. Evidência de Raciocínio Baseado em Superfície: O estudo fornece evidência empírica de que os atuais LLMs de última geração dependem fortemente de características de superfície (estrutura de enigma) para disparar heurísticas de raciocínio específicas, mesmo quando essas heurísticas são inapropriadas para o conteúdo específico.
3. Dissociação da Cognição Humana e de Modelos: O artigo demonstra que, embora tanto humanos quanto LLMs cometam erros de raciocínio, a natureza de seus erros é invertida. Humanos lutam para anular padrões literais para tarefas criativas, enquanto LLMs lutam para anular padrões criativos para tarefas literais.

Significância e Alegações

Os autores alegam que o paradigma Riddle Riddle revela uma limitação fundamental nos atuais LLMs: eles ainda não alcançaram o raciocínio flexível no sentido de selecionar dinamicamente estratégias com base nas demandas do problema. Em vez disso, seu alto desempenho em enigmas padrão provavelmente reflete a recuperação de padrões memorizados ou "templates de raciocínio" vistos durante o treinamento.

O artigo argumenta que métricas de precisão agregada podem ser enganosas; um modelo pode parecer raciocinar bem em um benchmark simplesmente porque a estrutura do benchmark aciona consistentemente um padrão de alta frequência na distribuição de treinamento do modelo. O paradigma Riddle Riddle expõe isso ao criar uma "armadilha" onde a estrutura sugere uma estratégia (inventiva), mas o conteúdo exige outra (literal).

Os autores concluem que distinguir entre raciocínio genuíno e correspondência de padrões (pattern matching) é crítico para a interpretabilidade e confiança, especialmente à medida que os LLMs são implantados em domínios que exigem resolução de problemas inéditos. Eles sugerem modestamente que, embora os modelos atuais sejam sensíveis à frequência de padrões de tarefas no treinamento, eles carecem da capacidade de avaliar se uma instância específica realmente exige aquele padrão.