When LLMs Stop Following Steps: A Diagnostic Study of Procedural Execution in Language Models

1. Declaração do Problema

Embora os Modelos de Linguagem de Grande Escala (LLMs) demonstrem alto desempenho em benchmarks de raciocínio, uma alta precisão na resposta final não garante que o modelo tenha executado fielmente o procedimento específico fornecido no prompt. Os modelos frequentemente recorrem a atalhos, correspondência de padrões, associações memorizadas ou cálculos intermediários instáveis para chegar a uma resposta plausível sem, de fato, seguir os passos prescritos.

Essa distinção é crítica para aplicações que exigem adesão estrita a algoritmos (por exemplo, cálculos numéricos, tomada de decisão baseada em regras e fluxos de trabalho estruturados). O artigo aborda a lacuna entre "parecer raciocinar" e "executar fielmente instruções", particularmente à medida que a complexidade da tarefa aumenta.

2. Metodologia

Os autores introduzem um benchmark diagnóstico controlado projetado para isolar falhas na execução procedural de ambiguidades na interpretação da tarefa.

• Formulação da Tarefa:

  • Entradas: Duas variáveis numéricas ($x$ e $y$).
  • Procedimento: Um algoritmo aritmético passo a passo escrito em linguagem natural. O algoritmo inicializa $S_1=x$ e $S_2=y$, e depois define uma sequência de variáveis intermediárias ($S_3, S_4, \dots$) usando operações aritméticas básicas ($+, -, \times, \div$).
  • Objetivo: O modelo deve executar o algoritmo exatamente como escrito e retornar o valor computado final.
  • Verdade Terrena (Ground Truth): Determinística e facilmente verificável via um executor externo, eliminando ambiguidade.

• Eixos de Complexidade:

  1. Comprimento do Algoritmo: O número de passos ($T$) varia de 5 a 95 (em incrementos de 10).
  2. Dependências de Retrocesso (Look-back): Para testar o rastreamento de estado, o benchmark introduz dependências onde um passo atual pode exigir a recuperação de variáveis intermediárias de passos anteriores.
     • Retrocesso 1: Depende apenas do passo imediatamente anterior.
     • Retrocesso 7: Depende de qualquer um dos 7 passos anteriores.

• Construção do Conjunto de Dados:

  • Escala: 55 conjuntos de dados totalizando 55.000 exemplos.
  • Variáveis: Combinações de intervalos de entrada ($[0,1], [1,10], [10,100]$), tipos de dados (inteiro vs. float) e variantes de operação (mista, apenas adição, apenas subtração, etc.).

• Modelos Avaliados:

  • 14 Modelos: Abrangendo várias escalas (1,5B a 685B parâmetros) e famílias (DeepSeek, Qwen, Mistral, OLMo, OpenAI, etc.), incluindo tanto modelos ajustados para instruções padrão quanto modelos orientados a raciocínio.

• Métricas de Avaliação:

  • Precisão da Primeira Resposta: Corretude da primeira resposta extraída.
  • Correto@Qualquer: Corretude se qualquer trecho de resposta na saída estiver correto (captura a auto-correção).
  • Taxa de Resposta Não-Nula: Porcentagem de saídas contendo uma tag <answer> válida.
  • Comportamento de Seguimento de Passos: Categorização em Exato (passos corretos), Subexecução (terminação prematura) e Sobreexecução (passos extras).

3. Contribuições Principais

1. Benchmark Diagnóstico: Um ambiente controlado e inovador projetado especificamente para medir a fidelidade procedural e não apenas a corretude da resposta final.
2. Evidência Empírica da "Ilusão Procedural": Demonstra que, mesmo quando o algoritmo completo é fornecido explicitamente, os LLMs frequentemente falham em executá-lo fielmente à medida que a complexidade cresce.
3. Análise de Modos de Falha: Identifica modos de falha específicos no nível da geração (por exemplo, subexecução, respostas ausentes, respostas prematuras) que são invisíveis ao olhar apenas para a precisão final.
4. Sensibilidade à Profundidade de Dependência: Mostra que os modelos lutam significativamente não apenas com sequências longas, mas com a recuperação de estado não local (dependências de retrocesso).

4. Resultados Principais

• Degradação da Precisão com a Complexidade:

  • Contagem de Passos: A precisão média da primeira resposta cai drasticamente de 61% em 5 passos para 20% em 95 passos.
  • Profundidade de Retrocesso: Aumentar a dependência de retrocesso de 1 para 7 reduz a precisão média em 18,43 pontos percentuais adicionais, indicando uma fraqueza específica no rastreamento de estados intermediários não locais.

• Modos de Falha no Nível de Geração:

  • Subexecução: À medida que a contagem de passos aumenta, a proporção de gerações "subexecutadas" (parando antes do passo final) sobe de 24,25% para 50,87%.
  • Execução Exata: Cai de 70,88% para 46,84%.
  • Respostas Prematuras: Muitos modelos geram uma resposta cedo na saída sem completar o rastro de raciocínio, sugerindo dependência de correspondência de padrões em vez de execução.

• Fatores de Entrada e Tarefa:

  • Tipo de Operação: Tarefas de adição e subtração geralmente yield maior precisão do que multiplicação e divisão.
  • Magnitude: Embora a magnitude numérica afete o desempenho em variantes específicas (por exemplo, multiplicação), ela não explica totalmente a degradação ampla na precisão. O principal motor é o ônus procedural de rastrear o estado.
  • Escala do Modelo: Modelos maiores geralmente performam melhor, mas a tendência de declínio da precisão com a complexidade mantém-se em todos os tamanhos de modelo.

• Auto-correção:

  • Embora o "Correto@Qualquer" seja frequentemente maior que a "Precisão da Primeira Resposta", isso revela que os modelos frequentemente cometem erros iniciais e tentam auto-corrigir, mas ainda falham em manter o fluxo procedural estrito exigido.

5. Significado e Implicações

• Limitações do Raciocínio Atual: O estudo desafia a suposição de que "Cadeia de Pensamento" ou rastros de raciocínio mais longos equivalem a seguimento fiel de instruções. Os modelos frequentemente "alucinam" o processo ou pulam passos inteiramente enquanto produzem um número final plausível.
• Segurança e Confiabilidade: Para aplicações de alto risco (por exemplo, cálculos financeiros, aplicação de políticas), confiar em LLMs para executar procedimentos explícitos de múltiplos passos é atualmente arriscado, pois eles podem falhar silenciosamente ao pular passos ou alucinar estados intermediários.
• Direções Futuras: As descobertas sugerem a necessidade de:
  • Novos objetivos de treinamento que penalizem explicitamente desvios procedurais.
  • Agentes aumentados por ferramentas (usando calculadoras/executoras externas) para lidar com as partes determinísticas dos algoritmos.
  • Melhorias arquitetônicas para melhor rastreamento de estado de longo horizonte e resolução de dependências não locais.

Em conclusão, o artigo fornece uma lente rigorosa para avaliar se os LLMs realmente "pensam" através de um problema ou meramente "adivinham" o resultado, revelando fraquezas substanciais na execução fiel de instruções à medida que a complexidade procedural escala.