Resumo Técnico: Contagem como Sonda Mínima da Confiabilidade de Modelos de Linguagem

Declaração do Problema

Apesar do desempenho impressionante em benchmarks envolvendo raciocínio matemático, codificação e compreensão de contexto longo, permanece incerto se os Modelos de Linguagem de Grande Porte (LLMs) possuem competência lógica genuína ou meramente imitam a execução de regras através de correspondência de padrões e procedimentos memorizados. Os métodos de avaliação atuais dependem fortemente de benchmarks baseados em conhecimento, que confundem a recordação factual, a sobreposição de dados de pré-treinamento e estratégias heurísticas específicas de tarefa com a verdadeira confiabilidade procedural. Consequentemente, o campo carece de uma ferramenta direta para avaliar a operação mecânica dos modelos: especificamente, até que ponto um modelo pode estender um procedimento simples e definido por regras antes que seu rastreamento de estado interno falhe, independentemente de conhecimento semântico ou ambiguidade.

Metodologia

Os autores introduzem a Capacidade de Contagem Estável (SCC), um ensaio puramente mecânico projetado para isolar a manutenção de estado procedural da compreensão semântica.

• O Ensaio: Os modelos recebem sequências de itens idênticos (por exemplo, caracteres repetidos separados por delimitadores) e são consultados sobre a contagem exata como um único inteiro. A tarefa é iterativa: os comprimentos das sequências aumentam por meio de um esquema de escada aleatorizado adaptativo até que o modelo falhe consistentemente em retornar a contagem correta.
• Definição de Capacidade: A Capacidade de Contagem (CC) é definida como o comprimento da sequência no qual a capacidade do modelo de imitar o seguimento de regras se rompe. Crucialmente, a unidade de medida é o item, não o token, e o prompt não contém símbolos em mudança ou auxílios de memória externos.
• Escopo: O estudo avaliou mais de 126 variantes de modelos, incluindo sistemas proprietários e arquiteturas de pesos abertos, abrangendo modelos ajustados para instruções e aumentados para raciocínio, com diferentes contagens de parâmetros e janelas de contexto nominais.
• Sondas Mecanísticas: Para modelos de pesos abertos (especificamente Gemma 3 27B-it e Qwen 3.5 35B-A3B), os autores realizaram análises internas incluindo:
  • Projeções do Fluxo Residual: Ajuste de projeções lineares para rastrear coordenadas relacionadas à contagem através das camadas.
  • Análise de Logits: Medição da separação entre tokens corretos e concorrentes sob forçamento de professor.
  • Autoencoders Esparsos (SAE): Uso do Gemmascope 2 para identificar coalizões de características correlacionadas com a contagem.
  • Correção de Ativação: Intervenção em estados internos (token final versus sequência completa) para testar o controle causal sobre a saída.
• Análise Comparativa: Os resultados da SCC foram correlacionados com benchmarks padrão (GPQA Diamond, SWE-bench Verified, ARC-AGI-2) e testados contra interferência de dupla tarefa (contagem enquanto resolve problemas de raciocínio/codificação).

Principais Resultados

1. Falha Universal Abaixo dos Limites de Contexto

Em todos os modelos avaliados, a Capacidade de Contagem Estável é consistentemente muito abaixo dos limites de contexto anunciados. Mesmo modelos com janelas de contexto longas falham em manter uma variável de contagem simples através da maioria dessa janela. A capacidade de processar um prompt longo não implica a capacidade de carregar uma variável simples definida por regras através dele.

2. Colapso Estrutural Súbito

Os modelos exibem um "regime estável" de precisão perfeita seguido por um colapso súbito e estrutural próximo ao limite da CC.

• Comportamento Pós-Falha: Uma vez excedida a capacidade, os modelos não produzem erros pequenos e graduais. Em vez disso, saltam para números salientes e arredondados (por exemplo, 500, 1000, 2000) ou produzem saídas não numéricas (em branco, ecos do prompt, artefatos de código).
• Atratores Discretos: As saídas falhas agrupam-se em torno de um conjunto restrito de inteiros preferidos, indicando uma perda do estado procedural específico em vez de um erro de aproximação contínua.

3. Estados Internos Finitos, Não Lógica Sem Fim

A análise mecanística revela que a contagem bem-sucedida depende de um número finito de estados internos semelhantes à contagem, análogos a "contar nos dedos", em vez de generalização lógica sem fim.

• Trajetórias Lineares: Durante a contagem bem-sucedida, uma coordenada linearmente legível emerge no fluxo residual que rastreia a contagem. Essa estrutura colapsa exatamente quando o modelo falha.
• Sensibilidade Sintática: Os estados internos não são abstratos; dependem da trajetória específica do caractere e do delimitador. Alterar a sintaxe desloca a CC, sugerindo que os modelos montam trajetórias distintas para diferentes formas de superfície em vez de usar um contador abstrato compartilhado.
• Controle Causal: A correção de ativação mostra que a informação de contagem é construída em camadas intermediárias (por exemplo, camada 31) e transferida para o estado final do prompt (por exemplo, camada 53) antes da decodificação. Uma vez que esses estados são esgotados, a informação não está mais disponível em uma forma utilizável pelo decodificador.

4. Ineficácia do Computação no Tempo de Teste

Aumentar o comprimento de geração ou usar modelos de "raciocínio" (Cadeia de Pensamento) não restaura de forma confiável a capacidade de contagem perdida.

• Consumo de Token: Modelos de raciocínio frequentemente consomem significativamente mais tokens do que modelos base, mas mostram melhorias negligenciáveis ou negativas na CC.
• Competição de Recursos: Em experimentos de dupla tarefa, acoplar a contagem com tarefas complexas de raciocínio ou codificação perturba severamente a precisão da contagem, sugerindo que a resolução complexa de problemas e o rastreamento procedural básico competem pelos mesmos recursos internos limitados.

5. Pontos Cegos nos Benchmarks

As correlações entre SCC e benchmarks padrão (conhecimento, codificação, inteligência fluida) são fracas a moderadas.

• Anomalia ARC-AGI-2: Uma forte correlação linear entre log(CC) e pontuações do ARC-AGI-2 aparece apenas para modelos treinados após o lançamento público do benchmark. Isso sugere que modelos mais novos se adaptaram ao formato abstrato específico do benchmark, mascarando sua incapacidade fundamental de manter estados procedurais ao longo de horizontes longos.

Significado e Alegações

O artigo argumenta que os LLMs atuais, apesar do desempenho fluente, não garantem comportamento de seguimento de regras geral e confiável.

• Fragilidade Procedural: As descobertas revelam um ponto cego crítico nas avaliações atuais: altas pontuações em tarefas agregadas não estabelecem confiabilidade procedural subjacente. Os modelos podem parecer executar um procedimento por milhares de passos enquanto silenciosamente perdem a variável necessária para definir esse procedimento.
• Mecanismo de Falha: A falha não se deve à falta de "inteligência", mas a uma limitação estrutural onde o modelo depende de um conjunto finito de estados internos. Uma vez esgotados esses estados, a "ilusão" de seguimento de regras colapsa em palpites.
• Implicações Arquitetônicas: Os autores afirmam que simplesmente aumentar o tamanho do modelo, os dados de treinamento ou a computação no tempo de teste é insuficiente para resolver essa questão de confiabilidade. Melhorias verdadeiras na confiabilidade para sistemas autônomos (planejamento, uso de ferramentas, codificação) provavelmente exigirão suporte arquitetônico para variáveis persistentes, estados intermediários explícitos, memória externa ou rastros de execução verificáveis.
• Mudança de Avaliação: O artigo defende a adoção de ensaios mecânicos mínimos e não semânticos como a SCC para descobrir os limites operacionais reais, em vez de inferir confiabilidade a partir do desempenho em benchmarks ou de comprimentos de contexto nominais.