Resumo Técnico: LinAlg-Bench

Declaração do Problema

As avaliações atuais de Modelos de Linguagem de Grande Escala (LLMs) em raciocínio matemático frequentemente confundem dificuldade com novidade, medindo apenas a precisão da resposta final sem distinguir entre déficits de conhecimento e falhas de execução. A conta estatística predominante sugere que os modelos falham devido a dados de treinamento insuficientes ou a um teto geral de capacidade. Este artigo argumenta que a falha de LLMs sob carga computacional recursiva não é aleatória, mas estruturalmente constrita. Especificamente, postula que os modos de falha mudam de forma previsível com base na família de algoritmos e na dimensão da matriz, transitando de erros de execução para abandono computacional em um limiar de complexidade mensurável. A álgebra linear é selecionada como campo de teste porque suas operações são algoritmicamente precisas, escalam naturalmente via dimensão da matriz sem alterar a tarefa subjacente e se decompõem em uma hierarquia cognitiva onde cada nível adiciona exatamente um requisito computacional.

Metodologia

Os autores introduzem o LinAlg-Bench, um benchmark de diagnóstico projetado para isolar a profundidade computacional do conhecimento matemático.

• Conjunto de Dados: O benchmark compreende 660 problemas com entradas inteiras, verificados contra computação simbólica do SymPy, distribuídos em 9 tipos de tarefa e 3 dimensões de matriz ($3\times3$, $4\times4$, $5\times5$). Isso resulta em 6.600 saídas de modelos avaliadas exaustivamente.
• Modelos: Dez modelos de ponta foram avaliados zero-shot com temperatura 0, abrangendo arquiteturas diversas (Dense, MoE), paradigmas de treinamento (Otimizado para Raciocínio, RLHF, Híbrido) e provedores (OpenAI, Google, Anthropic, Meta, Alibaba, Mistral, DeepSeek).
• Taxonomia Cognitiva: As tarefas são organizadas em cinco níveis cognitivos:
  1. Leitura: Extração pura de entradas (Rastreamento, Transposição).
  2. Aritmética: Computação independente paralela (Matriz-Vetor, Multiplicação, Potência).
  3. Sequencial: Rastreamento de estado através de operações de linha (Ranke, Nulidade).
  4. Recursivo: Gerenciamento profundo de sinais recursivos (Determinante via expansão por cofatores).
  5. Composicional: Construído sobre o Determinante como uma sub-rotina (Autovalores).
• Pipeline Forense: Um pipeline automatizado de três estágios "LLM-como-Juiz" classifica 1.156 respostas incorretas em dez tags de erro principais (por exemplo, SIGN_ERROR, HALLUCINATION, MEMORY_LOSS) e quatro extensões específicas para autovalores. A classificação segue o "princípio do primeiro erro", marcando o estágio mais cedo onde o cálculo diverge da verdade fundamental. O pipeline foi validado contra 593 rótulos anotados por humanos, alcançando 92,6% de concordância geral.
• Estudo de Ablação: Um estudo direcionado impôs estratégias algoritmicamente eficientes (eliminação de Gauss) em modelos que naturalmente favoreciam a expansão por cofatores, para testar se a contagem de operações ou a profundidade de execução era o verdadeiro gargalo.

Resultados Principais

1. O Limiar de Fabricação para Abandono

A descoberta empírica central é uma transição comportamental aguda na escala $4\times4$.

• Abaixo do Limiar ($3\times3$): Os modelos tentam o cálculo e falham dentro dele. As falhas são dominadas por erros de execução, como SIGN_ERROR (33,0%) e ARITHMETIC.
• Acima do Limiar ($5\times5$): Os modelos abandonam o cálculo antes de tentar realizá-lo. O modo de falha dominante muda para HALLUCINATION (47,1%), especificamente Colapso_Completo, onde os modelos fabricam respostas através de encenação de papel de ferramenta (simulando chamadas a Python/NumPy/WolframAlpha a que não têm acesso) ou confabulação consistente com restrições.
• Universalidade: Esta transição é quase universal em todos os níveis e arquiteturas de modelos, sugerindo um limite de memória de trabalho em vez de uma lacuna de conhecimento.

2. Desempenho em Níveis e Modos de Falha

Os modelos se separam em três níveis distintos com base em sua fronteira de desempenho:

• Nível 1 (por exemplo, OpenAI-o1, Gemini-3.0-Pro, DeepSeek-V3): Mantêm $\ge74\%$ de precisão em determinantes $5\times5$, mas convergem para precisão de autovalores próxima de zero. Eles exibem a transição "fabricação-para-abandono", mas sustentam a execução recursiva por mais tempo.
• Nível 2 (por exemplo, GPT-5.2, Mistral-Large): Resistem parcialmente a cargas recursivas, mas colapsam no nível composicional.
• Nível 3 (por exemplo, GPT-4o, Llama-3.3-70B, Claude-4.5-Sonnet): Colapsam inteiramente no nível recursivo (precisão de determinante $5\times5$ $\le12\%$).

3. Confabulação Consciente de Restrições

Quando os modelos falham em calcular autovalores em $5\times5$, eles não geram números arbitrários. Em vez disso, fabricam valores que satisfazem restrições matemáticas parciais:

• 45% das somas de autovalores fabricados correspondem ao traço da matriz.
• 85% das magnitudes fabricadas respeitam o limite da norma de Frobenius.
  Esta "confabulação consciente de restrições" representa um modo de alucinação estruturada onde os modelos aproveitam conhecimento parcial para satisfazer restrições de superfície enquanto falham no cálculo central.

4. Estratégia vs. Profundidade de Execução

O estudo desafia a hipótese de que a eficiência algorítmica (contagem de operações) é o principal gargalo.

• Observação: Em configurações zero-shot naturais, modelos rigidamente presos à expansão por cofatores ($O(n!)$) colapsaram com mais frequência do que aqueles que usavam eliminação de Gauss ($O(n^3)$).
• Ablação: Quando os modelos foram explicitamente forçados a usar eliminação de Gauss, a precisão não se recuperou significativamente (por exemplo, Mistral-Large melhorou apenas para 26,9%; outros permaneceram próximos de 0%).
• Conclusão: O gargalo não é o algoritmo selecionado, mas a profundidade de execução autoregressiva. A eliminação de Gauss requer uma cadeia estritamente sequencial de aritmética fracionária altamente dependente; um único erro em um estágio inicial se propaga irreversivelmente, colapsando o resultado. A expansão por cofatores, embora matematicamente mais cara, consiste em etapas inteiras paralelas e independentes que são mais seguras para transformadores executarem.

Significado e Alegações

O LinAlg-Bench contribui com uma taxonomia forense e uma descoberta empírica falseável sobre a natureza estrutural da falha matemática de LLMs.

1. Restrição Estrutural: A falha de LLMs não é aleatória, mas determinada pela família de algoritmos e pela dimensão da matriz. A transição de erro de execução para abandono computacional é um limiar mensurável consistente com um limite de memória de trabalho.
2. Novo Modo de Falha: O artigo documenta a confabulação consciente de restrições e o colapso de encenação de papel de ferramenta como mecanismos de alucinação distintos e estruturados que ocorrem sob sobrecarga computacional, os quais benchmarks padrão baseados em precisão classificariam erroneamente como corretos ou falhariam em detectar.
3. Hipóteses Mecanísticas: As descobertas geram hipóteses testáveis para interpretabilidade mecânica, como o envolvimento de circuitos de paridade de camadas tardias em falhas de rastreamento de sinais e a supressão desses circuitos durante o colapso completo.
4. Metodologia de Avaliação: O artigo argumenta que benchmarks de diagnóstico devem gerar hipóteses mecanísticas falseáveis em vez de meramente produzir classificações de leaderboard. Ele demonstra que um benchmark que mantém o algoritmo fixo enquanto escala a dimensão pode isolar a profundidade computacional do conhecimento matemático.

Os autores afirmam explicitamente que o limiar de fabricação-para-abandono e a conta de memória de trabalho são alegações diretamente apoiadas pelos dados, convidando à verificação por meio de ferramentas de interpretabilidade mecânica e replicação em domínios cruzados. Todos os dados, saídas de modelos, rótulos de erro e o pipeline de julgamento foram publicados publicamente.