Large Language Models are Algorithmically Blind

Título: Large Language Models are Algorithmically Blind

Autores: Sohan Venkatesh, Ashish Mahendran Kurapath, Tejas Melkote (Manipal Institute of Technology, Índia)
Data: Março de 2026 (arXiv:2602.21947v3)

1. Problema e Motivação

O artigo investiga uma lacuna crítica na capacidade dos Modelos de Linguagem de Grande Escala (LLMs): a habilidade de raciocinar sobre processos computacionais e prever o desempenho de algoritmos. Embora os LLMs demonstrem um vasto conhecimento declarativo sobre algoritmos, sua capacidade de fornecer previsões quantitativas calibradas sobre como um algoritmo se comportará em uma instância de problema específica é desconhecida.

A questão central é: Os LLMs podem atuar como seletores de algoritmos "zero-shot" ou estimadores de incerteza calibrados, reduzindo a necessidade de avaliação empírica custosa? O estudo argumenta que, sem essa capacidade, o uso de LLMs para guiar a seleção e implantação de algoritmos é arriscado, pois eles podem apenas estar fazendo "correspondência de padrões" em textos de treinamento em vez de realizar raciocínio genuíno.

2. Metodologia

Os autores utilizaram a Descoberta Causal como um campo de teste rigoroso, devido à sua diversidade de paradigmas algorítmicos, métricas padronizadas e benchmarks bem documentados.

• Configuração Experimental:

  • Modelos: 8 LLMs de ponta (incluindo Claude-Opus-4.6, GPT-5.2, DeepSeek-V3.2, Qwen3, Gemini-3, LLaMA-3.3, etc.).
  • Algoritmos: 4 famílias de algoritmos de descoberta causal: PC, FCI, LiNGAM e NOTEARS.
  • Dados: 13 conjuntos de dados (9 benchmarks reais do repositório bnlearn e 4 conjuntos sintéticos gerados a partir de DAGs aleatórios com densidades controladas).
  • Ground Truth (Verdade Terrena): Para cada uma das 52 condições experimentais (13 datasets × 4 algoritmos), os algoritmos foram executados 100 vezes com bootstrap. Isso gerou médias empíricas e intervalos de confiança de 95% para quatro métricas: Precisão, Recall, F1 e Distância Hamming Estrutural (SHD). Totalizando 5.200 execuções de algoritmos.

• Protocolo de Avaliação:

  • Os LLMs foram solicitados a prever intervalos de desempenho para as quatro métricas com base nas características do dataset e nas suposições do algoritmo.
  • Foram utilizadas 3 formulações de prompt distintas para testar a robustez.
  • Métrica Principal: Cobertura Calibrada (Calibrated Coverage). Define-se como a fração de comparações onde o intervalo previsto pelo LLM contém a média real do algoritmo (ground truth). Uma cobertura de 95% seria ideal para um intervalo de confiança de 95%.

• Baselines: Comparação contra um baseline aleatório (intervalos gerados uniformemente) e um baseline heurístico (baseado em estatísticas conservadoras da literatura).

3. Contribuições Principais

1. Estabelecimento de um Testbed Rigoroso: Uso da descoberta causal para avaliar o raciocínio algorítmico de LLMs, combinando diversidade algorítmica, métricas padronizadas e benchmarks com alta probabilidade de estar nos dados de treinamento.
2. Estudo de Calibração em Grande Escala: A primeira avaliação abrangente envolvendo 8 modelos, 13 datasets, 4 algoritmos e 4 métricas, comparando previsões contra 5.200 execuções reais.
3. Descoberta de "Cegueira Algorítmica": Demonstração de que os LLMs de ponta falham sistematicamente na previsão de desempenho, alcançando apenas 15,9% de cobertura calibrada (muito abaixo do esperado).
4. Evidência de Memorização vs. Raciocínio: Prova de que o desempenho marginalmente acima do acaso dos melhores modelos é consistente com a memorização de estatísticas de benchmarks e não com a generalização baseada na estrutura do problema.

4. Resultados Chave

A. Falha Sistemática na Cobertura

• A cobertura média calibrada de todos os LLMs foi de 15,9%. Isso significa que, em mais de 84% das vezes, o intervalo previsto pelo modelo não continha o valor real do desempenho do algoritmo.
• Desempenho abaixo do Aleatório: 7 dos 8 modelos avaliados performaram pior do que um baseline de "chute aleatório" (que teve 36,5% de cobertura). O modelo "melhor" (Claude) atingiu 39,4%, mas ainda assim falhou na maioria dos casos.
• Intervalos Excessivamente Largos: Os intervalos previstos pelos LLMs eram 8 a 27 vezes mais largos do que os intervalos de confiança reais, mas ainda assim erravam o alvo. Isso indica crenças mal calibradas, não uma incerteza conservadora útil.

B. Evidências de Memorização (Cegueira Algorítmica)

O estudo identificou padrões que sugerem que os modelos estão recuperando estatísticas memorizadas de artigos de benchmarks, em vez de raciocinar sobre a interação entre o algoritmo e o dado:

• Degradação em Dados Sintéticos: A cobertura caiu drasticamente em dados sintéticos (que não aparecem nos benchmarks de treinamento) em comparação com dados de benchmark.
  • Exemplo: O algoritmo LiNGAM teve 27,1% de cobertura em benchmarks, mas colapsou para 3,9% em dados sintéticos.
  • Exemplo: O NOTEARS (mais novo e menos documentado) manteve estabilidade, enquanto algoritmos clássicos e bem documentados (PC, FCI, LiNGAM) sofreram degradação.
• Colapso com o Tamanho da Rede: Em dados sintéticos, a cobertura diminuiu monotonicamente conforme o tamanho da rede aumentava (de 12 para 60 nós), indicando que os modelos não conseguem generalizar para estruturas não vistas nos dados de treinamento.
• Dissociação Algoritmo-Métrica: Modelos tiveram desempenho excelente em prever métricas específicas para algoritmos específicos (ex: NOTEARS em SHD) apenas quando havia literatura abundante sobre aquele par específico, mas falharam em outros casos, sugerindo recuperação de fatos isolados.
• Inconsistência entre Modelos: A concordância entre diferentes modelos caiu 15 vezes em dados sintéticos em comparação com benchmarks, indicando que, sem dados de treinamento para "ancorar" a resposta, cada modelo "chuta" de forma independente.

C. Robustez de Prompt

A alta variabilidade nas previsões dependendo da formulação do prompt (Coeficiente de Variação de até 26% em média e >100% em casos individuais) reforça que os modelos não possuem uma crença estável ou um modelo interno sobre o desempenho algorítmico.

5. Significado e Conclusão

O artigo define "Cegueira Algorítmica" como a incapacidade dos LLMs de traduzir conhecimento declarativo sobre as suposições de um algoritmo em expectativas calibradas sobre o desempenho empírico, baseando-se apenas na estrutura do problema e na descrição do algoritmo.

• Implicações Práticas: Os LLMs não devem ser usados como seletores de algoritmos "zero-shot" ou estimadores de incerteza em tarefas críticas como a descoberta causal. A confiança que eles expressam não se traduz em validade preditiva.
• Natureza da Falha: A falha não é apenas de "fatos" (que poderiam ser corrigidos com RAG - Retrieval-Augmented Generation), mas de modelagem estrutural. Os modelos não possuem um modelo de desempenho que ligue as suposições algorítmicas às propriedades do conjunto de dados.
• Futuro: O trabalho sugere que, para melhorar, seria necessário um ajuste fino (fine-tuning) em históricos de desempenho de algoritmos ou o uso de LLMs como extratores de recursos para modelos estatísticos calibrados, em vez de preditores diretos.

Em resumo, o estudo revela uma limitação fundamental: os LLMs atuais podem descrever como um algoritmo funciona, mas não conseguem prever quão bem ele funcionará em um cenário real, falhando sistematicamente onde o raciocínio causal e a generalização são necessários.