Data-driven Machine Learning Cannot Reach Symbolic-level Logical Reasoning -- The Limit of the Scaling Law

Resumo Técnico: O Aprendizado de Máquina Baseado em Dados Não Pode Alcançar o Raciocínio Lógico de Nível Simbólico – O Limite da Lei de Escala (Scaling Law)

Definição do Problema
O artigo aborda uma questão fundamental sobre os limites do aprendizado de máquina baseado em dados: Podem os sistemas supervisionados atingir o rigor do raciocínio lógico de nível simbólico (especificamente o raciocínio silogístico aristotélico) unicamente através do escalonamento de dados de treinamento e tempo de computação? Embora os avanços recentes em Grandes Modelos de Linguagem (LLMs) e aprendizado profundo tenham demonstrado capacidades impressionantes em vários domínios, sua habilidade de realizar dedução lógica rigorosa e fora da distribuição (out-of-distribution) permanece não comprovada. Os autores contrastam essas abordagens baseadas em dados com as Redes Neurais Esféricas (SphNNs), que alcançam o raciocínio de nível simbólico através da construção explícita do modelo sem dados de treinamento, levantando a questão de se as leis de escala podem preencher a lacuna entre o reconhecimento estatístico de padrões e a necessidade lógica.

Metodologia
O artigo emprega uma combinação de análise teórica e experimentação empírica para investigar dois paradigmas primários de raciocínio silogístico supervisionado:

1. Aprendizado Supervisionado de Entrada de Imagem: Os autores analisam o "Euler Net", uma rede de aprendizado profundo convolucional que trata o raciocínio silogístico como um problema de reconhecimento de imagem usando diagramas de Euler. Eles estendem isso para o "Super Euler Net" (SupEN), um sistema automatizado capaz de gerar novos dados de treinamento para identificar e corrigir erros de raciocínio.
2. Aprendizado Supervisionado de Entrada Simbólica (LLMs): O estudo avalia a última geração de modelos da OpenAI (GPT-5 e GPT-5-nano) em tarefas de raciocínio silogístico.
3. Design Experimental:
   • Testes de Exaustão de Dados: Experimentos foram conduzidos para determinar se o aumento dos dados de treinamento poderia distinguir todas as 24 formas válidas de silogismos aristotélicos ou esgotar entradas "não pretendidas" (ex: círculos parciais).
   • Variações de Forma de Superfície: Os LLMs foram testados em quatro padrões lexicais de superfície: palavras significativas, palavras duplas, símbolos simples e símbolos aleatórios longos.
   • Métricas de Avaliação: Além da precisão de decisão padrão, os autores introduziram uma métrica mais rigorosa para o raciocínio de nível simbólico: a exigência de uma decisão correta e uma justificativa correta.

Contribuições Principais e Descobertas

• Obstáculo Metodológico 1: Indistinguibilidade de Formas Válidas via Dados de Treinamento
  Os autores demonstram que os dados de treinamento sozinhos não podem distinguir todas as 24 formas válidas de raciocínio silogístico aristotélico. Em sistemas baseados em imagem como o Euler Net, a tabela de combinação mapeia premissas para conclusões baseadas em relações de conjuntos. No entanto, silogismos válidos distintos (ex: Barbara vs. Barbari) podem compartilhar configurações de premissas idênticas, mas requerem conclusões diferentes. O aprendizado estatístico sobre esses inputs resulta em uma faixa de desempenho de 50% a 100% entre os tipos válidos, falhando em atingir a determinação exigida pela lógica simbólica.

• Obstáculo Metodológico 2: Objetivos Contraditórios em Aprendizado de Ponta a Ponta (End-to-End)
  O artigo identifica um conflito fundamental em arquiteturas de aprendizado supervisionado de ponta a ponta. O componente de reconhecimento de padrões (ex: redes siamesas) é treinado para reconhecer o todo a partir das partes (uma característica desejável na visão computacional), enquanto o componente de raciocínio lógico deve aderir estritamente à informação presente nas premissas, sem "alucinar" novos objetos. Os autores mostram que redes de entrada de imagem frequentemente "completam" entradas parciais (ex: inferir um círculo completo a partir de um meio círculo) para satisfazer o reconhecimento de padrões, levando a conclusões logicamente inválidas que o componente de raciocínio não consegue detectar ou corrigir.

• Resultados Empíricos sobre Escalonamento e Generalização

  • Experimentos SupEN: Mesmo com um loop automatizado de geração de novos dados de treinamento e retreinamento, a precisão do SupEN em dados de teste gerados aleatoriamente estabilizou em aproximadamente 97,8% e, em um conjunto de dados cobrindo todos os 24 tipos válidos, atingiu apenas 76% de precisão geral. Crucialmente, o sistema não conseguiu esgotar as entradas não pretendidas; gerar novos dados de treinamento para cobrir um tipo de entrada não pretendida inevitavelmente criava novos padrões não treinados.
  • Experimentos com LLMs: Embora o GPT-5 e o GPT-5-nano tenham alcançado precisão de decisão quase perfeita (até 100%) em benchmarks, eles produziram justificativas incorretas ou inconsistentes com frequência. Por exemplo, o GPT-5 alcançou 100% de precisão de decisão em símbolos aleatórios longos, mas forneceu justificativas erradas para 25% dessas decisões corretas. Os autores argumentam que o treinamento empírico tipicamente termina uma vez que a precisão de decisão é maximizada, removendo a pressão para corrigir defeitos de raciocínio subjacentes.

• Análise de Características Latentes: Experimentos revelaram que o Euler Net não aprende necessariamente relações geométricas abstratas. Quando a cor dos círculos de entrada foi alterada, a precisão caiu significativamente (para 8,1%), sugerindo que a rede depende de correlações de nível de pixel específicas, em vez de lógica espacial abstrata.

Significância e Alegações
O artigo argumenta que sistemas de aprendizado de máquina supervisionados, sejam treinados em inputs simbólicos ou baseados em imagem, não podem garantir o alcance do rigor do raciocínio silogístico através do escalonamento isolado. Os autores postulam que a "Lei de Escala" (Scaling Law) possui um limite fundamental: o aumento de dados e computação não pode resolver os déficits metodológicos onde as regularidades estatísticas falham em capturar a necessidade lógica.

A significância deste trabalho reside na identificação de uma "fronteira fundamental" para o raciocínio baseado em dados. Sugere que alcançar um raciocínio lógico sofisticado requer ir além do paradigma do aprendizado puramente estatístico e de dados de treinamento, possivelmente necessitando de construção de modelos explícitos ou abordagens híbridas (como as SphNNs) que não dependem da suposição de que mais dados levam a uma capacidade lógica infinita. O artigo conclui que, sem abordar o conflito entre o reconhecimento de padrões e a dedução lógica, os sistemas supervisionados permanecerão incapazes de garantir a correção de seus processos de raciocínio, particularmente para inputs fora da distribuição.