Data-driven Machine Learning Cannot Reach Symbolic-level Logical Reasoning -- The Limit of the Scaling Law

Resumen Técnico: El Aprendizaje Automático Basado en Datos No Puede Alcanzar el Razonamiento Lógico de Nivel Simbólico – El Límite de la Ley de Escalamiento

Planteamiento del Problema
El artículo aborda una cuestión fundamental sobre los límites del aprendizaje automático basado en datos: ¿Pueden los sistemas supervisados alcanzar el rigor del razonamiento lógico de nivel simbólico (específicamente el razonamiento silogístico aristotélico) únicamente mediante el escalamiento de los datos de entrenamiento y el tiempo de computación? Si bien los avances recientes en los Modelos de Lenguaje Extensos (LLM) y el aprendizaje profundo han demostrado capacidades impresionantes en diversos dominios, su capacidad para realizar un razonamiento deductivo riguroso fuera de la distribución (out-of-distribution) sigue sin probarse. Los autores contrastan estos enfoques basados en datos con las Redes Neuronales Esféricas (SphNN), que logran el razonamiento de nivel simbólico mediante la construcción explícita de modelos sin datos de entrenamiento, planteando la duda de si las leyes de escalamiento pueden cerrar la brecha entre el reconocimiento de patrones estadísticos y la necesidad lógica.

Metodología
El artículo emplea una combinación de análisis teórico y experimentación empírica para investigar dos paradigmas primarios de razonamiento silogístico supervisado:

1. Aprendizaje Supervisado de Entrada de Imagen: Los autores analizan "Euler Net", una red de aprendizaje profundo convolucional que trata el razonamiento silogístico como un problema de reconocimiento de imágenes utilizando diagramas de Euler. Extienden esto a "Super Euler Net" (SupEN), un sistema automatizado capaz de generar nuevos datos de entrenamiento para identificar y corregir errores de razonamiento.
2. Aprendizaje Supervisado de Entrada Simbólica (LLMs): El estudio evalúa la última generación de modelos de OpenAI (GPT-5 y GPT-5-nano) en tareas de razonamiento silogístico.
3. Diseño Experimental:
   • Pruebas de Agotamiento de Datos: Se realizaron experimentos para determinar si el aumento de los datos de entrenamiento podía distinguir todas las 24 formas válidas de los silogismos aristotélicos o agotar los inputs "no pretendidos" (por ejemplo, círculos parciales).
   • Variaciones de la Forma Superficial: Los LLM fueron probados en cuatro patrones léxicos superficiales: palabras significativas, palabras dobles, símbolos simples y símbolos aleatorios largos.
   • Métricas de Evaluación: Más allá de la precisión de decisión estándar, los autores introdujeron una métrica más estricta para el razonamiento de nivel simbólico: el requisito de una decisión correcta y una justificación correcta.

Contribuciones Clave y Hallazgos

• Obstáculo Metodológico 1: Indistinguibilidad de Formas Válidas mediante Datos de Entrenamiento
  Los autores demuestran que los datos de entrenamiento por sí solos no pueden distinguir todas las 24 formas válidas del razonismo silogístico aristotélico. En sistemas basados en imágenes como Euler Net, la tabla de combinación mapea las premisas a las conclusiones basándose en relaciones de conjuntos. Sin embargo, distintos silogismos válidos (por ejemplo, Barbara frente a Barbari) pueden compartir configuraciones de premisas idénticas pero requieren conclusiones diferentes. El aprendizaje estadístico sobre estos inputs resulta en un rango de rendimiento del 50% al 100% a través de los tipos válidos, fallando en alcanzar la determinación requerida para la lógica simbólica.

• Obstáculo Metodológico 2: Objetivos Contradictorios en el Aprendizaje de Extremo a Extremo (End-to-End)
  El artículo identifica un conflicto fundamental en las arquitecturas supervisadas de extremo a extremo. El componente de reconocimiento de patrones (por ejemplo, redes siamesas) está entrenado para reconocer el todo a partir de las partes (una característica deseable en visión computacional), mientras que el componente de razonamiento lógico debe adherirse estrictamente a la información presente en las premisas sin "alucinar" nuevos objetos. Los autores muestran que las redes de entrada de imagen a menudo "completan" entradas parciales (por ejemplo, infiriendo un círculo completo a partir de un medio círculo) para satisfacer el reconocimiento de patrones, lo que conduce a conclusiones lógicamente inválidas que el componente de razonamiento no puede detectar ni corregir.

• Resultados Empíricos sobre Escalamiento y Generalización

  • Experimentos de SupEN: Incluso con un bucle automatizado de generación de nuevos datos de entrenamiento y reentrenamiento, la precisión de SupEN en datos de prueba generados aleatoriamente se estancó en aproximadamente un 97.8%, y en un conjunto de datos que cubría los 24 tipos válidos, alcanzó solo un 76% de precisión general. Crucialmente, el sistema no pudo agotar los inputs no pretendidos; generar nuevos datos de entrenamiento para cubrir un tipo de input no pretendido creaba inevitablemente nuevos patrones no entrenados.
  • Experimentos de LLM: Aunque GPT-5 y GPT-5-nano lograron una precisión de decisión casi perfecta (hasta el 100%) en los benchmarks, produjeron explicaciones incorrectas o inconsistentes con frecuencia. Por ejemplo, GPT-5 logró un 100% de precisión de decisión en símbolos aleatorios largos, pero proporcionó justificaciones erróneas para el 25% de esas decisiones correctas. Los autores argumentan que el entrenamiento empírico típicamente termina una vez que se maximiza la precisión de la decisión, eliminando la presión para corregir los defectos subyacentes del razonamiento.

• Análisis de Características Latentes: Los experimentos revelaron que Euler Net no necesariamente aprende relaciones geométricas abstractas. Cuando se alteró el color de los círculos de entrada, la precisión cayó significamente (a 8.1%), sugiriendo que la red depende de correlaciones a nivel de píxel específicas en lugar de una lógica espacial abstracta.

Significancia y Reivindicaciones
El artículo sostiene que los sistemas de aprendizaje automático supervisado, ya sea entrenados en entradas simbólicas o basadas en imágenes, no pueden garantizarse que alcancen el rigor del razonamiento silogístico mediante el escalamiento por sí solo. Los autores postulan que la "Ley de Escalamiento" tiene un límite fundamental: el aumento de datos y computación no puede resolver los déficits metodológicos donde las regularidades estadísticas fallan al capturar la necesidad lógica.

La significancia de este trabajo radica en la identificación de una "frontera fundamental" para el razonamiento basado en datos. Sugiere que lograr un razonamiento lógico sofisticado requiere ir más allá del paradigma del aprendizaje puramente estadístico y los datos de entrenamiento, requiriendo potencialmente la construcción explícita de modelos o enfoques híbridos (como las SphNN) que no dependan del supuesto de que más datos conducen a una capacidad lógica infinita. El artículo concluye que, sin abordar el conflicto entre el reconocimiento de patrones y la deducción lógica, los sistemas supervisados seguirán siendo incapaces de garantizar la corrección de sus procesos de razonamiento, particularmente para inputs fuera de la distribución.