Do Language Models Follow Occam's Razor? An Evaluation of Parsimony in Inductive and Abductive Reasoning

Resumen Técnico: ¿Siguen los Modelos de Lenguaje la Navaja de Occam?

1. El Problema

El razonamiento no deductivo, que abarca el razonamiento inductivo (identificar principios generales a partir de casos) y el abductivo (generar hipótesis para explicar observaciones), es fundamental para resolver problemas del mundo real. Una característica clave de estos tipos de razonamiento es que suelen existir múltiples hipótesis válidas para explicar un conjunto de datos. Según el principio de la Navaja de Occam, la hipótesis más simple (la que requiere menos suposiciones adicionales) suele ser la más útil y probable.

Sin embargo, la evaluación actual de las capacidades de razonamiento de los Grandes Modelos de Lenguaje (LLMs) se centra principalmente en el razonamiento deductivo (determinista) o ignora la calidad de las hipótesis generadas en contextos no deductivos. No se ha evaluado sistemáticamente si los LLMs pueden no solo generar hipótesis correctas, sino también hipótesis de alta calidad que adheran a la parsimonia (simplicidad) exigida por la Navaja de Occam.

2. Metodología

Los autores proponen un marco de trabajo integral para evaluar el razonamiento inductivo y abductivo, junto con una nueva métrica automatizada para medir la adherencia a la Navaja de Occam.

• Generación de Datos Sintéticos (INABHYD):

  • Crearon un nuevo conjunto de datos llamado INABHYD (Inductive and Abductive Hypothesis Discovery), que contiene más de 2,000 preguntas de razonamiento.
  • Modelo del Mundo: Utilizan árboles de ontología en lógica de primer orden como "modelos de mundo" incompletos. Estos árboles definen conceptos, propiedades y relaciones de subtipo.
  • Proceso: Se ocultan aleatoriamente ciertos axiomas (que actúan como hipótesis de verdad fundamental) y se generan observaciones basadas en los miembros y propiedades visibles. El modelo debe inferir los axiomas ocultos para explicar las observaciones.
  • Complejidad Controlada: La dificultad se varía mediante la altura del árbol de ontología (de 1 a 4 niveles) y el número de hipótesis requeridas (una o múltiples).
  • Naturalización: Las estructuras lógicas se convierten en lenguaje natural utilizando plantillas y se parafrasean con GPT-4o para sonar más naturales, evitando que los modelos se basen en conocimiento preexistente sobre conceptos reales (usan conceptos ficticios como "dalpist" o "wumpus").

• Métricas de Evaluación:

  1. Precisión Débil (Weak Accuracy): ¿La hipótesis generada explica todas las observaciones? (Correctitud lógica).
  2. Precisión Fuerte (Strong Accuracy): ¿La hipótesis generada coincide exactamente con la hipótesis de verdad fundamental (la más simple)?
  3. Calidad de la Hipótesis (Metric de Parsimonia): Una métrica cuantitativa basada en la Navaja de Occam. Evalúa qué tan bien una hipótesis explica las observaciones en relación con el número de axiomas utilizados. Penaliza las hipótesis redundantes o innecesarias. La fórmula compara el uso promedio de premisas en la prueba del modelo frente al uso en la prueba óptima (verdad fundamental).

• Modelos Evaluados:
  Se probaron siete LLMs de última generación, incluyendo GPT-5.4, O3, LLaMA3-70B, Gemma3-27B, DeepSeek-V3, GPT-4o y DeepSeek-R1-Distill-LLaMA-70B. También se evaluaron técnicas de mejora como In-Context Learning (aprendizaje en contexto) y RLVR (aprendizaje por refuerzo con recompensas verificables).

3. Contribuciones Clave

1. Marco de Evaluación Unificado: Introducen un marco que evalúa simultáneamente el razonamiento inductivo y abductivo, algo que antes se trataba por separado o con datasets que confundían el razonamiento con el conocimiento del sentido común.
2. Métrica Automatizada de Parsimonia: Desarrollan una métrica matemática para cuantificar la "calidad" de una hipótesis basándose en la simplicidad, permitiendo una evaluación objetiva de la adherencia a la Navaja de Occam.
3. Dataset INABHYD: Publican un dataset sintético escalable y libre de contaminación de datos de entrenamiento, capaz de generar un número ilimitado de problemas de razonamiento con parámetros de dificultad controlados.
4. Análisis de Fallos: Identifican patrones específicos de error en los LLMs al realizar razonamiento no deductivo.

4. Resultados Principales

• Rendimiento en Escenarios Simples: Los LLMs logran una alta precisión (tanto débil como fuerte) en árboles de ontología simples (altura 1) con una sola hipótesis.
• Colapso en Complejidad: La precisión cae drásticamente a medida que aumenta la altura del árbol de ontología y el número de hipótesis necesarias. Por ejemplo, al pasar de una altura 1 a 2, la precisión cae de >80% a <50% en muchos modelos.
• Brecha entre Correctitud y Calidad: Los modelos a menudo generan hipótesis que son lógicamente válidas (explican las observaciones, alta precisión débil) pero no son parsimoniosas (baja calidad y baja precisión fuerte). Es decir, encuentran explicaciones correctas pero innecesariamente complejas.
• Limitación de Técnicas de Mejora: Técnicas populares como In-Context Learning (con demostraciones) y RLVR mejoran moderadamente el rendimiento, pero no cierran la brecha significativa en la generación de hipótesis de alta calidad (parsimoniosas) en escenarios complejos.
• Tipos de Errores Comunes:
  1. Dirección incorrecta de la ontología: Invertir relaciones (ej. "Todos los gatos son mamíferos" vs. "Todos los mamíferos son gatos").
  2. Ignorar la ontología: Generar hipótesis innecesarias que no se derivan de la estructura dada.
  3. Hipótesis triviales: Usar la observación misma como hipótesis (circularidad).
  4. Entidades alucinadas: Inventar conceptos o propiedades que no existen en el modelo del mundo.

5. Significado e Implicaciones

Este trabajo demuestra que, aunque los LLMs actuales pueden realizar razonamiento inductivo y abductivo en tareas simples, tienen dificultades significativas para aplicar el principio de parsimonia (Navaja de Occam) en escenarios complejos.

• Limitación Fundamental: La capacidad de los modelos para generar explicaciones científicas o lógicas elegantes y simples está limitada, incluso con técnicas avanzadas de entrenamiento.
• Aplicaciones Críticas: Esto es crucial para aplicaciones que dependen de la inferencia de hipótesis, como el descubrimiento científico, el diagnóstico médico o la resolución de problemas legales, donde la simplicidad y la eficiencia de la explicación son vitales.
• Futuro: El dataset INABHYD y la métrica de calidad ofrecen una base sólida para futuras investigaciones destinadas a entrenar modelos que no solo "razonen", sino que "piensen de manera eficiente", priorizando la simplicidad en sus inferencias.

En conclusión, los LLMs actuales no siguen consistentemente la Navaja de Occam; tienden a sobre-ajustar sus explicaciones o a elegir caminos lógicamente válidos pero estructuralmente ineficientes cuando la complejidad del problema aumenta.