💻 computer science

Are you Talking Logic to Me? Assessing Language Models Syllogistic Reasoning Capabilities

Este artículo investiga cómo diferentes notaciones de Representación del Conocimiento formal y un nuevo método de categorización silogística (SEF) mejoran las capacidades de razonamiento silogístico de los Modelos de Lenguaje Pequeños, ofreciendo una alternativa competitiva y más rápida a las entradas de lenguaje natural a través del marco de Construcción de Gramática de Lógica Común (CLGC) de código abierto.

Autores originales: Hanna Abi Akl, Fabien Gandon, Catherine Faron, Pierre Monnin

Publicado 2026-08-14

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Hanna Abi Akl, Fabien Gandon, Catherine Faron, Pierre Monnin

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot cómo pensar. Podrías asumir que si simplemente le das suficientes libros para leer, eventualmente descubrirá cómo resolver un acertijo de lógica, como un enigma o un problema matemático. Pero aquí está el truco: los robots (o "Modelos de Lenguaje", como los llaman los científicos) son como loros superrápidos. Son increíbles imitando el habla humana y escribiendo historias, pero cuando les pides que sigan reglas lógicas estrictas, a menudo se confunden. Pueden adivinar la respuesta basándose en cómo suena la frase en lugar de lo que realmente significa. Este es un gran problema porque queremos que estas herramientas de IA sean ayudantes confiables, no solo amigos charlatanes que inventan hechos. Para solucionar esto, los investigadores están tratando de enseñar a estos robots a "hablar" en diferentes lenguajes. Algunos lenguajes son como nuestras palabras cotidianas (Lenguaje Natural), mientras que otros son como fórmulas matemáticas estrictas o código (Notaciones Formales). La gran pregunta es: ¿ayuda al robot a pensar mejor hablar en un código lógico estricto en lugar de hablar en inglés normal?

Este artículo, titulado "¿Me estás hablando en lógica?", se sumerge directamente en esa pregunta. Los autores, un equipo de investigadores de Francia, decidieron probar si cambiar el "lenguaje" que utiliza un robot para resolver acertijos de lógica podría hacerlo más inteligente. Se centraron en un tipo específico de acertijo llamado "silogismo". Piensa en un silogismo como una cadena lógica de tres partes: "Todos los gatos son peludos. Fluffy es un gato. Por lo tanto, Fluffy es peludo". Si el robot no puede entender esto correctamente, no se le puede confiar tareas más complejas. Los investigadores tomaron conjuntos de datos existentes de estos acertijos y los tradujeron a varios lenguajes "formales", que van desde la lógica computacional estándar (como FOL) hasta códigos más abstractos y cargados de símbolos (como TFLPLUS) e incluso algunas versiones nuevas y simplificadas que ellos mismos inventaron llamadas "MINIFOL". Luego, probaron estos acertijos en "Modelos de Lenguaje Pequeños" (SLM), que son como las versiones ligeras y de bajo consumo energético de los gigantescos modelos de IA de los que oímos hablar en las noticias.

El equipo no solo lanzó los acertijos a los robots; también probó dos métodos de enseñanza diferentes. Primero, utilizaron el "Ajuste Fino Supervisado" (SFT), que es como darle al robot un curso intensivo donde le muestran los acertijos y las respuestas correctas una y otra vez hasta que aprende el patrón. Segundo, utilizaron pruebas de "Zero-Shot" (ZS), donde simplemente le entregan al robot un nuevo acertijo y un conjunto de instrucciones, pidiéndole que lo resuelva sobre la marcha sin práctica previa. También probaron añadir "hojas de referencia" a las instrucciones, dándole al robot una definición del tipo de acertijo (como "Este es un silogismo disyuntivo") para ver si ese contexto adicional ayudaba.

¿Qué descubrieron? Resulta que el "lenguaje" que habla el robot importa mucho, pero depende de cuánto haya estudiado el robot. Cuando los robots recibieron un curso intensivo (SFT), los resultados fueron sorprendentes. En conjuntos de datos más pequeños, los lenguajes más abstractos y cargados de símbolos (como TFLPLUS) funcionaron mejor que el inglés normal, a pesar de que los robots habían visto mucho más inglés durante su entrenamiento inicial. Los investigadores sugieren que esto puede deberse a que los símbolos en estos lenguajes abstractos son más simples y menos confusos de procesar para el robot. Sin embargo, cuando el conjunto de datos se hacía más grande, los robots empezaban a preferir una mezcla de inglés y un código compacto (CLIF). Esta combinación parecía hacer que los robots fueran más cuidadosos y menos propensos a adivinar erróneamente, especialmente cuando la respuesta era "Desconocido".

En las pruebas de "Zero-Shot", donde los robots tenían que confiar en lo que ya sabían, los resultados fueron un poco más mixtos. El mejor lenguaje dependía enteramente de qué modelo de robot específico se estuviera probando. Algunos modelos, que habían sido entrenados con muchos datos de matemáticas y lógica, funcionaban mejor con los códigos abstractos. Otros, entrenados principalmente en texto, funcionaban mejor con formatos similares al inglés. Curiosamente, añadir esas definiciones de "hojas de referencia" a las instrucciones ayudó a algunos modelos pero perjudicó a otros, lo que sugiere que no existe un único "lenguaje mágico" para todos los robots.

Uno de los descubrimientos más geniales fue sobre la velocidad. Los robots resolvían los acertijos mucho más rápido cuando utilizaban los lenguajes compactos basados en símbolos en comparación con el inglés normal. Es como la diferencia entre leer una historia larga y sinuosa para encontrar un dato específico frente a buscar un número en una tabla corta y ordenada. Los lenguajes abstractos no solo eran más rápidos de procesar, sino que a veces también conducían a un razonamiento más preciso. Los autores concluyen que, si bien no podemos elegir simplemente un lenguaje perfecto para todos los IA, usar una mezcla de lenguaje natural y códigos formales podría ser la clave para construir sistemas de razonamiento más inteligentes y confiables. Incluso lanzaron una herramienta gratuita llamada "CLGC" que permite a cualquiera traducir automáticamente estos acertijos lógicos a diferentes formatos, con la esperanza de ayudar a otros investigadores a explorar más este "lenguaje de la lógica". En última instancia, el artículo sugiere que enseñar a la IA a pensar no se trata solo de alimentarla con más datos; se trata de enseñarle a hablar el lenguaje adecuado para el trabajo.

Resumen Técnico: ¿Me estás hablando en lógica? Evaluando las capacidades de razonamiento silogístico de los modelos de lenguaje

Planteamiento del problema

Los modelos de lenguaje (LM) actualmente tienen dificultades con las tareas lógicas, particularmente con el razonamiento silogístico, que requiere pensamiento abstracto y consistencia. Si bien la Representación del Conocimiento (KR) ha demostrado ayudar a los modelos al proporcionar formatos de entrada inequívocos e interpretables (como la Lógica de Primer Orden o FOL), la investigación existente limita en gran medida la evaluación al Lenguaje Natural (NL) y a la FOL. Los conjuntos de datos actuales suelen sufrir problemas relacionados con la intervención humana, el tamaño, la diversidad y la generalización. Además, el impacto de los diversos niveles de abstracción en las notaciones de KR —que van desde lo natural hasta lo altamente simbólico— sobre las capacidades de razonamiento de los Modelos de Lenguaje Pequeños (SLM) sigue sin explorarse suficientemente. Adicionalmente, el beneficio potencial de categorizar explícitamente los silogismos para guiar el razonamiento no se ha integrado sistemáticamente en las estrategias de prompting.

Metodología

Los autores proponen un protocolo integral para abordar estas brechas, centrado en el marco de Construcción de Gramática de Lógica Común (CLGC).

1. El marco CLGC

CLGC es una biblioteca de Python de código abierto diseñada para generar automáticamente silogismos en diversas notaciones formales y clasificarlos.

Proceso de generación: El sistema comienza con silogismos en FOL (definidos por una gramática de Forma de Backus-Naur) . Genera un Árbol de Sintaxis Abstracta (AST) y reconstruye las declaraciones en las notaciones objetivo utilizando gramáticas BNF implementadas manualmente para cada una.
Selección de notación: El estudio evalúa las notaciones basadas en cuatro criterios: Verbosidad (variaciones sintácticas), Frecuencia (probabilidad de exposición durante el preentrenamiento del LM), Abstracción (complejidad desde lo natural hasta lo simbólico) y Finitud (gramática definible).
Notaciones soportadas: El marco soporta:
- Suite CL: Formato de Intercambio de Lógica Común (CLIF) y Formato de Intercambio de Grafos Conceptuales (CGIF).
- Álgebra Plus-Minus: Lógica de Functor Tensor Plus (TFLPLUS).
- Programación de Conjuntos de Respuestas: CLINGO.
- MINIFOLx: Una familia de variantes ligeras de FOL introducidas como línea base para probar la sensibilidad a la frecuencia. Estas reemplazan los símbolos estándar de FOL con palabras más comunes o operadores más simples (por ejemplo, reemplazar $\forall$ con "todos", $\neg$ con "no").

2. Marco de Evaluación de Silogismos (SEF)

Los autores utilizan el método de categorización SEF para clasificar los silogismos en cuatro categorías estructurales: Hipotéticos (implicación), Disyuntivos (disyunción), Categóricos (estándar de 2 premisas) y Complejos. Estas categorías se detectan automáticamente y se utilizan para enriquecer los prompts de Zero-Shot (ZS).

3. Datasets y configuración experimental

Datasets: El estudio extiende los datasets FOLIO y P-FOLIO, curados por humanos. Usando CLGC, los autores crearon FOLIO-KR y P-FOLIO-KR, que incluyen los silogismos originales traducidos a las diversas notaciones formales y anotados con las categorías SEF.
Modelos: Los experimentos se centran en los SLM debido a su frugalidad y relevancia para el razonamiento en entornos de recursos limitados.
- Ajuste Fino Supervisado (SFT): Flan-T5-small y Flan-T5-large.
- Zero-Shot (ZS): Gemma-2-2b-it, Llama-3.2-3b-instruct y Phi-3.5-mini-instruct.
Escenarios:
- SFT: Los modelos son entrenados con premisas y conclusiones en una notación específica para predecir etiquetas de verdad (Verdadero, Falso, Desconocido).
- Escenario ZS 1: Los modelos son instados con el silogismo y la gramática BNF de la notación.
- Escenario ZS 2: Los modelos son instados con el silogismo, la gramía, la definición de la categoría SEF del silogismo y un ejemplo.

Resultados clave

Ajuste Fino Supervisado (SFT)

Impacto de la notación: El rendimiento depende altamente de la interacción entre el tamaño del modelo, el tamaño del dataset y la abstracción de la notación.
- En P-FOLIO-KR (dataset más pequeño), Flan-T5-small funcionó mejor en notaciones abstractas como TFLPLUS y combinaciones (CLIF + TFLPLUS), superando significativamente al Lenguaje Natural. Los autores hipotetizan que la simplicidad de los tokens de TFLPLUS (ej. +, -) ayuda al aprendizaje en modelos pequeños con datos de entrenamiento limitados.
- En FOLIO-KR (dataset más grande), el Lenguaje Natural (NL) y CLIF se convirtieron en los mejores desempeños para ambos tamaños de modelo. El mayor volumen de datos permitió a los modelos aprender mejor las notaciones complejas, pero las notaciones abstractas como TFLPLUS tuvieron dificultades, potencialmente debido a la dependencia de tokens simbólicos menos frecuentes.
Escalamiento del modelo: Generalmente, el rendimiento aumentó con el tamaño del modelo independientemente de la abstracción. Sin embargo, FOL y las notaciones altamente abstractas mostraron tendencias de crecimiento diferentes en comparación con NL y CLIF.
Razonamiento conservador: La combinación de NL con CLIF (NL + CLIF) desplazó el comportamiento del modelo hacia un razonamiento "conservador". Esta combinación mejoró la predicción de casos Desconocidos (inconclusos) y redujo las alucinaciones (predicciones incorrectas de "Verdadero"), sugiriendo que las notaciones compactas ayudan a los modelos a manejar mejor la incertidumbre y el razonamiento por refutación.

Zero-Shot (ZS)

Prompting con categorías: Agregar definiciones de categoría SEF (Escenario 2) generalmente mejoró el rendimiento para modelos como Gemma y Phi, particularmente en notaciones similares a NL. Sin embargo, para algunos modelos (ej. Llama) o notaciones abstractas, las descripciones añadidas a veces disminuyeron el rendimiento o tuvieron efectos insignificantes.
Sensibilidad del modelo:
- Gemma (preentrenamiento pesado en texto) destacó con NL y CLIF.
- Phi (preentrenamiento en lógica/matemáticas) mostró mejor adaptabilidad a notaciones abstractas como CLINGO cuando se le proporcionaron descripciones de categorías.
- Llama (datos web destilados) mostró resiliencia a los tokens simbólicos en notaciones tipo FOL.
Velocidad de inferencia: Las notaciones de KR demostraron tiempos de inferencia más rápidos que NL. TFLPLUS fue el más rápido debido a su sintaxis compacta, mientras que NL fue el más lento. CLIF ofreció un compromiso favorable entre velocidad y rendimiento.

Significación y Reivindicaciones

El artículo reclama tres contribuciones primarias al campo del razonamiento lógico en IA:

Marco y Herramientas: La introducción de CLGC, la primera biblioteca de Python para generar automáticamente silogismos en diversas notaciones de KR y definir sus categorías SEF, permitiendo la investigación reproducible en este dominio.
Expansión de Datos: El lanzamiento de FOLIO-KR y P-FOLIO-KR, datasets enriquecidos que permiten la evaluación de LMs a través de un espectro de notaciones formales y estructuras lógicas.
Perspectivas Empíricas: El establecimiento de tendencias que muestran que:
- La elección de la notación de entrada impacta significativamente el rendimiento de los SLM, sin que exista una única notación que sea universalmente superior; la elección óptima depende del tamaño del modelo, el paradigma de entrenamiento (SFS vs. ZS) y la escala del dataset.
- Las combinaciones de notaciones (ej. NL + CLIF) pueden refinar el razonamiento, específicamente mejorando la capacidad del modelo para identificar la incertidumbre y realizar el razonamiento por refutación.
- Las definiciones lógicas (categorías SEF) en los prompts pueden potenciar el razonamiento, pero su eficacia es contingente a los datos de preentrenamiento del modelo y el nivel de abstracción de la notación.

Los autores concluyen que, si bien los SLM pueden desempeñarse bien en tareas de razonamiento con la notación adecuada, la dicotomía entre las notaciones naturales y abstractas sugiere una dirección futura para las arquitecturas neuro-simbólicas que combinen ambas en pipelines de múltiples etapas para lograr un razonamiento complejo y robusto.