SEF-CLGC at SemEval-2026 Task 11: Logical Notation Impact on Language Model Performance

Resumen Técnico: SEF-CLGC en SemEval-2026 Tarea 11

Planteamiento del Problema
Este artículo aborda la Tarea 11 Subtarea 1 de SemEval-2026, la cual desafía a los Modelos de Lenguaje (LM) a determinar la validez lógica de los silogismos, desvinculando el razonamiento de contenido del razonamiento formal. El problema central es que los LM suelen exhibir un "sesgo de contenido", donde sus juicios de validez se ven influenciados por la plausibilidad en el mundo real de los argumentos en lugar de su estructura lógica. Si bien los modelos más grandes generalmente desempeñan mejor, siguen siendo propensos a los mismos sesgos de razonamiento que los humanos. Los autores investigan si los Modelos de Lenguaje Pequeños (SLM), cuando se entrenan en una combinación de lenguaje natural y notaciones lógicas formales, pueden lograr un rendimiento de razonamiento competitivo mitigando estos sesgos.

Metodología
Los autores utilizan y mejoran un flujo de trabajo llamado Syllogistic Evaluation Framework-Common Logic Grammar Construction (SEF-CLGC). La metodología avanza a través de las siguientes etapas:

1. Transformación del Conjunto de Datos:

   • Traducción NL-a-FOL: Los silogismos en Lenguaje Natural (NL) del conjunto de datos de la tarea se traducen primero a Lógica de Primer Orden (FOL) utilizando el modelo ChatGPT 5.2 de OpenAI.
   • Categorización: El componente SEF categoriza los silogismos en cuatro tipos: Hipotéticos, Disyuntivos, Categóricos y Complejos.
   • Generación de Notaciones: Utilizando gramáticas de Forma de Backus-Naur (BNF), el sistema genera Árboles de Sintaxis Abstracta (AST) y transforma las representaciones FOL en diversas notaciones lógicas. El flujo de trabajo introduce dos nuevas notaciones junto con las existentes:
     • CLINGO: Un lenguaje para la Programación de Conjuntos de Respuestas (ASP).
     • MINIFOL2: Una notación personalizada que reemplaza los operadores FOL por equivalentes booleanos y elimina el cuantificador existencial ("∃").
   • El conjunto de datos resultante incluye los silogismos originales en NL y sus transformaciones en notaciones tales como FOL, CLIF, CGIF, TFL+, CLINGO y MINIFOL2.

2. Entrenamiento y Arquitectura del Modelo:

   • Los autores emplean modelos Flan-T5 (específicamente las variantes small y large), limitando el alcance a modelos con menos de 1 mil millones de parámetros para asegurar la frugalidad.
   • Se entrenan dos familias de modelos:
     • Modelos SEMEVAL: Modelos Flan-T5 vanilla ajustados directamente en las divisiones del conjunto de datos de la tarea.
     • Modelos FOLIO-SEMEVAL: Modelos Flan-T5 pre-ajustados en el conjunto de datos FOLIO (un conjunto de datos de razonamiento lógico) antes de ser ajustados finamente en los datos de la tarea de SemEval.
   • El entrenamiento implica un Ajuste Fino Supervisado (SFT) donde la entrada consiste en silogismos en una o múltiples notaciones, y el objetivo es la etiqueta de validez ("Verdadero" o "Falso").

3. Métricas de Evaluación:

   • El rendimiento se mide mediante la Exactitud (ACC) y el Efecto de Contenido (CE), que cuantifica la brecha de rendimiento entre silogismos plausibles e implausibles.
   • La métrica de clasificación principal es la Puntuación de Contenido (CS), definida como $CS = \frac{ACC}{1 + \log(1 + CE)}$. Esta métrica recompensa una alta exactitud mientras penaliza un alto sesgo de contenido.

Resultados Clave

• Rendimiento de los SLM: El modelo con mejor desempeño, un Flan-T5-large de FOLIO-SEMEVAL entrenado en una combinación de Lenguaje Natural y FOL (NL-FOL), logró una Puntuación de Contenido de 27.80% y una exactitud de 90.57% en el conjunto de evaluación ciega.
• Impacto de las Notaciones:
  • En la familia SEMEVAL (sin pre-entrenamiento en FOLIO), el Lenguaje Natural (NL) por sí solo funcionó mejor, seguido de NL-FOL. Las notaciones formales puras (por ejemplo, FOL, CLIF) generalmente tuvieron un desempeño inferior en comparación con NL.
  • En la familia FOLIO-SEMEVAL, el pre-entrenamiento en datos lógicos alteró significativamente la jerarquía. La combinación NL-CLIF logró la mayor exactitud de entrenamiento (0.95), y NL-FOL logró la mayor Puntuación de Contenido en la evaluación.
  • Notaciones como MINIFOL2 y TFL+ funcionaron deficientemente, probablemente debido a la falta de familiaridad de los modelos con sus estructuras sintácticas específicas.
• Mitigación del Sesgo: El uso de notaciones lógicas formales, particularmente en combinación con NL, redujo significamente el Efecto de Contenido (CE). Por ejemplo, el modelo NL-FOL redujo el CE a 8.55 comparado con 9.57 para el modelo solo de NL en la familia FOLIO-SEMEVAL.
• Análisis de Errores: Los modelos demostraron una fuerte capacidad para detectar silogismos válidos, pero tuvieron dificultades con los inválidos, mostrando una alta tasa de Falsos Positivos (prediciendo silogismos inválidos como válidos). Este sesgo fue más pronunciado en los modelos pre-entrenados con el conjunto de datos FOLIO.

Significancia y Reivindicaciones
El artículo afirma que su trabajo demuestra la viabilidad de los Modelos de Lenguaje Pequeños como agentes competitivos para tareas complejas de razonamiento lógico cuando se aumentan con notaciones lógicas formales. Específicamente, los autores afirman que:

1. Frugalidad y Competitividad: Es posible lograr una alta exactitud y clasificaciones competitivas (7º en Efecto de Contenido, 10º en Exactitud) utilizando SLM, desafiando la tendencia de depender únicamente de modelos masivos.
2. Reducción del Sesgo: Integrar notaciones lógicas formales (enfoque neuro-simbólico) ayuda a reducir el sesgo de contenido, permitiendo que los modelos razonen más sobre la estructura que sobre la plausibilidad del mundo real.
3. Valor del Pre-entrenamiento: El pre-ajuste en conjuntos de datos lógicos (como FOLIO) mejora la capacidad del modelo para aprender y utilizar las notaciones formales de manera efectiva, incluso en tareas de pequeña escala.

Los autores concluyen que, si bien su enfoque es efectivo, se necesita trabajo futuro para abordar el desequilibrio de las categorías de silogismos dentro del conjunto de datos e investigar las razones específicas de la dificultad de los modelos con los silogismos inválidos. También reconocen la limitación de depender de un modelo comercial para el paso inicial de traducción de NL a FOL.