UFAL-CUNI at SemEval-2026 Task 11: An Efficient Modular Neuro-symbolic Method for Syllogistic Reasoning

Enunciado del Problema
Los Modelos de Lenguaje Grandes (LLM) han demostrado competencia en el razonamiento silogístico, pero sufren sesgos de razonamiento significativos, particularmente el "efecto de contenido". Este fenómeno ocurre cuando el juicio de un modelo sobre la validez de un argumento se ve influenciado por la compatibilidad del argumento con el conocimiento del mundo real, en lugar de su estructura lógica formal. SemEval-2026 Tarea 11 tiene como objetivo desentrañar el contenido del razonamiento formal, desafiando a los sistemas a evaluar silogismos aristotélicos en cuatro subtareas: evaluar la validez, seleccionar premisas relevantes y realizar ambas tareas en entornos multilingües. El objetivo es construir sistemas capaces de razonamiento independiente del contenido mientras se minimiza el efecto de contenido.

Metodología
Los autores proponen un enfoque neuro-simbólico modular y eficiente que combina pequeños LLM de razonamiento (específicamente Qwen3 4B) con un demostrador de teoremas simbólico (Prover9). La arquitectura del sistema consta de cuatro componentes principales:

1. Traducción Automática (Opcional): Para las subtareas multilingües (3 y 4), un LLM más grande (Gemma 3 27B) traduce las entradas al inglés. Este proceso incluye un bucle de autoevaluación y corrección para garantizar la fidelidad de la traducción antes de un procesamiento posterior.
2. Analizador FOL: Un pequeño LLM traduce proposiciones en lenguaje natural a Lógica de Primer Orden (FOL). Una innovación clave es el uso de un formato LaTeX intermedio para esta traducción. Los autores hipotetizan que, dado que LaTeX está bien representado en los datos de entrenamiento de los LLM, produce formalizaciones de mayor calidad que la traducción directa a la sintaxis del demostrador objetivo. El analizador opera de manera multietapa, formalizando las proposiciones una por una mientras mantiene una asignación de predicados consistente entre llamadas para garantizar la coherencia lógica.
3. Transpilador: Un componente basado en reglas y accionado por expresiones regulares convierte las fórmulas FOL LaTeX intermedias en la sintaxis específica requerida por Prover9.
4. Demostrador Simbólico: Prover9 determina la validez lógica del silogismo formalizado.
5. Recuperación de Relevancia (Subtareas 2 y 4): En lugar de depender del LLM para identificar premisas relevantes, el sistema emplea un algoritmo codicioso simbólico. Elimina iterativamente premisas y vuelve a ejecutar el demostrador; si la prueba falla tras la eliminación, la premisa se considera necesaria (relevante).

Contribuciones y Hallazgos Clave

• Representación Intermedia: El artículo demuestra que instruir a los LLM para que generen FOL en notación LaTeX, seguido de una transpilación basada en reglas, supera significativamente al análisis directo a la sintaxis nativa del demostrador. El análisis directo resultó en una caída de 10 puntos en la precisión y un aumento sustancial del efecto de contenido debido a errores de sintaxis frecuentes.
• Eficiencia Neuro-Simbólica: El sistema logra una precisión competitiva (aproximadamente 95% en la subtarea 1) utilizando un modelo de 4 mil millones de parámetros, superando significativamente las líneas base de LLM de cero disparos de tamaño similar. Los estudios de ablación confirman que la pipeline neuro-simbólica mitiga efectivamente el efecto de contenido, mientras que el razonamiento de LLM de extremo a extremo exhibe un aumento agudo en el sesgo.
• Limitaciones de los Modelos Pequeños: El estudio revela que los LLM pequeños (4B) tienen capacidades multilingües limitadas. Pretraducir las entradas con modelos más pequeños (por ejemplo, Gemma 3 4B o Qwen 3 4B) funcionó peor que omitir la traducción por completo, lo que sugiere que se requieren modelos más grandes para un preprocesamiento multilingüe fiable.
• Análisis de Métricas: Los autores proporcionan un análisis empírico y teórico crítico de la métrica principal de clasificación de la tarea, la Puntuación Combinada (CS). Argumentan que la CS es excesivamente sensible al ruido estadístico aleatorio en conjuntos de prueba pequeños. Su análisis muestra que incluso un modelo imparcial puede exhibir efectos de contenido no nulos debido a la varianza, y la métrica penaliza desproporcionadamente a los sistemas de alta precisión con errores menores, lo que podría ocultar diferencias genuinas de rendimiento.

Significado
El artículo afirma que, aunque los LLM pequeños por sí solos son insuficientes para un razonamiento silogístico robusto e independiente del contenido, se vuelven altamente efectivos cuando se integran en una pipeline neuro-simbólica modular. El trabajo destaca la importancia de aprovechar formatos intermedios (LaTeX) que se alineen con las distribuciones de entrenamiento de los modelos para mejorar la fiabilidad de la formalización. Además, el artículo contribuye con una perspectiva crítica sobre las métricas de evaluación, sugiriendo que los sistemas de clasificación actuales podrían no distinguir de manera fiable entre capacidades de razonamiento genuinas y artefactos estadísticos en tareas de razonamiento a pequeña escala. Los autores concluyen que su enfoque reduce con éxito el efecto de contenido para modelos de este tamaño de parámetros, ofreciendo un camino viable para un razonamiento formal eficiente sin el costo computacional de modelos masivos.