💬 NLP

HABIB_TAZ at SemEval-2026 Task 11: Disentangling Formal Logic from Content via Synthetic Training and Multi-Objective Optimization

El sistema HABIB_TAZ alcanzó los primeros puestos en la Tarea 11 de SemEval-2026 mediante el empleo de modelos mDeBERTa-v3 entrenados con datos silogísticos sintéticos con optimización multiobjetivo para desenredar eficazmente la lógica formal del sesgo de contenido a través de múltiples idiomas.

Autores originales: Abdullah Shaikh, Zain Naqi, Taha Zahid, Sandesh Kumar, Abdul Samad

Publicado 2026-07-17

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Abdullah Shaikh, Zain Naqi, Taha Zahid, Sandesh Kumar, Abdul Samad

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot superinteligente cómo resolver acertijos de lógica. Le das una regla: "Si todas las aves pueden volar, y un pingüino es un ave, entonces un pingüino puede volar". Un humano podría hacer una pausa y decir: "¡Espera, los pingüinos no pueden volar! Esa regla es errónea en el mundo real". Pero un robot que dependa demasiado de su "sentido común" podría confundirse. Podría pensar: "Oh, los pingüinos son aves, y las aves vuelan, así que la conclusión debe ser verdadera", a pesar de que la lógica en sí misma sea defectuosa porque la regla inicial era falsa. Este es el problema complicado que los científicos están tratando de resolver con los Modelos de Lenguaje Extensos (LLM). Estos son los poderosos cerebros de IA detrás de los chatbots y los motores de búsqueda. Son increíbles escribiendo historias y respondiendo preguntas, pero a menudo luchan por separar lo que es lógicamente cierto de lo que suena creíble. Se dejan engañar por los "efectos de contenido", donde el significado del mundo real de las palabras los distrae de la estructura real del argumento. El objetivo de esta investigación es construir una IA que actúe como un lógico estricto: uno que verifique si las matemáticas del argumento funcionan, independientemente de si la historia suena tonta o sensata.

El equipo detrás de este proyecto, HABIB_TAZ, entró en una competición llamada SemEval-2026 Task 11 para probar exactamente esta capacidad. Su misión era crear un sistema que pudiera analizar silogismos (un tipo de argumento lógico con dos premisas y una conclusión) en 12 idiomas diferentes y decidir si la conclusión seguía las reglas, incluso si las premisas eran disparates o si había frases adicionales y distractoras de por medio.

Para resolver esto, los investigadores no solo alimentaron a su IA con más datos del mundo real. En su lugar, construyeron un campo de entrenamiento "sintético". Imagina que crearon una fábrica gigante que genera millones de acertijos lógicos utilizando reglas estrictas y creadas, con palabras sin sentido o jerigonza, en lugar de animales u objetos reales. Esto fue para evitar que la IA aprendiera atajos basados en el conocimiento del mundo real. Luego entrenaron su modelo de IA, basado en un potente motor de lenguaje llamado mDeBERTa-v3, utilizando una receta de entrenamiento especial de tres partes. Primero, utilizaron una técnica para asegurar que el modelo no ignorara los ejemplos más difíciles y complicados. Segundo, añadieron una "penalización por sesgo", que es como un profesor que regaña suavemente al estudiante cada vez que se distrae por lo "plausible" que suena una historia, obligándolo a concentrarse únicamente en la lógica. Tercero, utilizaron una verificación de consistencia para asegurar que el modelo entendiera que una oración compleja significaba lo mismo lógicamente que una oración simple.

Los resultados fueron una mezcla de puntuaciones perfectas y desafíos interesantes. En las tareas más sencillas —acertijos solo en inglés, acertijos en inglés con distracciones, y acertijos en 12 idiomas sin distracciones— su sistema alcanzó una puntuación perfecta de 100.0. Ignoró completamente los trucos del "mundo real" y acertó la lógica en cada ocasión, con cero sesgo. Sin embargo, el desafío más difícil fue la tarea de "Multilingüe con Ruido", donde la IA tenía que lidiar con 12 idiomas y frases distractoras. Aquí, el sistema quedó en el sexto lugar. Acertó el 89.06% de las respuestas, pero todavía mostraba una pequeña cantidad de sesgo (2.89%).

Los investigadores descubrieron que su receta de entrenamiento especial funcionó de maravilla para las tareas más fáciles, demostrando que se puede enseñar a una IA a ser un lógico puro si se la entrena con datos sintéticos basados en reglas en lugar de texto desordenado del mundo real. Para la tarea más difícil, notaron que el modelo tenía más dificultades con los datos multilingües originales que con las traducciones al inglés, lo que sugiere que la forma en que el modelo maneja diferentes idiomas es todavía algo inestable. También descubrieron que añadir una verificación de "consistencia" específica (usando la Divergencia KL) ayudó al modelo a mantenerse estable a través de los diferentes idiomas, aunque requería mucha potencia de cómputo para ejecutarse. En última instancia, el artículo sugiere que, si bien podemos construir IAs que sean increíblemente buenas en la lógica pura, hacerlas robustas en cada idioma y en cada tipo de ruido sigue siendo un trabajo en progreso. El equipo ha hecho públicos sus códigos y herramientas de generación de datos, con la esperanza de que otros los utilicen para construir una IA aún más lógica en el futuro.

Resumen Técnico: HABIB_TAZ en SemEval-2026 Tarea 11

Planteamiento del Problema
Si bien los Modelos de Lenguaje de Gran Escala (LLMs) demuestran competencia en tareas generales de Procesamiento de Lenguaje Natural (NLP), sus capacidades de razonamiento formal se ven frecuentemente comprometidas por los "efectos de contenido". Los modelos tienden a sobreestimar la validez lógica de argumentos que se alinean con la plausibilidad del mundo real, confundiendo el conocimiento del mundo con la lógica formal. La Tarea 11 de SemEval-2026 aborda esto evaluando la capacidad de un modelo para desacoplar la lógica formal del contenido a través de 12 idiomas, requiriendo específicamente la identificación de premisas relevantes entre ruido irrelevante (distractores). El desafío central radica en lograr una alta precisión en la clasificación de la validez lógica mientras se minimiza el Efecto de Contenido Total (TCE), una métrica que cuantifica el sesgo hacia el contenido plausible.

Metodología
El sistema HABIB_TAZ emplea un enfoque multifacético que combina la generación de datos sintéticos, una arquitectura especializada y la optimización multiobjetivo para desacoplar los patrones semánticos de la estructura lógica.

Arquitectura: El sistema utiliza backbones mDeBERTa-v3 preentrenados en tareas de Inferencia de Implicación Natural (NLI). Para las subtareas que involucran ruido (ST2 y ST4), se emplea un backbone más grande (DeBERTa-v3-large) para desacoplar mejor las premisas irrelevantes. La arquitectura cuenta con dos cabezales especializados: un cabezal de clasificación para la validez lógica (usando el token [CLS]) y un cabezal de selección de premisas mediante pooling basado en spans y masked mean pooling para identificar las premisas relevantes.
Estrategia de Datos: Para superar la escasez de los datos de entrenamiento proporcionados (N=960), los autores desarrollaron un motor de datos sintéticos basado en reglas. Este motor genera datos basados en 256 esquemas silogísticos aristotélicos, asegurando una representación equilibrada en los cuadrantes de validez y plausibilidad. Las estrategias clave incluyen:
- Control de Vocabulario: Uso de cadenas de hiperónimos/hipónimos de WordNet para crear muestras plausibles y cadenas de sustantivos cruzadas para las implausibles.
- Datos Simbólicos: Introducción de jerga o variables simbólicas para reducir la dependencia de la semántica del mundo real.
- Refraseo Complejo: Mapeo de formas lógicas simples a variaciones lingüísticas complejas para imponer la invarianza estructural.
- Expansión Multilingüe: Traducción de estructuras inglesas a 12 idiomas objetivo utilizando plantillas específicas de cada idioma para preservar los cuantificadores.
- Robustez: Integración de muestras del conjunto de datos HANS (Heuristic Analysis for NLI Systems) para evitar que los modelos exploten heurísticas sintácticas superficiales.
Optimización: El pipeline de entrenamiento emplea una función de pérdida multiobjetivo ( $L_{total} = L_{DRO} + \lambda_{bias}L_{bias} + \gamma L_{KL}$ $L_{t o t a l} = L_{D R O} + λ_{bia s} L_{bia s} + γ L_{K L}$ ):
- Adaptive Group DRO: En lugar de la Entropía Cruzada estándar, la Optimización Robusta de Distribución de Grupo (DRO) se enfoca en subgrupos de bajo rendimiento (definidos por los cuadrantes de validez/plausibilidad e idiomas) para asegurar la consistencia.
- Penalización de Sesgo Diferenciable: Un componente de pérdida calculado a partir de puntuaciones de confianza sigmoideas que penaliza las distribuciones de confianza desiguales entre los cuadrantes de validez-plausibilidad, forzando al modelo a mantener la certeza lógica independientemente de la plausibilidad del contenido.
- Consistencia de Divergencia KL: Esto minimiza la divergencia entre las distribuciones de salida de los silogismos simples (maestro) y sus refraseos complejos (estudiante), anclando al modelo a las formas lógicas fundamentales en lugar de atajos léxicos.
- Programación Dinámica: El peso de la penalización de sesgo ( $\lambda_{bias}$ ) y el tamaño de paso de DRO se inicializan en cero y se incrementan gradualmente para evitar que el modelo colapse en mínimos subóptimos antes de dominar las estructuras formales.

Resultados Clave
El sistema alcanzó un rendimiento de vanguardia (state-of-the-art) en las tres primeras subtareas y resultados sólidos en la subtarea más compleja:

Subtarea 1 (Inglés): Logró un Ranking Score perfecto de 100.0 con 0.00% de sesgo y 100.0% de precisión.
Subtarea 2 (Inglés con Ruido): Logró un Ranking Score perfecto de 100.0 con 0.00% de sesgo y 100.0% de precisión, desacoplando con éxito el razonamiento de las premisas ruidosas.
Subtarea 3 (Multilingüe): Logró un Ranking Score perfecto de 100.0 con 0.00% de sesgo y 100.0% de precisión. Los estudios de ablación indicaron que la combinación de la pérdida de Sesgo y los datos HANS fue suficiente para esta tarea, mientras que los regularizadores adicionales (KL/MSE) no mejoraron el rendimiento.
Subtarea 4 (Multilingüe con Ruido): Clasificó en el 6.º lugar con una Precisión y un F1-score de 89.06%, un sesgo de 2.89%, y un Ranking Score de 37.78.
- Análisis: Los autores notaron una brecha de rendimiento significativa al evaluar sobre el conjunto de prueba multilingüe original frente a una traducción al inglés del mismo. La regularización de Divergencia KL fue identificada como el factor crítico para cerrar esta brecha translingüística, haciendo al modelo robusto a las variaciones lingüísticas. Sin embargo, debido a las limitaciones computacionales durante la competencia, el conjunto de datos completo (648,632 muestras) se redujo a aproximadamente el 4% para el entrenamiento, lo que sugiere potencial para mejoras futuras.

Significado y Contribuciones
El artículo afirma que su contribución principal es demostrar que la optimización consciente del sesgo combinada con datos sintéticos basados en reglas puede aislar eficazmente el razonamiento formal de la plausibilidad del mundo real. Al evitar el ruido semántico inherente a los datos aumentados por LLM y emplear una función de pérdida multiobjetivo, el sistema mitiga con éxito los efectos de contenido que suelen afectar a los LLM.

Los autores destacan que:

Los datos sintéticos son cruciales: Entrenar con símbolos abstractos y estructuras basadas en reglas permite a los modelos generalizar mejor el razonamiento lógico que entrenar únicamente con datos de lenguaje natural.
La optimización multiobjetivo es necesaria: Las técnicas de regularización aisladas (como DRO o el Sesgo por sí solos) pueden degradar el rendimiento o fallar en la generalización; se requiere una combinación equilibrada (específicamente Divergencia KL + DRO + Sesgo) para mantener la invarianza estructural mientras se reduce el sesgo.
Escalabilidad: La capacidad de abstraer relaciones lógicas de premisas ruidosas escala directamente con los parámetros del modelo, como lo demuestran los puntajes perfectos alcanzados con el backbone Large en la Subtarea 2.

Los autores ponen su motor de generación de datos y su código fuente a disposición pública para facilitar la investigación futura sobre el razonamiento lógico robusto. Concluyen que, si bien el sistema logró puntajes perfectos en tareas de ruido limpias y de un solo idioma, el desafío de un razonamiento lógico multilingüe totalmente robusto sigue siendo un área de mejora activa, particularmente respecto a los costos computacionales de la regularización de consistencia.

Resumen Técnico: HABIB_TAZ en SemEval-2026 Tarea 11

Más como este