Comparative Analysis of Rule-Based, Deep Learning, and LLM Approaches for Causality Extraction: A Unified Benchmark

En el vasto paisaje de la comunicación humana, tejemos constantemente historias de causa y efecto. Decimos que una lluvia intensa causó que un río se desbordara, o que un plazo incumplido condujo al fracaso de un proyecto. A veces estas conexiones son obvias, marcadas por palabras como "porque" o "resultó en". Pero a menudo, el vínculo está oculto. Un texto puede describir una secuencia de eventos donde la causa nunca se nombra, dejando al lector inferir la relación basándose en el contexto y el sentido común. Para que las computadoras comprendan verdaderamente nuestro lenguaje, deben aprender a detectar estos hilos invisibles, una tarea conocida como extracción de causalidad. Esto no es solo un rompecabezas lingüístico; es una necesidad práctica para las máquinas que necesitan analizar informes de noticias, registros médicos o investigaciones de seguridad para entender qué sucedió y por qué. Durante años, los investigadores han intentado enseñar esta habilidad a las computadoras utilizando tres estrategias diferentes: conjuntos rígidos de reglas creadas por humanos, redes neuronales complejas que aprenden de ejemplos, y la generación más reciente de modelos de lenguaje masivos que pueden razonar a través de instrucciones. Sin embargo, debido a que cada grupo probó sus métodos con datos diferentes y sistemas de puntuación distintos, ha sido imposible saber qué enfoque es realmente el mejor o dónde fallan.

Un investigador de la Universidad Técnica de Múnich decidió resolver esta incertidumbre construyendo un campo de pruebas único y unificado. Reunió colecciones de texto existentes de noticias, medicina, finanzas e informes de seguridad, y reescribió cuidadosamente las etiquetas para cada relación de causa y efecto de modo que todas siguieran la misma definición estricta. Esto creó un campo de juego justo donde podían probar las tres principales estrategias de forma paralela bajo condiciones idénticas. Enfrentó a sistemas simples basados en reglas, que buscan palabras específicas y patrones gramaticales, contra modelos de aprendizaje profundo que han estudiado miles de ejemplos, y finalmente contra grandes modelos de lenguaje que pueden procesar vastas cantidades de texto y seguir instrucciones complejas. El objetivo era ver no solo qué método obtenía la puntuación más alta, sino cómo cada uno manejaba las partes complicadas de la tarea, como encontrar causas que no están declaradas explícitamente o conectar eventos que están separados por una larga distancia en un documento.

Los resultados revelaron un panorama que es mucho más matizado que la simple historia de "lo nuevo es mejor" que se sugeriría. El investigador encontró que los sistemas basados en reglas de la vieja escuela, que dependen de detectar palabras como "causó" o "debido a", siguen siendo sorprendentemente efectivos cuando la causa está claramente marcada. En estos casos sencillos, funcionan casi tan bien como las redes neuronales más avanzadas, pero lo hacen sin necesidad de datos de entrenamiento y con casi ninguna potencia de cómputo. Sin embargo, estos sistemas rígidos chocan contra un muro duro cuando la causa está oculta. Debido a que dependen enteramente de pistas superficiales, fallan casi por completo cuando un texto implica una relación sin utilizar palabras de conexión específicas.

Los modelos de aprendizaje profundo, que son entrenados con ejemplos anotados, cerraron significativamente esta brecha. Demostraron ser mucho mejores para detectar causas ocultas y comprender el contexto dentro de una sola oración o un párrafo corto. No obstante, tuvieron dificultades cuando la causa y el efecto estaban separados por varias oraciones o cuando el texto describía una larga cadena de eventos. Las herramientas más poderosas, los grandes modelos de lenguaje, mostraron la mejor capacidad general para encontrar estas conexiones ocultas y distantes. Cuando estos modelos fueron ajustados cuidadosamente con ejemplos específicos, superaron a los otros métodos, particularmente en la categoría más difícil de encontrar causas que son tanto implícitas como distribuidas a lo largo de un documento. Sin embargo, este rendimiento superior vino con un alto precio. Los modelos grandes requirieron mucha más potencia de cómputo para ejecutarse y tardaron significativamente más en procesar cada documento que los modelos más simples. Además, incluso los mejores modelos grandes cometieron un tipo específico de error: a menudo identificaban la idea correcta pero obtenían los límites exactos de la frase de forma ligeramente errónea, un problema conocido como deriva de límites.

Quizás el descubrimiento más importante fue que ningún método resolvió el problema por completo. Si bien los grandes modelos de lenguaje fueron los más fuertes en general, todavía fallaron en reconstruir completamente la estructura causal de un documento largo aproximadamente la mitad de las veces. El investigador observó que los tres enfoques tuvieron dificultades con cadenas causales donde un evento intermedio no era etiquetado explícitamente como causa o efecto, lo que sugiere que la forma actual de definir estas tareas podría ser demasiado simple para la complejidad de las narrativas del mundo real. El estudio también mostró que, si bien los modelos grandes fueron lo suficientemente robustos como para manejar un cambio de un tema a otro, como pasar de textos médicos a informes de seguridad, aun así perdieron una precisión significativa en comparación con su desempeño en su dominio de origen.

La imagen final es una de fortalezas complementarias en lugar de un ganador claro. El investigador concluyó que la elección del método debe depender enteramente de las necesidades específicas de la aplicación. Si un sistema necesita procesar miles de informes rápidamente y las causas son usualmente obvias, un sistema simple basado en reglas o una red neuronal estándar podrían ser la opción más práctica. Pero si el objetivo es entender relaciones complejas y ocultas en textos diversos y difíciles, los grandes modelos de lenguaje valen el costo adicional, siempre que se gestionen sus limitaciones. El estudio sugiere que el futuro de este campo no radica en esperar a que una tecnología derrote a las otras, sino en construir sistemas híbridos que combinen la velocidad y precisión de las reglas con el poder de razonamiento de los grandes modelos. Al reconocer que cada enfoque tiene puntos ciegos, los investigadores pueden ahora avanzar hacia la construcción de herramientas que sean verdaderamente capaces de entender la historia completa de la causa y el efecto.