From Causal Plausibility to Causal Reliability: Evaluating LLMs as Calibrated Direct Causal-Edge Classifiers
Este artículo evalúa sistemáticamente 12 modelos de lenguaje de gran tamaño como clasificadores directos de aristas causales y encuentra que, si bien exhiben una alta sensibilidad, sufren de una sobrepredicción significativa, una mala distinción entre relaciones directas e indirectas y una severa sobreconfianza en juicios incorrectos, lo que sugiere que son más adecuados como fuentes de prioris causales suaves que como evidencia directa confiable de la estructura causal.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
La ciencia a menudo busca comprender no solo qué sucede, sino por qué sucede. Cuando los investigadores intentan trazar las causas detrás de un fenómeno —ya sea un virus propagándose por una población o una máquina fallando en una fábrica— construyen un diagrama de conexiones. En este diagrama, una línea directa de una cosa a otra significa que la primera cosa causa inmediatamente la segunda. Si un virus conduce a una infección, la cual luego conduce a un resultado de prueba positivo, el virus causa el resultado de la prueba solo indirectamente, a través de la infección. Descifrar qué líneas son directas y cuáles son indirectas es un rompecabezas difícil conocido como descubrimiento causal. Durante décadas, los científicos han dependido de complejas herramientas matemáticas y grandes conjuntos de observaciones para resolver este rompecabezas, pero estas herramientas a veces tienen dificultades cuando los datos son escasos o cuando diferentes patrones parecen idénticos.
En años recientes, ha surgido un nuevo tipo de herramienta: los modelos de lenguaje de gran tamaño. Estos son sistemas informáticos entrenados en vastas cantidades de texto que pueden responder preguntas, escribir historias y razonar a través de problemas. Debido a que han leído tanto, parecen poseer un profundo pozo de conocimiento sobre cómo funciona el mundo, incluyendo cómo una cosa causa a otra. Los investigadores han comenzado a preguntarse si estos sistemas pueden actuar como guías expertos, diciéndonos qué conexiones en un diagrama son reales y directas. La esperanza era que estos modelos pudieran proporcionar un atajo, ofreciendo juicios fiables sobre la causa y el efecto sin necesidad de realizar experimentos costosos. Sin embargo, un nuevo estudio sugiere que, si bien estos modelos son buenos detectando que dos cosas están relacionadas, a menudo son terribles para saber exactamente cómo están conectadas, y con frecuencia son demasiado seguros de sí mismos cuando se equivocan.
Un equipo de investigadores se propuso probar esta fiabilidad tratando a los modelos de lenguaje de gran tamaño como jueces de relaciones directas de causa y efecto. Reunieron doce versiones diferentes de estos modelos, que van desde sistemas más pequeños y eficientes hasta otros masivos y potentes. Luego presentaron a estos modelos seis escenarios diferentes del mundo real, cada uno representado por un mapa conocido de causas y efectos. Estos escenarios cubrieron diversos campos, desde condiciones médicas como la hepatitis y el COVID-19, hasta procesos industriales y sistemas ecológicos. Para cada par de variables en estos mapas, los investigadores le hicieron a los modelos una pregunta simple: ¿El primer elemento causa directamente al segundo? Los modelos tenían que responder sí o no y proporcionar una puntuación de confianza, un número que indica qué tan seguros se sentían de su respuesta.
Los resultados revelaron un patrón consistente de sobreentusiasmo. Los modelos tendían a decir "sí" con demasiada frecuencia. En lugar de dibujar un mapa disperso con solo las conexiones directas necesarias, los modelos producían redes densas donde casi todo parecía estar conectado directamente con todo lo demás. Este comportamiento fue tan fuerte que incluso cuando los investigadores probaron diferentes formas de hacer las preguntas, los modelos no pudieron ser entrenados fácilmente para ser más selectivos. Identificaban correctamente que dos cosas estaban relacionadas, pero fallaban al distinguir entre una causa directa y una indirecta. Por ejemplo, si un virus causaba una infección que causaba fiebre, el modelo a menudo afirmaba que el virus causaba directamente la fiebre, ignorando el paso intermedio. Este error ocurrió en aproximadamente el 40 por ciento de los casos donde la relación era indirecta y en el 36 por ciento de los casos donde la dirección estaba invertida.
Quizás el hallazgo más preocupante fue la falta de autoconciencia de los modelos respecto a sus errores. Cuando los modelos cometían estos errores estructurales, no dudaban. En más del 80 por ciento de los casos en los que afirmaban incorrectamente que existía un vínculo directo entre elementos indirectamente relacionados, asignaban una puntuación de confianza de al menos el 80 por ciento. No estaban simplemente adivinando; estaban erróneamente seguros de sí mismos. El estudio también analizó si los modelos podían ser confiables para distinguir entre un acierto y un error basándose en sus puntuaciones de confianza. Los investigadores encontraron que los números de confianza que los modelos se asignaban a sí mismos eran a menudo poco fiables. Un modelo podía decir que estaba un 90 por ciento seguro, pero ese número no se correlacionaba realmente con si la respuesta era correcta. El único método que mostró una ligera mejora fue preguntar a los modelos lo mismo de diferentes maneras y ver si coincidían entre sí, pero incluso este método no fue una solución perfecta.
Los investigadores también investigaron si los modelos simplemente estaban memorizando las respuestas de las preguntas de la prueba que habían visto antes. Descubrieron que, para un conjunto de datos específico relacionado con una condición médica, varios modelos se desempeñaron sospechosamente bien, lo que sugería que podrían haber visto los datos durante su entrenamiento. Sin embargo, esta familiaridad no explicó el bajo rendimiento en los otros cinco conjuntos de datos, donde los modelos seguían teniendo los mismos tipos de errores. Incluso cuando los investigadores obligaron a los modelos a elegir entre tres opciones —causa directa, causa inversa o ausencia de vínculo directo— en lugar de solo dos, los modelos no mejoraron significativamente. Continuaron prediciendo vínculos directos donde no existían, demostrando que el problema no era solo un fallo en la forma de hacer las preguntas, sino una limitación fundamental en cómo estos sistemas entienden la causalidad.
En última instancia, el estudio concluye que, si bien los modelos de lenguaje de gran tamaño son herramientas poderosas para generar ideas, no deben tratarse como una prueba definitiva de cómo funciona el mundo. Deben verse mejor como fuentes de sugerencias suaves, que ofrecen un punto de partida que debe ser verificado y validado por otros métodos. Pueden decirnos que dos cosas están probablemente conectadas, pero no se puede confiar en ellos para dibujar las líneas precisas de un mapa causal por sí solos. La confianza que expresan es a menudo un refleio de sus datos de entrenamiento más que una medida verdadera de la verdad. Para los científicos e ingenieros que necesitan comprender la mecánica precisa de la causa y el efecto, confiar únicamente en estos modelos sería como navegar por una ciudad compleja con un mapa que conecta cada calle con todas las demás; puede parecer exhaustivo, pero te llevará por el camino equivocado. El camino a seguir consiste en utilizar estos modelos para generar hipótesis que luego sean rigurosamente probadas, en lugar de aceptar sus juicios confiados como respuestas finales.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.