Explainability and Interpretability Methods for Large Language Models: An Exploratory Systematic Mapping Study
Este estudio de mapeo sistemático analiza 1.252 artículos de investigación sobre métodos de explicabilidad para modelos de lenguaje de gran tamaño, revelando que la mayoría de las técnicas requieren datos internos del modelo que son inaccesibles y que la evidencia relativa a la utilidad humana y el despliegue en el mundo real sigue siendo críticamente escasa.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
En los últimos años, un nuevo tipo de programa informático ha remodelado la forma en que interactuamos con la tecnología. Estos sistemas, conocidos como modelos de lenguaje de gran tamaño, pueden escribir historias, resolver problemas matemáticos y mantener conversaciones que resultan notablemente humanas. Funcionan prediciendo la siguiente palabra en una oración, capa tras capa, hasta que emerge un pensamiento completo. Pero debido a que estos programas están construidos con miles de millones de ajustes ajustables, su funcionamiento interno es a menudo un misterio. Cuando un sistema de este tipo ofrece una respuesta, es difícil saber si esa respuesta proviene de una comprensión profunda de los hechos o simplemente de una conjetura ingeniosa basada en patrones que ha visto antes. Esta incertidumbre ha creado una necesidad apremiante de explicabilidad: la capacidad de mirar dentro de la máquina y comprender por qué tomó una decisión específica. Los investigadores están tratando de construir herramientas que puedan rastrear una decisión hasta su origen, revelando la lógica, los datos o las partes específicas del cerebro de la computadora que condujeron al resultado final.
Un equipo de investigadores de la Universidad de Piraeus en Grecia ha dado un paso masivo hacia la clarificación de este campo. Realizaron un estudio exhaustivo de casi 8.000 informes científicos publicados entre 2019 y agosto de 2026, reduciéndolos a 1.252 estudios que específicamente intentaban explicar cómo funcionan estos modelos de lenguaje de gran tamaño. Su objetivo no era inventar un nuevo método, sino mapear todo el panorama de los métodos existentes. Querían ver qué tipos de explicaciones están construyendo los científicos, a qué partes de la computadora se les permite mirar y si estas explicaciones realmente ayudan a las personas a entender la máquina o si solo parecen convincentes. Para gestionar esta enorme tarea, los investigadores utilizaron un sistema de inteligencia artificial cuidadosamente diseñado para leer y categorizar cada artículo, con expertos humanos supervisando el trabajo para asegurar la precisión.
El descubrimiento más sorprendente de su mapa es un desajuste fundamental entre las herramientas que los científicos están construyendo y la realidad de cómo se utilizan estos modelos hoy en día. La gran mayoría de los métodos que encontraron —casi el 70 por ciento— requieren un acceso profundo e interno al cerebro de la computadora. Para usar estas herramientas, un investigador necesita ver los números brutos fluyendo a través del sistema o incluso cambiar los ajustes del modelo mismo. Sin embargo, los modelos de lenguaje más potentes que la gente usa a diario son alojados por empresas como servicios cerrados. Los usuarios pueden enviar un mensaje y recibir una respuesta, pero no pueden ver los números internos ni cambiar los ajustes. Esto significa que las formas más sofisticadas de explicar estos modelos son efectivamente inútiles para los mismos sistemas donde la gente más necesita explicaciones. Solo alrededor del 23 por ciento de los estudios describieron métodos que podrían funcionar con el acceso limitado disponible para el público, como simplemente leer la salida de texto o las puntuaciones de probabilidad de la siguiente palabra.
Los investigadores también analizaron qué estaban demostrando realmente estas explicaciones. Encontraron que la mayoría de los estudios se centraban en la "fidelidad" (faithfulness), que es una forma técnica de preguntar si la explicación coincide verdamente con la lógica interna de la computadora. Cerca del 70 por ciento de los artículos intentaron demostrar que su método identificaba correctamente la causa de una decisión. Sin embargo, el estudio encontró que muy pocos investigadores probaron si estas explicaciones eran realmente útiles para los seres humanos. Solo alrededor del 3 por ciento de los estudios involucraron a personas reales probando las explicaciones para ver si les ayudaban a tomar mejores decisiones, a entender el sistema o a confiar en el resultado. Es como si los ingenieros hubieran pasado años perfeccionando el mapa de los túneles subterráneos de una ciudad, pero nunca le hubieran preguntado a un pasajero si el mapa le ayuda a encontrar su camino.
Otra brecha significativa apareció en la forma en que los investigadores probaron sus ideas. Aunque muchos estudios afirmaban que sus métodos eran robustos, menos de un tercio de ellos utilizó un grupo de control riguroso para demostrar que sus resultados no eran simplemente producto del azar. Además, la conexión con las reglas y regulaciones del mundo real era casi inexistente. A pesar de la frecuente mención de leyes relativas a la transparencia de la inteligencia artificial, solo un puñado minúsculo de los estudios vinculó realmente sus métodos técnicos con requisitos legales específicos. Los investigadores señalaron que, si bien el campo está creciendo rápidamente, con casi la mitad de los estudios incluidos publicados en tan solo el último año, sigue estando fuertemente centrado en modelos de código abierto que cualquiera puede descargar, en lugar de los sistemas propietarios y cerrados que dominan el mercado.
El estudio concluye que el campo de la explicación de los modelos de lenguaje de gran tamaño se encuentra en una encrucijada. Las herramientas actualmente disponibles son potentes pero a menudo inaccesibles, y priorizan la corrección técnica sobre la utilidad humana. Los investigadores sugieren que el trabajo futuro debe centrarse en crear métodos que funcionen con el acceso limitado proporcionado por los servicios comerciales y en probar estas explicaciones con personas reales. Hasta entonces, las explicaciones más avanzadas permanecen encerradas en los laboratorios de los investigadores que tienen acceso total a las máquinas, dejando al público general sistemas que son cada vez más poderosos pero cada vez más difíciles de entender.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.