Resumen Técnico: La investigación en explicabilidad debe priorizar los fundamentos sobre los métodos ad-hoc

Declaración del problema

A pesar de la proliferación de técnicas de IA explicable (XAI) —que van desde las atribuciones de características y los contrafácticos hasta los autoencoders dispersos y la interpretabilidad mecánica—, estos métodos rara vez influyen en los flujos de trabajo del mundo real. En la práctica, las explicaciones se generan y se descartan frecuentemente sin guiar una acción significativa. Los autores argumentan que esta brecha no es simplemente una falta de mejores herramientas, sino un reflejo de deficiencias fundacionales en el campo de investigación. Específicamente, la comunidad ha invertido el orden natural de la investigación: priorizando el desarrollo de métodos ad-hoc antes de establecer formulaciones de problemas claras, afirmaciones falsables, criterios de evaluación con principios vinculados a las necesidades de las partes interesadas y procesos interactivos prácticos. En consecuencia, las explicaciones suelen permanecer desconectadas de la utilidad en el mundo real, fallando al integrarse en sistemas de extremo a extremo con intervención humana (human-in-the-loop).

Metodología

Para diagnosticar el estado de la investigación en XAI y validar la afirmación de que los problemas fundacionales son el principal cuello de botella, los autores emplearon un enfoque empírico de dos vertientes:

1. Estudio bibliográfico impulsado por LLM: Los autores analizaron 617 artículos publicados en NeurIPS, ICML e ICLR entre 2023 y 2024. Utilizando un LLM (Gemini 2.5 Flash), extrajeron afirmaciones binarias sobre los objetivos, métodos y contribuciones de los artículos. El estudio se centró en tendencias estadísticas en lugar de mérito científico, verificando si los artículos afirmaban proponer métodos novedosos, proporcionar definiciones formales, realizar estudios humanos o evaluar la fidelidad (faithfulness). La precisión del LLM fue validada contra la anotación manual humana, arrojando una tasa de concordancia del 88%.
2. Encuesta a profesionales: Se realizó una encuesta a 34 investigadores y profesionales con experiencia directa en métodos de XAI. Los participantes describieron proyectos recientes que involucran explicabilidad, detallando sus objetivos, audiencias previstas, criterios de selección de métodos, prácticas de evaluación y desafíos de implementación. La encuesta buscaba descubrir los cuellos de botella prácticos y la desconexión entre los resultados académicos y el despliegue industrial.

Contribuciones clave

1. Identificación de cuatro desafíos fundacionales interdependientes

El artículo describe cuatro desafíos centrales que deben abordarse para desplazar la XAI hacia un paradigma centrado en el humano y orientado a la acción (ilustrado en la Figura 1):

• Definiciones: No existe un consenso sobre qué constituye una explicación. El campo carece de definiciones rigurosas fundamentadas en casos de uso específicos (por ejemplo, depuración frente a auditoría). Además, tipos específicos de explicaciones (por ejemplo, atribución de características, conceptos) y los parámetros libres dentro de ellas (por ejemplo, el tamaño del vecindario en LIME, la dispersión en los SAE) a menudo carecen de claridad semántica.
• Propiedades: Aunque la fidelidad (consistencia con el comportamiento del modelo) se cita a menudo como una propiedad necesaria, rara vez es suficiente. Las explicaciones deben satisfacer propiedades adicionales dependientes del uso, como la completitud, la robustez o la capacidad de acción (actionability). Actualmente, estas propiedades se discuten de forma aislada sin definiciones operativas o pruebas claras, lo que conduce a conclusiones contradictorias sobre la fiabilidad de los métodos.
• Evaluaciones: La evaluación está fragmentada y a menudo desconectada de la utilidad. El campo depende en gran medida de métricas "funcionalmente fundamentadas" (por ejemplo, dispersión, estabilidad) que son matemáticamente precisas pero prácticamente insignificantes si no se correlacionan con el rendimiento de la tarea posterior. Las evaluaciones con humanos en el bucle son raras en las conferencias de ML y, cuando se realizan, suelen medir la satisfacción del usuario en lugar de la mejora de la tarea.
• Aplicaciones: Las explicaciones frecuentemente fallan al transicionar de la inspección pasiva a la intervención activa. Existe una falta de canales formales que mapeen la retroalimentación de las partes interesadas hacia actualizaciones de modelos o restricciones válidas. Sin modelar quién puede actuar, qué puede modificarse y cómo se propaga la retroalimentación, las explicaciones no pueden apoyar sistemas de IA iterativos basados en la retroalimentación.

2. Evidencia empírica de la brecha

Los autores proporcionan datos que demuestran que el campo está impulsado por el desarrollo de métodos más que por el rigor fundacional:

• Centrado en el método: El 77% de los artículos encuestados propusieron métodos novedosos, mientras que solo el 11% proporcionó definiciones formales de los objetivos de explicabilidad.
• Déficit de evaluación: Solo el 11% de los artículos incluyeron estudios de usuario. Aunque el 56% afirmó realizar evaluaciones de fidelidad, estas fueron a menudo limitadas a pruebas específicas y no exhaustivas.
• Realidad del profesional: En la encuesta a profesionales, el 44.1% de los encuestados informó no saber cómo verificar la calidad de la explicación, y el 38.2% tuvo dificultades para integrar las explicaciones en sus flujos de trabajo. La selección de métodos fue impulsada principalmente por la facilidad de implementación (52.9%) y la popularidad (47.1%), en lugar de un respaldo de investigación riguroso (29.4%).

3. Una lista de verificación práctica para la investigación futura

El artículo propone una lista de verificación de cinco puntos (Figura 2) para guiar la investigación futura en XAI, instando a los autores a:

1. Proporcionar Definiciones Claras de su subobjetivo fundamentadas en el uso previsto.
2. Realizar Afirmaciones Falsables con experimentos capaces de refutar la hipótesis principal.
3. Evaluar la Fidelidad utilizando pruebas alineadas con el objetivo establecido, no solo visualización.
4. Demostrar la Aplicabilidad Práctica con casos de uso reales concretos.
5. Realizar una Evaluación de Humano-en-el-Bucle Específica de la Tarea o evaluaciones validadas basadas en la tarea.

Resultados

La síntesis de la literatura y las encuestas a profesionales revela una desalineación sistémica:

• Investigación vs. Práctica: La academia prioriza el desarrollo de métodos novedosos y aspectos teóricos, mientras que los profesionales enfrentan una falta de guía sobre la selección de métodos, el ajuste de parámetros y la evaluación de la calidad.
• La trampa de lo "ad-hoc": La dependencia de métodos ad-hoc sin un consenso fundacional conduce a un panorama fragmentado donde el progreso no puede construirse de manera acumulativa. La falta de señales empíricas claras de progreso en XAI (a diferencia de las ganancias claras en el rendimiento predictivo en el aprendizaje profundo) sugiere que continuar desarrollando métodos sin fundamentos agrava la confusión.
• Brecha centrada en el humano: A pesar de los llamados de la comunidad de XAI centrada en el humano, la literatura de ML suele dejar las consideraciones humanas subespecificadas. Las explicaciones se tratan como salidas independientes en lugar de componentes de un bucle de retroalimentación, lo que limita su capacidad para moldear decisiones o actualizaciones de modelos.

Significancia y Reivindicaciones

El artículo argumenta que la comunidad de aprendizaje automático debe pivotar de los métodos de XAI ad-hoc hacia el abordaje de los desafíos fundacionales y estructurales. No pide una pausa en el desarrollo de métodos, sino que afirma que el desarrollo de métodos ha superado a los fundamentos necesarios para integrar estas herramientas en flujos de trabajo fiables.

Los autores afirman que, al priorizar la claridad fundacional —específicamente en definiciones, propiedades, evaluaciones y aplicaciones—, el campo puede ir más allá de los estudios de caso anecdóticos hacia un progreso acumulativo. Postulan que, sin este cambio, las explicaciones permanecerán desconectadas de la utilidad en el mundo real, fallando en el apoyo a la construcción de sistemas de IA fiables, dignos de confianza y accionables. El artículo sirve como una hoja de ruta para repriorizar los objetivos de investigación, asegurando que las explicaciones no sean solo científicamente interesantes, sino fundamentalmente útiles para las partes interesadas que interactúan con ellas.