Evaluation Cards for XAI Metrics

Resumen Técnico: Tarjetas de Evaluación para Métricas de XAI

Enunciado del Problema
El campo de la evaluación de la IA Explicable (XAI) está actualmente fragmentado y carece de estandarización. A pesar de un creciente cuerpo de literatura que intenta sistematizar las métricas de evaluación de XAI, persisten tres problemas principales:

1. Inconsistencia Terminológica: Se utilizan nombres de métricas idénticos para definiciones operativas diferentes, mientras que las mismas propiedades subyacentes se etiquetan de manera distinta entre los grupos de investigación.
2. Omisión Contextual: Las métricas se presentan frecuentemente sin declarar las propiedades específicas que abordan, el nivel de fundamentación (fundamentado funcionalmente, en humanos o en aplicaciones) o el contexto de evaluación (arquitectura del modelo, modalidad de datos). Esto conduce a resultados reportados sin la información necesaria para la reproducibilidad o la comparación significativa.
3. Brechas de Validación e Implementación: Muchas métricas propuestas permanecen como definiciones teóricas sin código adjunto. Además, la evidencia de validación (como análisis de sensibilidad o estabilidad) rara vez se proporciona, y los riesgos de "jugar" con la métrica (alcanzar puntuaciones altas sin mejorar la propiedad objetivo) rara vez se reconocen.

Estos problemas resultan en un campo donde las prácticas de evaluación están sesgadas hacia tareas proxy fundamentadas funcionalmente, mientras que los métodos fundamentados en humanos y en aplicaciones permanecen subrepresentados. La falta de informes estructurados impide el metaanálisis y oscurece la validez de las afirmaciones sobre la calidad de las explicaciones.

Metodología
Este artículo emplea un enfoque de revisión meta, analizando once encuestas sobre métricas de evaluación de XAI publicadas entre 2021 y 2025. Los autores sintetizan las brechas recurrentes identificadas en estas encuestas para caracterizar el estado actual del campo. En lugar de proponer una nueva métrica de evaluación o una nueva taxonomía, los autores proponen un marco de documentación.

La metodología central es el diseño de la Tarjeta de Evaluación de XAI, una plantilla de documentación estructurada análoga a las Tarjetas de Modelo y las Hojas de Datos para Conjuntos de Datos. La tarjeta está diseñada para acompañar cualquier estudio que introduzca una nueva métrica de evaluación de XAI, obligando a los autores a declarar explícitamente información crítica que actualmente se omite con frecuencia.

Contribuciones Clave
La contribución principal es la Tarjeta de Evaluación de XAI, una plantilla de cuatro secciones diseñada para estandarizar el informe de las métricas de evaluación de XAI:

1. Identidad: Requiere el nombre de la métrica, una lista de todas las propiedades de explicabilidad que operacionaliza (con referencias a las definiciones) y una declaración de su nivel de fundamentación (fundamentado funcionalmente, en humanos o en aplicaciones).
2. Alcance y Contexto: Exige una descripción del contexto de evaluación (arquitectura del modelo, modalidad de datos, alcance local frente a global) y una enumeración explícita de todas las suposiciones de la métrica (por ejemplo, independencia de características, linealidad, disponibilidad de líneas base).
3. Implementación y Validación: Requiere que los autores indiquen la disponibilidad de la implementación (con enlaces), resuman la evidencia de validación (sensibilidad, estabilidad, correlación), describan los riesgos de "jugar" con la métrica y documenten los casos de fallo conocidos.
4. Relaciones y Limitaciones: Pide a los autores que enumeren las relaciones con otras métricas que abordan la misma propiedad, señalen acuerdos o desacuerdos, prioricen propiedades para escenarios de implementación específicos en caso de conflicto y declaren explícitamente las limitaciones y los contextos en los que no se debe utilizar la métrica.

El artículo también esboza una estrategia de adopción, sugiriendo la integración con listas de verificación de reproducibilidad existentes en eventos importantes, el uso de plantillas ligeras (Markdown, LaTeX, JSON) y la redacción asistida por LLM para reducir los costos de autoría.

Resultados
Como artículo de propuesta, este trabajo no presenta resultados experimentales ni validación empírica de una nueva métrica. En cambio, los "resultados" son la identificación de modos de fallo específicos y recurrentes en la literatura que la Tarjeta de Evaluación está diseñada para abordar:

• La confluencia de propiedades y métricas.
• El informe de puntuaciones de métricas de forma aislada sin contexto.
• La falta de análisis de sensibilidad y estabilidad en las propuestas originales.
• La inconsistencia en el informe de la disponibilidad de la implementación.
• El fracaso en reconocer desacuerdos entre métricas o riesgos de "jugar" con ellas.

El artículo argumenta que la plantilla operacionaliza directamente soluciones a estos cinco problemas identificados.

Significado y Afirmaciones
El artículo afirma que la Tarjeta de Evaluación de XAI aborda un problema central y poco atendido: la falta de transparencia en el informe de evaluación. Al adoptar esta plantilla como norma comunitaria, los autores argumentan que el campo puede lograr:

• Reducción de la Fragmentación: Estandarizar la documentación para hacer comparables las métricas.
• Mejora de la Responsabilidad: Hacer explícitas las suposiciones, limitaciones y condiciones de validez de las afirmaciones de evaluación.
• Metaanálisis Mejorado: Crear registros estructurados y legibles por máquina que permitan la agregación y comparación de resultados de evaluación entre estudios.
• Validez Contextual: Asegurar que los valores de las métricas nunca se reporten de forma aislada, sino siempre acompañados del contexto necesario para su interpretación.

Los autores enfatizan que la tarjeta no es prescriptiva; no impone métricas específicas ni niveles de fundamentación, sino que requiere la declaración explícita de las decisiones que los autores hayan tomado. El objetivo último es desplazar las normas de evaluación hacia un mayor rigor y reproducibilidad sin imponer un único paradigma de evaluación.