Extended Empirical Validation of the Explainability Solution Space

Este informe técnico valida la generalidad del Espacio de Soluciones Explicables (ESS) mediante una evaluación transversal que incluye un sistema de asignación de recursos urbanos, demostrando que sus clasificaciones se adaptan sistemáticamente a diferentes roles de gobernanza y perfiles de riesgo más allá del dominio específico de la predicción de rotación de empleados.

Lo esencial

¡Claro que sí! Imagina que este informe técnico es como el manual de instrucciones para un "detective de fraude" muy inteligente, pero un poco misterioso, que trabaja en un banco europeo.

Aquí tienes la explicación en español, usando analogías sencillas:

🕵️‍♂️ El Problema: El Detective Invisible

Imagina que un banco tiene un superdetective (un algoritmo de Inteligencia Artificial llamado XGBoost) que revisa millones de tarjetas de crédito cada día. Su trabajo es decirte en menos de un segundo (200 milisegundos) si una compra es real o un fraude.

El problema es que este detective es un "caja negra". Sabe cuándo detener una compra, pero si le preguntas "¿por qué?", no te da una respuesta fácil.

• El Regulador (El Juez): Dice: "¡Necesito saber por qué detuviste esa compra! Si no me das una razón clara y escrita, te multaré".
• El Cliente (El Dueño de la Tarjeta): Dice: "¡Oye, esa compra era mía! ¿Por qué me la bloqueaste? Necesito una explicación que entienda mi abuela".
• El Programador (El Mecánico): Dice: "Si el detective empieza a fallar, necesito herramientas para ver qué le pasa por dentro y arreglarlo".

🧭 La Solución: El "Espacio de Soluciones" (ESS)

Los autores de este informe crearon un mapa o brújula llamado ESS (Espacio de Soluciones Explicables). Imagina que es una mesa con tres patas:

1. Pata de Cumplimiento (C): ¿Sirve para el Juez? (¿Es legal y auditable?)
2. Pata de Usuario (U): ¿Sirve para el Cliente? (¿Es fácil de entender?)
3. Pata de Desarrollador (D): ¿Sirve para el Mecánico? (¿Ayuda a arreglar el sistema?)

El objetivo es encontrar la mejor herramienta de explicación que equilibre estas tres patas sin que la mesa se caiga.

🛠️ Las Herramientas del Detective

Probaron 5 tipos de "lentes" o herramientas para hacer visible al detective:

1. SHAP (El Analista Riguroso): Es como un contador forense. Te dice exactamente cuánto contribuyó cada factor (precio, lugar, hora) a la decisión. Es muy preciso y legal, pero a veces un poco técnico para el cliente común.
2. LIME (El Traductor Rápido): Es como un periodista que hace un resumen rápido. Toma una decisión compleja y te la explica con palabras sencillas, pero a veces puede ser un poco impreciso.
3. Explicaciones Contrafactuales (El "Qué pasaría si..."): Es como un abogado que te da un plan de acción. Te dice: "Si hubieras gastado 10 euros menos o comprado en otro país, no te habríamos bloqueado". ¡Es la mejor para que el cliente sepa cómo evitar problemas!
4. Extracción de Reglas (El Libro de Normas): Es como un manual de instrucciones gigante. Crea una lista de reglas tipo "SI pasa X, ENTONCES es fraude". Es perfecto para los jueces, pero muy lento de calcular en tiempo real.
5. Prototipos (El Ejemplo Visual): Es como decir: "Esta compra es sospechosa porque se parece mucho a 5 fraudes que vimos la semana pasada". Muy intuitivo, pero no ayuda mucho a los jueces.

🏆 El Veredicto: La Estrategia Híbrida (La Mezcla Perfecta)

El informe concluye que no existe una herramienta mágica que haga todo perfecto. La solución ganadora es una estrategia de tres niveles, como un restaurante que ofrece diferentes menús según el momento:

• Nivel 1 (Siempre encendido - El Trabajo Rápido):
  Usan SHAP para todas las transacciones. Es rápido, legal y preciso. Es el "pan de cada día" que cumple con las leyes y ayuda a los programadores a vigilar el sistema.

  • Analogía: Es el guardia de seguridad que revisa tu ID al entrar al banco. Rápido y estricto.

• Nivel 2 (Solo si hay problema - El Abogado):
  Si el cliente se queja o el analista duda, usan las Explicaciones Contrafactuales. Aquí es donde le dicen al cliente exactamente qué cambiar para que la compra pase.

  • Analogía: Es el gerente del banco que te explica: "Si hubieras hecho esto, no habría pasado nada".

• Nivel 3 (Una vez a la semana - El Auditor):
  Usan la Extracción de Reglas fuera de línea (cuando no hay prisa). Generan un informe gigante para los reguladores que explica cómo piensa el sistema en general.

  • Analogía: Es el informe anual que se envía al gobierno para demostrar que el banco es honesto.

💡 ¿Por qué es importante esto?

Antes, los bancos tenían que elegir entre "ser rápidos" o "ser transparentes". Este informe demuestra que, usando el mapa ESS, puedes tener ambos: un sistema rápido que cumple la ley, que entiende al cliente y que los programadores pueden arreglar.

Es como si hubieran diseñado un coche de carreras que, además de ir muy rápido, tiene un tablero de control que el conductor entiende, un manual para el mecánico y un certificado de seguridad para el gobierno, todo al mismo tiempo.

En resumen: No busques una sola respuesta mágica. La clave es usar la herramienta correcta para el momento correcto. ¡Y eso es lo que este informe nos enseña!

Resumen técnico

A continuación presento un resumen técnico detallado del informe en español, estructurado según los puntos solicitados:

Resumen Técnico: Validación Empírica Extendida del Espacio de Soluciones de Explicabilidad (ESS) en un Sistema de Detección de Fraude Bancario

1. Problema y Contexto

El informe aborda el desafío crítico de implementar sistemas de Inteligencia Artificial Explicable (XAI) en entornos de detección de fraude bancario en tiempo real. A diferencia del estudio de caso anterior sobre abandono de empleados (presentado en el artículo complementario), este dominio presenta restricciones operativas y regulatorias mucho más estrictas:

• Restricciones de Latencia: Las decisiones deben tomarse en menos de 200 ms (incluyendo ingeniería de características, inferencia y generación de explicaciones).
• Desbalance de Clases: Los datos son altamente desbalanceados (aprox. 0.08% de fraude).
• Contexto Regulatorio: El sistema opera bajo condiciones de "sustitución" (la IA toma decisiones autónomas de bloqueo), lo que exige cumplimiento estricto con la PSD2, el Artículo 22 del GDPR (derecho a explicación) y las directrices de la EBA (Autoridad Bancaria Europea).
• Multiplicidad de Stakeholders: Se deben satisfacer necesidades contradictorias de tres grupos:
  1. Oficiales de cumplimiento: Requieren trazabilidad y auditoría inmutable.
  2. Analistas y atención al cliente: Necesitan explicaciones accionables y comprensibles para resolver disputas.
  3. Ingenieros de ML: Requieren herramientas de depuración y monitoreo de deriva de características.

2. Metodología

El estudio aplica el marco Espacio de Soluciones de Explicabilidad (ESS) para evaluar y seleccionar técnicas de XAI. La metodología sigue estos pasos:

• Selección de Técnicas: Se evaluaron cinco familias representativas de XAI aplicables a datos tabulares:
  1. Atribución de características (SHAP - TreeExplainer).
  2. Surrogados locales (LIME).
  3. Explicaciones contrafactuales (CF).
  4. Extracción de reglas (RULE).
  5. Prototipos y ejemplos (PROTO).
• Vector de Propiedades Intrínsecas: Cada técnica se puntuó (escala 1-5) en siete dimensiones: Auditabilidad, Trazabilidad, Comprensibilidad, Accionabilidad, Fidelidad, Depurabilidad y Eficiencia.
• Agregación Ponderada por Stakeholders: Se calcularon puntuaciones en tres ejes principales:
  • Cumplimiento (C): Basado en auditabilidad y trazabilidad.
  • Usuario (U): Basado en comprensibilidad y accionabilidad.
  • Desarrollador (D): Basado en fidelidad, depurabilidad y eficiencia.
• Ajuste Contextual: Se aplicaron multiplicadores específicos para el escenario de "sustitución" (decisión autónoma): $\gamma_C = 1.15$, $\gamma_U = 1.10$, $\gamma_D = 1.00$. Esto amplifica la importancia del cumplimiento y la experiencia del usuario.
• Selección Multiobjetivo: Se optimizó la utilidad combinada ($U_t$) frente al costo de recursos ($R_t$, inverso de la eficiencia), considerando la restricción de latencia de 200 ms.

3. Contribuciones Clave

• Validación de Generalización: Demuestra que el marco ESS no es específico de un dominio (como RRHH), sino que es robusto y aplicable a entornos financieros de alta frecuencia y alta regulación.
• Estrategia Híbrida Jerárquica: Propone una arquitectura de explicabilidad en tres niveles, en lugar de una solución única, optimizando el equilibrio entre rendimiento, costo y cumplimiento.
• Operacionalización de Restricciones de Tiempo: Integra la latencia como un factor de viabilidad crítica, descartando técnicas teóricamente útiles pero computacionalmente inviables en tiempo real.
• Análisis de Compensaciones (Trade-offs): Cuantifica cómo las técnicas de XAI compiten entre sí en los ejes de Cumplimiento, Usuario y Desarrollador, demostrando que ninguna técnica domina en todas las dimensiones simultáneamente.

4. Resultados Principales

El análisis de los datos y la optimización multiobjetivo arrojaron los siguientes hallazgos:

• SHAP (TreeExplainer): Es la técnica dominante para el flujo de trabajo en tiempo real (Tier 1).
  • Razón: Ofrece el mejor equilibrio entre cumplimiento (alta auditabilidad), fidelidad para desarrolladores y eficiencia computacional (<50 ms).
  • Puntuación ajustada: Alta en Cumplimiento (3.91) y Desarrollador (4.70).
• Explicaciones Contrafactuales (CF): Ideales para el flujo de disputas y revisión (Tier 2).
  • Razón: Maximizan la accionabilidad para el usuario (puntuación U = 5.00), permitiendo decir "si el monto fuera menor a X, no se habría bloqueado".
  • Limitación: Mayor costo computacional (~100 ms), por lo que se activa solo selectivamente (2-5% de los casos bloqueados).
• Extracción de Reglas (Rule Extraction): Reservada para auditoría periódica (Tier 3).
  • Razón: Ofrece el máximo valor de cumplimiento global (C = 5.00) mediante reglas "si-entonces" comprensibles, pero es inviable en tiempo real (requiere procesamiento offline).
• LIME y Prototipos: Se consideran alternativas secundarias. LIME es una opción más ligera que los contrafactuales, mientras que los prototipos ofrecen intuición pero bajo valor de cumplimiento.

Recomendación Final (Estrategia Híbrida):

1. Tier 1 (Siempre activo): SHAP para todas las transacciones (cumplimiento y depuración).
2. Tier 2 (Selectivo): Contrafactuales solo para transacciones bloqueadas que entran en disputa o revisión humana (máxima utilidad para el usuario).
3. Tier 3 (Periódico): Extracción de reglas para informes regulatorios y gobernanza interna.

5. Significado e Impacto

Este informe es significativo porque:

• Cierra la brecha entre teoría y práctica: Proporciona un marco cuantitativo para tomar decisiones de ingeniería de XAI en sistemas críticos, evitando la selección arbitraria de algoritmos.
• Valida la necesidad de soluciones híbridas: Confirma que en sistemas de "sustitución" (donde la IA decide sin intervención humana previa), no existe una "bala de plata". La gobernanza efectiva requiere una combinación de técnicas adaptadas a diferentes momentos del ciclo de vida (tiempo real vs. auditoría).
• Alineación Regulatoria: Ofrece una hoja de ruta técnica para cumplir con el GDPR y PSD2, demostrando cómo generar trazas de auditoría (SHAP) y derechos de recurso (Contrafactuales) dentro de los límites operativos de un banco.
• Identificación de Futuras Direcciones: Señala limitaciones actuales del marco ESS, como la necesidad de modelar la no estacionariedad adversaria (los fraudes cambian con el tiempo) y la heterogeneidad dentro del eje "Usuario" (analistas expertos vs. agentes de servicio al cliente).

En conclusión, el informe establece que el marco ESS es una herramienta viable y necesaria para la adopción de IA explicable en la banca, logrando un equilibrio óptimo entre rigor analítico, viabilidad operativa y cumplimiento normativo.