ReasonX: Declarative Reasoning on Explanations

El artículo presenta ReasonX, una herramienta de explicación declarativa e interactiva para modelos de aprendizaje automático que utiliza un álgebra cerrada de operadores sobre restricciones lineales y programación lineal entera mixta para permitir el razonamiento a múltiples niveles de abstracción integrando conocimiento simbólico.

Lo esencial

¡Claro que sí! Imagina que la Inteligencia Artificial (IA) es como un cocinero genio que prepara platos deliciosos (predicciones), pero que nunca te dice la receta. Solo te dice: "¡Aquí tienes tu comida!". Si el plato sabe mal o no te gusta, no sabes por qué. ¿Le faltó sal? ¿Se quemó? ¿Usó un ingrediente que te da alergia?

Aquí es donde entra REASONX.

¿Qué es REASONX?

REASONX es como un traductor y detective que se sienta junto al cocinero (el modelo de IA) y te permite hacerle preguntas inteligentes para entender sus decisiones. No solo te dice "por qué", sino que te deja preguntar "¿qué pasaría si...?".

La magia de REASONX es que no solo habla en un idioma técnico (código), sino que te permite usar tu sentido común y tus reglas del mundo real para interrogar a la máquina.

La Analogía del "Juego de Preguntas y Respuestas"

Imagina que la IA es un juego de "Adivina la Regla" donde tienes que descubrir por qué el cocinero eligió un ingrediente u otro.

1. El Problema Actual: La mayoría de las herramientas actuales te dan una respuesta fija. Te dicen: "El cocinero eligió el tomate porque pesaba 100g". Pero si tú quieres saber: "¿Y si el tomate pesara 105g?", la herramienta actual se queda muda.
2. La Solución de REASONX: REASONX te da un lápiz mágico y una pizarra.
   • Puedes decir: "Cocinero, si el tomate pesa entre 100g y 110g, ¿qué pasa?".
   • Puedes poner reglas tuyas: "Oye, pero en mi casa nunca usamos tomates verdes".
   • Puedes preguntar: "¿Qué es lo mínimo que tengo que cambiar en el tomate para que cambies de opinión y me des el plato con queso en lugar de con tomate?".

¿Cómo funciona? (La Metáfora de los Bloques de Construcción)

El paper explica que REASONX usa dos capas de trabajo, como si fuera una empresa con dos departamentos:

• La Capa de Python (El Recepcionista Amable): Es la parte que tú ves. Es como un recepcionista que toma tus preguntas en lenguaje humano (o casi humano) y las escribe en una libreta. Si tú dices "Quiero saber qué pasa si mi edad es mayor a 30", el recepcionista lo anota.
• La Capa CLP (El Arquitecto Lógico): Este es el cerebro duro. Es un matemático experto en lógica que toma la libreta del recepcionista y construye un laberinto de reglas. Este arquitecto usa un sistema llamado "Programación Lógica con Restricciones".
  • Imagina que el arquitecto tiene un montón de bloques de construcción (reglas matemáticas).
  • Tú le dices: "Quiero construir un castillo donde la puerta esté abierta solo si tienes llave A O llave B".
  • El arquitecto prueba millones de combinaciones en segundos para ver qué bloques encajan perfectamente.

Las Tres Cosas Geniales que hace REASONX

1. Preguntas "¿Qué pasaría si...?" (Explicaciones Contrastivas):
   Imagina que te deniegan un préstamo bancario.

   • Herramienta normal: "Te denegamos porque tu ingreso es bajo".
   • REASONX: "Te denegamos porque tu ingreso es bajo. PERO, si tuvieras 500 euros más o si no tuvieras esa deuda de tarjeta de crédito, ¡te habríamos aprobado el préstamo!". Te da un mapa del tesoro para cambiar tu situación.

2. Preguntas con "Reglas de la Vida Real" (Conocimiento de Fondo):
   A veces, la IA no sabe cosas obvias. Por ejemplo, la IA podría sugerirte que "cambies tu fecha de nacimiento" para conseguir un préstamo (lo cual es imposible).

   • REASONX: Tú le dices: "Oye, la fecha de nacimiento no se puede cambiar". La herramienta entiende esa restricción y te da una solución realista: "Bien, entonces cambia tu ahorro en lugar de tu fecha de nacimiento".

3. Preguntas sobre "Personas Incompletas" (Instancias No Especificadas):
   A veces no quieres saber sobre una persona específica, sino sobre un grupo.

   • Ejemplo: En lugar de preguntar "¿Qué pasa con Juan (30 años)?", preguntas "¿Qué pasa con cualquier persona que tenga entre 25 y 35 años?". REASONX puede responder para todo ese grupo a la vez, dándote una regla general en lugar de un dato suelto.

¿Por qué es importante esto?

Imagina que la IA es un juez invisible. Antes, solo podíamos ver su veredicto. Con REASONX, podemos entrar al tribunal, ver sus libros de leyes (las reglas internas) y debatir con él.

• Confianza: Si entiendes por qué la IA decidió algo, confías más en ella.
• Justicia: Puedes detectar si la IA está siendo injusta (por ejemplo, si discrimina por género o raza) y pedirle que corrija sus reglas.
• Control: Te permite a ti, el humano, guiar a la máquina para que sus decisiones sean útiles y seguras para la sociedad.

En resumen

REASONX es como darle un micrófono y un tablero de control a los humanos para hablar con las "cajas negras" de la Inteligencia Artificial. Ya no tienes que adivinar qué piensa la máquina; puedes preguntarle, negociar con ella y entender sus reglas de juego, asegurando que las decisiones de la IA sean claras, justas y útiles para nosotros.

Es la diferencia entre recibir un recibo de compra y tener el libro de contabilidad completo donde puedes ver cada centavo y preguntar: "¿Por qué cobraste esto?".

Resumen técnico

Resumen Técnico: REASONX

1. El Problema

La adopción y confianza en los modelos de Aprendizaje Automático (ML) se ven obstaculizadas por su opacidad. Aunque el campo de la IA Explicable (XAI) ha avanzado, los métodos actuales presentan limitaciones críticas:

• Falta de abstracción: La mayoría de las herramientas explican solo instancias completamente especificadas (puntos fijos en el espacio de características), sin permitir razonamiento sobre instancias "subespecificadas" (donde algunos valores de características son desconocidos o están acotados por rangos).
• Interactividad limitada: Pocos métodos permiten a los usuarios definir condiciones, añadir conocimiento de fondo o realizar análisis "qué pasaría si" (what-if) de manera declarativa y recursiva.
• Integración insuficiente de conocimiento simbólico: Es difícil incorporar reglas de sentido común, leyes naturales o restricciones del dominio (conocimiento de fondo) directamente en el proceso de generación de explicaciones.
• Rigidez en la comparación de modelos: Existen pocas herramientas para contrastar explicaciones entre diferentes modelos o para el mismo modelo en diferentes momentos temporales (evolución del modelo).

2. Metodología

El artículo propone REASONX, una herramienta de explicación basada en un enfoque neuro-simbólico que combina modelos de ML (cajas negras o árboles de decisión) con lógica de programación de restricciones.

Arquitectura del Sistema:
REASONX se compone de dos capas principales:

1. Capa Python (Interfaz de Usuario): Diseñada para analistas de datos y desarrolladores. Gestiona los datos (pandas), los modelos de ML (scikit-learn) y permite definir instancias, restricciones del usuario y conocimiento de fondo. Traduce estas entradas en expresiones algebraicas.
2. Capa CLP(R) (Programación Lógica con Restricciones sobre Reales): Implementada en SWI-Prolog. Contiene un meta-interpretador que evalúa las expresiones algebraicas. Utiliza Programación Lineal Mixta Entera (MILP) para razonar sobre las restricciones.

El Lenguaje de Consulta (Álgebra de Operadores):
El núcleo de REASONX es un álgebra cerrada de operadores sobre conjuntos de restricciones lineales. Los usuarios construyen consultas (expresiones) que pueden componerse libremente. Los operadores clave incluyen:

• inst(I, DT, l, pr): Extrae las restricciones (rutas) de un árbol de decisión (DT) que predicen una clase l con confianza pr para una instancia I.
• cross(E1, ..., Ek): Calcula el producto cartesiano de las restricciones de múltiples expresiones (permitiendo comparar múltiples instancias o modelos).
• sat(E): Filtra solo las restricciones satisfactibles.
• πw(E): Proyecta las restricciones sobre un subconjunto de variables (características), eliminando las no deseadas.
• inf(E, f(w)): Minimiza una función de distancia f (como la norma L1 o L∞) entre instancias, generando explicaciones contrastivas mínimas.
• relax(E): Relaja desigualdades estrictas a no estrictas para manejar la incertidumbre en los límites de decisión.

Tipos de Explicaciones Soportadas:

• Explicaciones Factuals: Reglas que explican por qué una instancia fue clasificada de cierta manera.
• Explicaciones Contrastivas: Instancias o reglas que muestran cómo cambiar la entrada para obtener un resultado diferente.
• Instancias Subespecificadas: Permite razonar sobre conjuntos de instancias (ej. "todos los usuarios mayores de 30 años") en lugar de puntos individuales.
• Razonamiento Temporal y Multi-Modelo: Capacidad de intersectar explicaciones de diferentes modelos (ej. un modelo entrenado en 2023 vs. uno en 2024) para encontrar explicaciones estables o divergentes.

3. Contribuciones Clave

1. Álgebra de Operadores Cerrada: Introducción de un formalismo algebraico sobre restricciones lineales que permite componer consultas complejas de manera recursiva (la salida de una consulta puede ser la entrada de otra).
2. Herramienta REASONX: Desarrollo de una implementación funcional que integra Python para la usabilidad y CLP(R) para el poder de razonamiento lógico.
3. Razonamiento sobre Instancias Subespecificadas: Capacidad única para generar explicaciones para conjuntos de datos definidos por restricciones parciales, no solo para puntos fijos.
4. Integración de Conocimiento de Fondo: Los usuarios pueden codificar restricciones de viabilidad (ej. "la edad no puede disminuir", "el salario no puede ser negativo") directamente en las consultas para generar explicaciones accionables y realistas.
5. Comparación de Modelos y Evolución Temporal: Metodología para contrastar explicaciones entre diferentes modelos o versiones temporales de un mismo modelo, identificando qué explicaciones son robustas y cuáles son inestables.

4. Resultados y Evaluación

Los autores evaluaron REASONX mediante demostraciones cualitativas y experimentos cuantitativos comparándola con herramientas como DiCE (para ejemplos contrastivos) y ANCHORS (para reglas factuales).

• Calidad de las Explicaciones:
  • REASONX genera explicaciones contrastivas con distancias menores (más cercanas a la instancia original) que DiCE en la mayoría de los casos, especialmente cuando se imponen restricciones de inmutabilidad.
  • Las reglas factuales generadas son más compactas y precisas que las de ANCHORS en ciertos escenarios, aunque REASONX es computacionalmente más costosa.
• Optimización de Diversidad: Se demostró que REASONX puede seleccionar un subconjunto diverso de explicaciones contrastivas optimizando una función que equilibra la proximidad a la instancia original y la diversidad interna del conjunto, evitando soluciones redundantes.
• Detección de Sesgos: El sistema fue capaz de identificar atributos sensibles (como raza o sexo) en las reglas contrastivas de modelos complejos (como XGBoost), algo que no se detectaba en el modelo de árbol de decisión original, revelando sesgos ocultos.
• Rendimiento (Runtime): REASONX tiene tiempos de ejecución superiores a DiCE y ANCHORS debido a la complejidad del razonamiento simbólico y la comunicación entre Python y Prolog. Sin embargo, los tiempos son manejables para el análisis offline y la interactividad es posible mediante la reutilización de restricciones.
• Casos de Uso: Se demostró en conjuntos de datos reales (Ingresos Adultos, Crédito Alemán, Tarjetas de Crédito) y sintéticos, mostrando su capacidad para manejar tanto modelos nativos (DT) como sustitutos globales/locales de cajas negras.

5. Significado e Impacto

REASONX representa un avance significativo en el campo de la XAI al pasar de explicaciones descriptivas estáticas a un marco de razonamiento declarativo e interactivo.

• Cambio de Paradigma: Transforma la explicación de un producto final (una regla o un ejemplo) a un proceso de consulta donde el usuario puede refinar, intersectar y explorar el espacio de soluciones.
• Neuro-simbólico Práctico: Ofrece un enfoque pragmático de IA neuro-simbólica donde la parte "neural" (o caja negra) se aproxima mediante árboles de decisión, y la parte "simbólica" (CLP) realiza el razonamiento lógico riguroso.
• Aplicabilidad en Dominios Críticos: Su capacidad para integrar restricciones del mundo real y razonar sobre la estabilidad de las explicaciones a lo largo del tiempo la hace especialmente valiosa en sectores regulados como las finanzas (crédito) y la salud, donde la equidad, la accionabilidad y la consistencia son vitales.
• Futuro: El artículo sugiere la integración con Modelos de Lenguaje (LLMs) para traducir consultas en lenguaje natural a este álgebra formal, cerrando la brecha entre la intuición humana y el razonamiento formal.

En conclusión, REASONX no es solo una herramienta de explicación, sino un entorno de razonamiento que empodera a los usuarios para investigar, validar y comprender la lógica de los modelos de ML de manera profunda, interactiva y rigurosa.