🔢 mathematics

When Are AI Explanations Recoverable? Identifiability, Stability, and Transfer from an Inverse-Problem Perspective

Este artículo establece un marco matemático para determinar la recuperabilidad de las explicaciones de la IA formulándolas como problemas inversos, derivando una tricotomía completa de condiciones de identificabilidad y estabilidad para sistemas lineales y no lineales, y proporcionando límites explícitos que distinguen la subdeterminación intrínseca de la variabilidad algorítmica.

Autores originales: Chibuike Chiedozie Ibebuchi

Publicado 2026-08-24

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Chibuike Chiedozie Ibebuchi

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial, un modelo suele ser juzgado por qué tan bien predice el futuro. Si un sistema puede pronosticar con precisión el desenlace de salud de un paciente o el precio de una acción, tendemos a confiar en su juicio. Pero la confianza en una predicción es diferente de la confianza en una explicación. Cuando un modelo toma una decisión, a menudo queremos saber por qué. ¿Se basó en un síntoma específico? ¿Pesó un factor más que otro? Estas explicaciones pretenden revelar la lógica interna de la máquina, actuando como una ventana a su razonamiento. Sin embargo, existe una realidad preocupante: dos modelos diferentes pueden realizar exactamente las mismas predicciones para cada caso individual y, aun así, ofrecer razones completamente distintas para hacerlo. Uno podría culpar a una característica específica mientras que el otro la ignora por completo, a pesar de que ambos llegan a la misma respuesta correcta. Esto crea un rompecabezas fundamental: si el comportamiento observable es idéntico, ¿podremos alguna vez estar seguros de cuál es la explicación verdadera?

Esta pregunta se sitúa en el corazón de un nuevo estudio que trata la búsqueda de explicaciones de la IA no como una cuestión de mejor software, sino como un problema de física y geometría. El investigador, Chibuike Chiedozie Ibebuchi de la Universidad Estatal de Morgan, abordó el problema planteándolo como un problema inverso. En la ciencia, un problema directo pregunta qué sucede cuando se presiona un botón; un problema inverso pregunta qué debió haber sucedido dentro de la máquina para producir el resultado que se observa. El estudio plantea si el "porqué" de una predicción puede recuperarse de forma única y estable a partir del "qué" de la predicción. La respuesta, encuentra el autor, no es un simple sí o no. En cambio, la recuperabilidad de una explicación depende enteramente de la forma matemática de los datos sobre los cuales fue entrenado el modelo. El estudio demuestra que, para algunos tipos de preguntas, la respuesta está ocima de la vista, mientras que para otras, la respuesta es matemáticamente imposible de encontrar, sin importar cuánta potencia de cómputo se aplique.

El investigador desarrolló una forma precisa de medir los límites de la explicación. Imaginó un escenario donde dos sistemas de IA son tan similares que sus predicciones difieren solo por una cantidad mínima, casi invisible. Luego se preguntó: ¿cuánto pueden diferir las explicaciones de estos dos sistemas? Si las explicaciones pueden oscilar salvajemente incluso cuando las predicciones son casi idénticas, la explicación es inestable. Si las explicaciones pueden ser completamente diferentes incluso cuando las predicciones son exactamente las mismas, la explicación es inidentificable. El estudio establece un límite claro entre estos estados. Muestra que una explicación solo es recuperable si se alinea con las direcciones en los datos que el modelo realmente puede "ver". Si la explicación depende de una dirección que el modelo no puede ver, la explicación se pierde para siempre. Si la explicación depende de una dirección que el modelo ve pero de forma tenue, la explicación existe en teoría pero es tan sensible al ruido que resulta inútil en la práctica.

En el caso específico de los modelos lineales, que son comunes en muchas aplicaciones estadísticas, el autor derivó una fórmula exacta que actúa como una regla para esta incertidumbre. Esta fórmula vincula la estabilidad de una explicación directamente con la geometría de las relaciones de los datos. Cuando las características de los datos están altamente correlacionadas, una situación conocida como colinealidad, la regla muestra que las explicaciones se vuelven cada vez más inestables. El estudio demuestra que, a medida que crece la correlación entre los puntos de datos, la incertidumbre en la explicación crece con ella, volviéndose eventualmente infinita si la correlación llega a ser perfecta. El investigador probó esta teoría con simulaciones por computadora. Creó escenarios donde las relaciones de los datos fueron ajustadas desde perfectamente claras hasta casi imposibles de distinguir. En cada caso, el comportamiento de la computadora coincidió exactamente con la predicación matemática. Cuando los datos eran bien comportados, las explicaciones eran estables. Cuando los datos eran casi idénticos en diferentes aspectos, las explicaciones divergían salvajemente, confirmando que la inestabilidad no era un error del software sino una propiedad fundamental de la información disponible.

El estudio también exploró qué sucede cuando la IA utiliza reglas no lineales más complejas para tomar decisiones. Uno podría esperar que un modelo más complejo pudiera desenredar la confusión causada por datos desordenados. Sin embargo, el investigador encontró que la complejidad no rescata una explicación perdida. Si una pieza de información falta de los datos en primer lugar, ninguna cantidad de giros no lineales puede traerla de vuelta. El estudio demuestra que si una explicación depende de una variable oculta que el modelo no puede observar, un modelo no lineal seguirá fallando en identificarla. La explicación permanece tan invisible como lo estaba en el caso lineal más simple. Este hallazgo es crucial porque desmiente la idea de que algoritmos más complejos pueden resolver problemas que están fundamentalmente subdeterminados por los datos.

Además, la investigación aborda el problema de la transferencia, preguntando si una explicación que funciona en una situación se mantendrá si los datos cambian ligeramente. El autor encontró que la estabilidad no está garantizada por pequeños cambios en los datos. Si la distribución de los datos subyacentes se desplaza incluso un mínimo, una explicación que antes era estable puede volverse repentinamente imposible de recuperar. Esto sucede cuando el desplazamiento de los datos empuja el problema hacia un límite donde se pierde la información. El estudio proporciona una condición específica, un "margen espectral", que debe mantenerse para asegurar que las explicaciones sigan siendo fiables al pasar de un conjunto de datos a otro. Sin este margen, incluso un cambio minúsculo en los datos puede destruir la capacidad de explicar el comportamiento del modelo.

El trabajo concluye redefiniendo cómo deberíamos abordar la inteligencia artificial explicable. En lugar de buscar inmediatamente el mejor algoritmo para generar una explicación, el estudio sugiere que primero debemos preguntarnos si es siquiera posible encontrar una explicación. Antes de confiar en una atribución de características o en una puntuación de sensibilidad, debemos determinar si la información requerida para generarla está realmente presente en las predicciones observables. El estudio separa la variabilidad causada por la elección del algoritmo de la incertidumbre intrínseca causada por los datos mismos. Ofrece una base matemática para saber cuándo una afirmación explicativa está respaldada por la evidencia y cuándo está fundamentalmente subdeterminada. Al definir los límites de lo que se puede conocer, la investigación proporciona una base necesaria para construir la confianza en la inteligencia artificial, asegurando que no confundamos un algoritmo estable con una verdad estable.

Resumen Técnico: ¿Cuándo son recuperables las explicaciones de la IA?

Formulación del Problema
El artículo aborda una brecha fundamental en la Inteligencia Artificial Explicable (XAI): la suposición de que la similitud predictiva implica acuerdo explicativo. El autor postula que diferentes modelos pueden producir predicciones observacionalmente indistinguibles mientras sustentan atribuciones de características, sensibilidades o clasificaciones materialmente diferentes. La pregunta central se formula como un problema inverso: dado un operador de observación $\mathcal{A}$ (que representa el comportamiento observable del modelo) y un funcional de explicación $\Psi$ (la cantidad a recuperar), ¿bajo qué condiciones es $\Psi(\theta)$ única y establemente recuperable a partir de $\mathcal{A}(\theta)$ ?

El estudio distingue entre tres fenómenos que a menudo se confunden:

No identificabilidad: La explicación varía entre sistemas con observaciones idénticas.
Mal condicionamiento: La explicación es única pero infinitamente sensible a pequeñas perturbaciones observacionales.
Recuperación estable: La explicación está determinada de forma única y varía continuamente (de forma Lipschitz-estable) con las observaciones.

Metodología
El marco define un módulo de identificabilidad específico de la explicación, $\omega_{\Psi, \mathcal{A}}(\delta)$ , que cuantifica la discrepancia máxima posible en el funcional de explicación $\Psi$ entre dos sistemas cuyas observaciones difieren en un máximo de una tolerancia $\delta$ .

El análisis procede a través de cuatro etapas teóricas:

Teoría de Espacios de Hilbert Lineales: El problema se modela utilizando operadores de observación lineales acotados $A: \mathcal{H} \to \mathcal{Y}$ y funcionales de explicación lineales $\Psi_a(\theta) = \langle a, \theta \rangle$ . El análisis se basa en la geometría del núcleo $\ker(A)$ y el rango del operador adjunto $\text{Range}(A^*)$ .
Especialización en Dimensiones Finitas: Para predictores lineales con geometría de covarianza $\Sigma$ , el módulo se deriva utilizando la pseudoinversa de Moore-Penrose $\Sigma^\dagger$ .
Extensiones No Lineales: La teoría se extiende a operadores de observación no lineales $F$ que son localmente comparables bi-Lipschitz con un operador lineal $A$ . Esto permite acotar el módulo no lineal utilizando el contraparte lineal escalado por las constantes de Lipschitz de la no linealidad.
Análisis de Perturbación: El estudio investiga cómo la recuperabilidad de la explicación se transfiere a través de cambios distributivos (de la fuente $P$ al objetivo $Q$ ) mediante el análisis de perturbaciones relativas de la matriz de covarianza.

Resultos Clave

La Tricotomía de la Recuperabilidad (Caso Lineal):
Para una dirección de explicación $a$ , se cumple exactamente uno de tres regímenes:
1. No identificable: Si $a \notin (\ker A)^\perp$ , el módulo es infinito para cualquier $\delta \geq 0$ . La explicación no puede ser recuperada.
2. Identificable pero Infinitamente Inestable: Si $a \in (\ker A)^\perp$ pero $a \notin \text{Range}(A^*)$ , el módulo es cero en $\delta=0$ pero infinito para cualquier $\delta > 0$ . La explicación es única en el límite sin ruido, pero irrecuperable bajo perturbación.
3. Lipschitz-Estable: Si $a \in \text{Range}(A^*)$ , el módulo es $\omega_a(\delta) = \delta \|y_a^\dagger\|$ , donde $y_a^\dagger$ es la solución de norma mínima para $A^*y = a$ . Esto proporciona una constante de estabilidad óptima exacta.
Fórmula de la Pseudoinversa en Dimensiones Finitas:
En dimensiones finitas, donde $\text{Range}(A^*)$ es cerrado, el régimen inestable intermedio colapsa. Si la dirección de la explicación se encuentra en el rango observable, el módulo viene dado por:
$\omega_a(\delta) = \delta \sqrt{a^\top \Sigma^\dagger a}$
Esto vincula explícitamente la recuperabilidad de la explicación con la geometría de la covarianza. La casi-colinealidad (valores propios pequeños) conduce al mal condicionamiento (módulo grande), mientras que la deficiencia de rango en la dirección de $a$ conduce a la no identificabilidad.
Límites No Lineales:
Para modelos lineales generalizados (p. ej., regresión logística) con una función de enlace $g$ que posee límites de derivada $m \leq g' \leq M$ , el módulo no lineal está acotado por el módulo lineal escalado por $1/M$ y $1/m$ . Crucialmente, la no linealidad no puede restaurar la identificabilidad perdida en el espacio nulo observacional; si una dirección es inobservable en el predictor lineal, permanece inobservable tras una transformación monótona.
Certificados de Transferencia:
El artículo establece que la estabilidad de la explicación se transfiere bajo un cambio distributivo solo si la perturbación relativa de la geometría de la covarianza está acotada lejos del colapso espectral. Específicamente, si $\|E\|_{op} \leq \rho < 1$ (donde $E$ es la perturbación relativa), el módulo del objetivo está acotado dentro de un factor de $1/\sqrt{1 \pm \rho}$ del módulo de la fuente. Por el contrario, perturbaciones absolutamente pequeñas pueden destruir la identificabilidad si el sistema de origen está cerca de un límite de deficiencia de rango.

Verificación Numérica
Cuatro experimentos controlados verifican las predicciones teóricas:

Condicionamiento Espectral: El módulo lineal exacto se reprodujo con precisión de punto flotante a través de números de condición de covarianza que variaron de $1 $a$ 10^6$.
Fallo del Espacio Nulo: Los desplazamientos a lo largo de una dirección nula resultaron en una discrepancia predictiva cero pero en una discrepancia de explicación divergente, confirmando la no identificabilidad exacta.
Límites No Lineales: Los módulos numéricos para un modelo logístico se mantuvieron estrictamente dentro de los límites teóricos de dos lados derivados del caso lineal.
Envolvente de Transferencia: Las proporciones de módulo objetivo-fuente muestreadas bajo perturbaciones aleatorias de la covarianza se mantuvieron dentro de la envolvente teórica predicha por el teorema de perturbación relativa.

Significado y Reivindicaciones
El artículo afirma proporcionar una teoría de problemas inversos cuantitativa para un funcional de explicación específico relativo a un operador de observación específico. Su contribución principal no es un nuevo algoritmo de atribución, sino un marco matemático para determinar a priori si un objetivo explicativo es recuperable a partir de la información predictiva disponible.

El autor argumenta que este marco separa la variabilidad algorítmica (diferencias que surgen de la elección del método de explicación) de la inestabilidad intrínseca y la no identificabilidad (límites fundamentales impuestos por los datos y la estructura del modelo). El trabajo postula que, antes de seleccionar o comparar algoritmos de explicación, los investigadores deben primero determinar si el objetivo explicativo es identificable y estable bajo la estructura de información dada. Si el objetivo se encuentra fuera del rango observable o en un régimen inestable, ningún algoritmo puede recuperarlo de manera confiable, independientemente de su diseño.

El estudio concluye que la fiabilidad de la explicación es una propiedad del propio problema inverso, no meramente una propiedad del algoritmo utilizado para resolverlo. Esto redefine la fiabilidad de las afirmaciones de XAI: estas solo están respaldadas cuando la cantidad explicativa es de forma estable recuperable a partir del comportamiento predictivo observable.

Resumen Técnico: ¿Cuándo son recuperables las explicaciones de la IA?

Más como este