🤖 AI

CoAX: Cognitive-Oriented Attribution eXplanation User Model of Human Understanding of AI Explanations

Este artículo presenta el modelo de usuario CoAX, que emplea modelado cognitivo para analizar y simular estrategias de razonamiento humano al interpretar explicaciones de IA para datos tabulares, ofreciendo así un método escalable para diagnosticar por qué los métodos actuales de XAI a menudo no mejoran la comprensión del usuario y para guiar el desarrollo de explicaciones más efectivas.

Autores originales: Louth Bin Rawshan, Zhuoyu Wang, Brian Y. Lim

Publicado 2026-05-01

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Louth Bin Rawshan, Zhuoyu Wang, Brian Y. Lim

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un amigo robot muy inteligente, pero misterioso, que toma decisiones por ti, como decirte si un vino es "bueno" o "malo", o si una solicitud de préstamo debe ser aprobada. Quieres confiar en este robot, así que te entrega una pequeña nota explicando por qué tomó esa decisión. Esto se llama IA Explicable (XAI).

Pero aquí está el problema: incluso con la nota, las personas a menudo siguen confundidas o hacen suposiciones incorrectas sobre lo que hará el robot a continuación. Es como si el robot hablara un idioma que no terminas de entender, aunque las palabras estén ahí mismo.

Este artículo, titulado CoAX, es como un "traductor" y un "depurador" para la forma en que los humanos piensan cuando intentan entender estas notas del robot. Los investigadores construyeron un humano virtual (un programa informático que actúa como una persona) para determinar exactamente cómo nuestros cerebros procesan estas explicaciones y por qué a veces nos equivocamos.

Aquí está la historia de su descubrimiento, desglosada de forma sencilla:

1. El Problema: La "Caja Negra" y el Usuario Confundido

Los investigadores notaron que, aunque los científicos han inventado muchas formas de explicar las decisiones de la IA, las personas reales aún luchan por utilizarlas. Algunas explicaciones hacen que las personas sean peores al predecir lo que hará la IA. Los autores preguntaron: "¿Por qué? ¿Qué está sucediendo dentro del cerebro humano cuando miran estos gráficos y números?"

2. La Solución: Construir un "Humano Virtual" (CoAX)

En lugar de solo adivinar, los investigadores construyeron CoAX (Explicación de Atribución Orientada Cognitivamente). Piensa en CoAX como un personaje de videojuego programado para pensar exactamente como un ser humano real.

Cómo funciona: Los investigadores primero observaron a personas reales (en un "estudio formativo") y les pidieron que "pensaran en voz alta" mientras miraban explicaciones de IA. Notaron que las personas usaban trucos mentales específicos, o "estrategias", para dar sentido a los datos.
Las Estrategias:
- La Estrategia "Ignora el Resto": Algunas personas simplemente eligen una o dos características que creen que importan (como "contenido de alcohol") e ignoran todo lo demás.
- La Estrategia "Subrayador": Cuando se les presenta un gráfico que muestra qué características son "importantes", las personas se concentran solo en las barras más grandes e intentan recordar casos pasados similares.
- La Estrategia "Suma Matemática": Cuando se les da un desglose detallado (puntuaciones positivas y negativas), las personas intentan sumar los números mentalmente para ver qué lado gana.
El Modelo: CoAX toma estas estrategias y las convierte en matemáticas. Simula a un humano que tiene una memoria limitada (olvida ejemplos antiguos) y una atención limitada (solo puede mirar unas pocas cosas a la vez).

3. El Experimento: Probando al Humano Virtual

Los investigadores luego realizaron un experimento masivo con más de 300 personas reales. Pidieron a estas personas que adivinaran qué predeciría una IA para diferentes escenarios (como la calidad del vino o los niveles de ingresos) bajo tres condiciones:

Sin Ayuda: Solo los datos.
Ayuda Simple: Una lista de características "importantes".
Ayuda Detallada: Una lista de características con puntuaciones positivas y negativas (Atribución).

Compararon las respuestas de los humanos reales con las respuestas del Humano Virtual.

El Gran Descubrimiento:
El Humano Virtual (CoAX) fue mucho mejor al predecir lo que harían las personas reales que los programas informáticos estándar (como los modelos típicos de Aprendizaje Automático).

Los modelos informáticos estándar solo buscan patrones en los datos.
CoAX busca patrones de razonamiento. Se dio cuenta de que los humanos no solo están calculando; están usando atajos mentales, confundidos por demasiada información, o malinterpretando la "importancia" de una característica.

4. Lo Que Descubrieron Sobre el Pensamiento Humano

Usando su Humano Virtual, descubrieron algunas cosas interesantes sobre cómo fallamos al entender la IA:

La "Suma Matemática" es la Mejor: Cuando las personas recibieron explicaciones detalladas de "Atribución" (mostrando exactamente cuánto empujó cada factor la decisión hacia arriba o hacia abajo), tendieron a usar una estrategia de "suma". Esto funcionó mejor. Es como sumar los pros y los contras en un papel.
La "Lista Simple" es Engañosa: Cuando las personas recibieron una lista simple de características "importantes" (sin mostrar si eran buenas o malas), se confundieron. Algunas intentaron adivinar la dirección de la influencia, y otras simplemente ignoraron la lista por completo y volvieron a sus viejos hábitos.
La Confusión Lleva a Ignorar: Si una explicación era demasiado confusa, las personas simplemente la tiraban y adivinaban basándose en lo que recordaban del pasado, ignorando efectivamente la ayuda de la IA.

5. Por Qué Esto Importa (El "Laboratorio Virtual")

La parte más genial de este artículo es que, una vez que construyeron este Humano Virtual, pudieron usarlo como un laboratorio de simulación.

En lugar de contratar a 300 personas, pagarles y ejecutar semanas de experimentos para probar una nueva idea, los investigadores ahora pueden simplemente "preguntar" al Humano Virtual.

Ejemplo: "¿Qué pasa si mostramos 9 características en lugar de 5?" El Humano Virtual puede simular esto instantáneamente y decirte: "Oh, las personas se sentirán abrumadas y su precisión disminuirá".
Esto permite a los diseñadores depurar las explicaciones de la IA antes de mostrarlas nunca a una persona real. Pueden arreglar las partes confusas en el modelo informático primero.

La Conclusión

El artículo argumenta que para mejorar las explicaciones de la IA, debemos dejar de tratar a los humanos como procesadores de datos simples. Necesitamos entender que los humanos tienen memoria limitada, atención selectiva y hábitos mentales específicos.

Al construir un Humano Virtual que imita estos hábitos, podemos descubrir por qué las explicaciones actuales de la IA fallan y diseñar mejores que realmente ayuden a las personas a entender la mente del robot, en lugar de simplemente confundirla aún más. Es como sintonizar una radio a la frecuencia correcta para que el cerebro humano finalmente pueda escuchar la señal con claridad.

A continuación se presenta un resumen técnico detallado del artículo "CoAX: Modelo de Usuario de Explicación de Atribución Orientado a la Cognición para la Comprensión Humana de las Explicaciones de la IA."

1. Planteamiento del Problema

A pesar de los avances significativos en la IA Explicable (XAI), persiste una brecha crítica: muchas técnicas de XAI no mejoran la comprensión real del usuario ni la toma de decisiones. Estudios anteriores han demostrado que las explicaciones a veces pueden confundir a los usuarios, provocar una sobreconfianza o no ayudar a los usuarios a detectar errores del modelo.

El Problema Central: La investigación existente a menudo se basa en métricas conductuales superficiales (por ejemplo, precisión) o conjeturas para explicar por qué los usuarios tienen dificultades. Existe una falta de modelos mecánicos rigurosos que expliquen los procesos cognitivos y las estrategias de razonamiento que los usuarios emplean al interpretar la XAI.
La Consecuencia: Sin comprender los mecanismos cognitivos subyacentes (por ejemplo, cómo los usuarios procesan la importancia de las características frente a la atribución de características), es difícil diseñar explicaciones efectivas o depurar por qué fallan métodos específicos de XAI.

2. Metodología

Los autores proponen CoAX, un modelo cognitivo que integra la teoría del Aprendizaje Basado en Instancias (IBL) con restricciones cognitivas (decaimiento de la memoria, límites de atención) para simular el razonamiento humano sobre la XAI. La investigación sigue un proceso de diseño centrado en el usuario de cinco pasos:

A. Estudio Formativo con Usuarios (Elicitación de Estrategias)

Objetivo: Identificar cómo razonan realmente los humanos al utilizar la XAI.
Participantes: 20 estudiantes universitarios.
Tarea: "Simulación hacia adelante" (predecir la salida de la IA dada una instancia de entrada y una explicación).
Condiciones: Sin XAI, Importancia de Características (puntuaciones no negativas) y Atribución de Características (puntuaciones con signo, por ejemplo, SHAP/LIME).
Método: Protocolos de pensamiento en voz alta analizados mediante teoría fundamentada.
Resultado: Identificación de cuatro estrategias de razonamiento distintas:
1. Categorización de características sensibles: Enfocarse en un subconjunto fijo de atributos que se cree que son importantes, ignorando los demás.
2. Categorización de características salientes: Seleccionar dinámicamente las $k$ características principales con las puntuaciones de importancia más altas y recordar instancias pasadas similares.
3. Suma de atribución: Sumar las puntuaciones de atribución con signo (o estimarlas) para ponderar la evidencia a favor o en contra de una etiqueta.
4. Categorización de importancia: Malinterpretar las puntuaciones de importancia como valores de atributo directos para la coincidencia de patrones (una estrategia defectuosa).

B. Implementación del Modelo Cognitivo CoAX

El modelo simula la toma de decisiones humana utilizando IBL:

Memoria: Almacena ejemplos pasados (instancias) con niveles de activación basados en la recencia y la frecuencia.
Recuperación: Recupera instancias pasadas similares basándose en la distancia euclidiana, ponderada por la activación.
Extensiones de Estrategia: El modelo IBL base se extiende para implementar las cuatro estrategias identificadas:
- Sensible/Saliente: Modifica la métrica de distancia para centrarse solo en subconjuntos específicos de características.
- Suma de Atribución: Calcula una puntuación de log-odds sumando las contribuciones ponderadas de las características.
- Categorización de Importancia: Trata las puntuaciones de importancia como valores de características en lugar de pesos.
Parámetros: Incluye sensibilidad de distancia ( $\alpha$ ), umbral de recuperación ( $\rho$ ), número de características atendidas ( $k$ ) y sensibilidad de clase de característica ( $\zeta$ ).

C. Estudio Sumativo con Usuarios (Validación)

Participantes: 335 participantes (Prolific).
Diseño: Entre sujetos para el tipo de XAI (Ninguna, Importancia, Atribución) y dentro de sujetos para la condición de prueba (Con/Sin XAI).
Conjuntos de Datos: Calidad del Vino, Tipo de Cobertura Forestal, Ingreso de Adultos (clasificación binaria, 5 atributos).
Objetivo: Validar CoAX ajustando el modelo a los datos de decisión humana y comparando su poder predictivo frente a los proxies estándar de Aprendizaje Automático (ML) (Árboles de Decisión, KNN, MLP).

D. Prueba de Hipótesis Virtual

Objetivo: Utilizar el modelo CoAX validado para ejecutar "experimentos virtuales" que serían demasiado costosos o lentos de realizar con humanos reales.
Variables: Número de instancias de entrenamiento, número de atributos y diferentes algoritmos de XAI (SHAP, LIME, Gradientes Integrados, Gradientes de Entrada).

3. Contribuciones Clave

Taxonomía de Estrategias de Razonamiento: Elicitación empírica y categorización de cuatro estrategias cognitivas distintas que los usuarios emplean al interpretar la XAI basada en atribución, incluidos modos de fallo específicos (por ejemplo, malinterpretar las puntuaciones de importancia).
Modelo Cognitivo CoAX: Desarrollo de un modelo cognitivo formal que simula estas estrategias utilizando Aprendizaje Basado en Instancias, capturando la lógica procedimental del razonamiento humano en lugar de solo correlaciones estadísticas.
Superioridad sobre Proxies de ML: Demostración de que CoAX se ajusta a los datos de decisión humana significativamente mejor que los proxies estándar de ML (DT, KNN, MLP), probando que el razonamiento humano en contextos de XAI está impulsado por heurísticas cognitivas específicas, no solo por patrones de datos.
Marco de Experimentación Virtual: Establecimiento de una tubería para utilizar CoAX en la generación de hipótesis y la depuración de la usabilidad de la XAI, reduciendo la dependencia de estudios costosos con sujetos humanos para la prototipación en etapas tempranas.

4. Resultados Clave

Ajuste del Modelo: CoAX logró una Negativa Log-Verosimilitud (NLL) y un Criterio de Información Bayesiano (BIC) mucho más bajos en comparación con las líneas base de ML, lo que indica que captura el proceso de decisión humana subyacente con mayor precisión.
Efectividad de la Estrategia:
- La Suma de Atribución (utilizando puntuaciones con signo) fue la estrategia más efectiva, lo que llevó a la mayor precisión de predicción.
- La XAI de Importancia (puntuaciones no negativas) condujo a estrategias diversas y a menudo subóptimas, incluida la defectuosa "Categorización de importancia".
- Transferencia de Aprendizaje: Los participantes entrenados con XAI de Atribución mantuvieron la estrategia de "Suma de atribución" incluso cuando se eliminó la XAI, mientras que aquellos entrenados con XAI de Importancia a menudo volvieron a estrategias de "Características sensibles".
Impacto del Tipo de XAI:
- La XAI de Atribución superó consistentemente a la XAI de Importancia y a la ausencia de XAI.
- Recuento de Características: Aumentar el número de atributos degradó el rendimiento para "Sin XAI" y "XAI de Importancia" (sobrecarga de información), pero esto fue mitigado por la "XAI de Atribución".
Experimentos Virtuales: El modelo simuló con éxito cómo el aumento de las instancias de entrenamiento mejora la comprensión (efecto de meseta) y cómo diferentes algoritmos de XAI (por ejemplo, LIME frente a SHAP) impactan el rendimiento del usuario, validando la utilidad del modelo para pruebas escalables.

5. Significado e Implicaciones

Depuración de XAI: CoAX proporciona una herramienta de diagnóstico para identificar por qué falla una explicación (por ejemplo, ¿desencadena una estrategia defectuosa de "Categorización de importancia"?).
Recomendaciones de Diseño:
- Diseño de Interfaz: Los diseñadores deben fomentar las estrategias de "Suma de atribución" (por ejemplo, mostrando valores con signo) y desalentar la "Categorización de importancia" (por ejemplo, evitando la presentación de puntuaciones de importancia como valores brutos).
- Entrenamiento: Los tutoriales deben enseñar explícitamente a los usuarios cómo agregar atribuciones con signo en lugar de simplemente mirar las características "más importantes".
Reducción de Costos: Al validar hipótesis con humanos virtuales (CoAX) antes de realizar estudios a gran escala con usuarios, los investigadores pueden iterar diseños de XAI de manera más rápida y rentable.
Direcciones Futuras: El marco puede extenderse a otras modalidades (imágenes, texto), diferentes tareas de decisión (confianza, dependencia) y diversas poblaciones de usuarios para ir más allá de la XAI de "talla única".

En resumen, CoAX cierra la brecha entre la ciencia cognitiva y la XAI, ofreciendo una comprensión mecánica de la interacción humano-IA que va más allá de "¿funciona?" para preguntar "¿cómo piensa el usuario?".