Diagnosing Causal Credibility of Machine Learning Explanations: A Dual- SHAP Attribution Framework Applied to Social Survey Data

En el estudio moderno del comportamiento humano, los investigadores dependen cada vez más de potentes programas informáticos para encontrar patrones en vastas cantidades de datos de encuestas. Estos modelos de aprendizaje automático son excelentes para detectar conexiones complejas que la estadística tradicional podría pasar por alto, como la forma en que el ingreso, la edad y el lugar donde vive una persona podrían combinarse para influir en sus hábitos sociales. Sin embargo, estos modelos suelen ser opacos; pueden predecir un resultado con alta precisión pero no ofrecen una explicación clara de por qué. Para solucionar esto, los científicos utilizan una herramienta llamada SHAP, que actúa como un reflector, resaltando qué factores consideró el modelo más importantes al realizar una predicción. El problema es que este reflector a menudo confunde dos cosas muy diferentes: una relación genuina de causa y efecto y una mera coincidencia. El hecho de que dos cosas sucedan juntas no significa que una haya causado la otra. Por ejemplo, un modelo podría señalar la "edad del cónyuge" como una razón clave para el uso de internet de una persona, no porque la edad del cónyuge cambie directamente cuánto se conecta la persona a internet, sino simplemente porque los cónyuges tienden a tener edades similares, y la edad en sí misma es un fuerte motor del uso de la tecnología. Distinguir entre estas causas reales y las correlaciones engañosas es esencial para los científicos sociales que desean comprender el comportamiento humano en lugar de solo predecirlo.

Un nuevo estudio de Shidong Li, de la Universidad del Norte de China, aborda esta confusión de frente aplicando un riguroso marco de diagnóstico a datos de encuestas sociales del mundo real. El investigador analizó las respuestas de la Encuesta General Social China de 2023, un conjunto de datos masivo que representa a casi 4.800 personas en treinta y un provincias. El objetivo era probar dieciocho aspectos diferentes de la vida social, que van desde la frecuencia con la que las personas visitan a sus amigos hasta su confianza en los extraños y sus hábitos de consumo de medios. En lugar de aceptar las explicaciones estándar proporcionadas por un único modelo informático, el estudio empleó un enfoque "dual-SHAP". Este método compara dos formas diferentes de calcular la importancia. El primer método observa los datos tal como existen naturalmente, preservando todos los vínculos existentes entre las variables. El segundo método rompe esos vínculos de forma artificial, preguntando qué pasaría con una predicción si un factor específico cambiara mientras todo lo demás permaneciera independiente. Al comparar los resultados de estos dos métodos, el estudio pudo medir una "puntuación de credibilidad" para cada factor. Una puntuación alta significa que la importancia del factor se mantiene incluso cuando se rompen las correlaciones, lo que sugiere un vínculo causal directo. Una puntuación baja indica que el factor probablemente solo estaba viajando a lomos de otra variable más influyente.

La investigación comenzó escaneando los dieciocho comportamientos sociales para ver cuáles podían ser predichos de manera fiable por los datos disponibles. De los veintidós comportamientos considerados originalmente, dieciocho resultaron ser lo suficientemente predecibles como para analizarlos más a fondo, mientras que cuatro, como la frecuencia de las actividades de voluntariado, eran demasiado erráticos para modelarlos eficazmente. Entre los dieciocho restantes, el estudio probó cinco tipos diferentes de algoritmos de aprendizaje automático para ver cuál funcionaba mejor para cada comportamiento específico. Los resultados desafiaron una suposición común en el campo: que un algoritmo específico, conocido como XGBoost, es el campeón universal para todas las tareas. En cambio, el estudio encontró que ningún modelo único dominaba todo el panorama. Un modelo llamado RandomForest fue el mejor ejecutor para diez de los dieciocho resultados, cubriendo áreas como la interacción social y el uso de medios. Sin embargo, otros modelos, incluyendo la regresión Ridge, LightGBM y GradientBoosting, resultaron superiores para resultados específicos como la confianza social general o la lectura de periódicos. Este hallazgo sugiere que la elección del modelo informático no es un detalle técnico menor, sino una decisión sustantiva que moldea fundamentalmente las conclusiones que los investigadores extraen sobre qué impulsa el comportamiento humano.

Una vez seleccionado el mejor modelo para cada comportamiento, el estudio redujo la lista de posibles causas de treinta y ocho predictores a veintinueve factores clave. Este proceso de selección utilizó la propia herramienta SHAP para filtrar las variables que contribuían muy poco al panorama general, como el número de hijas que tiene una persona o actitudes específicas hacia los roles de género. Los veintinueve factores restantes incluyeron la demografía, como la edad y los ingresos, así como actitudes hacia la justicia social y las habilidades lingüísticas. La edad surgió como el predictor más dominante en todos los ámbitos, seguida de cerca por los ingresos personales y las habilidades lingüísticas. Con estos factores clave identificados, los investigadores aplicaron el marco dual-SHPI para calcular la credibilidad de la influencia de cada factor. Encontraron que la puntuación de credibilidad promedio en todas las relaciones fue de 0,727, lo que indica que, si bien muchos factores tienen una influencia directa, una parte significativa de la importancia asignada por los modelos estándar está inflada por las correlaciones.

El estudio reveló un amplio espectro de fiabilidad. Algunos factores, como la percepción de una persona sobre la justicia social o sus opiniones políticas sobre la migración, mostraron puntuaciones de credibilidad altas, lo que significa que su influencia sobre los resultados sociales era robusta y probablemente causal. En contraste, factores como la edad del cónyuge o la duración de un matrimonio a menudo mostraron una credibilidad baja o incluso negativa cuando se rompió su conexión con la propia edad del encuestado. Por ejemplo, cuando el estudio simuló un escenario en el que la edad del cónyuge se cambiaba independientemente de la edad del encuestado, la aparente influencia de la edad del cónyuge en el uso de internet desaparecía o incluso revertía su dirección. Esto sirvió como una clara advertencia de que el modelo original había confundido una correlación con una causa. Los investigadores establecieron un umbral para ayudar a interpretar estas puntuaciones: sugirieron que una puntuación de 0,80 o superior debería considerarse un indicador sólido de una relación primordialmente causal. Usando este estándar, solo alrededor del cuarenta por ciento de los pares factor-comportamiento calificaron como primordialmente causales. Si el umbral se bajaba a uno más permisivo de 0,50, casi el noventa y tres por ciento de los pares cumplían con los criterios, pero los investigadores argumentaron que el estándar más estricto es necesario para evitar ser engañados por patrones coincidentes.

Para asegurar que estos hallazgos no fueran meros artefactos estadísticos, el estudio realizó un control final mediante la simulación de cambios en el mundo real. Se preguntaron qué pasaría con el comportamiento predicho de una persona si un factor específico, como los ingresos o la edad, aumentara en una cantidad estándar. Los resultados fueron consistentes con el sentido común y la ciencia social establecida. Por ejemplo, aumentar la edad de una persona en la simulación llevó a una disminución predicha en el uso de internet, reflejando la conocida brecha digital donde los adultos mayores utilizan la tecnología con menos frecuencia. Del mismo modo, aumentar los ingresos personales llevó a un aumento predicho en la lectura de periódicos, alineándose con la idea de que un estatus socioeconómico más alto está vinculado al consumo de medios impresos. Estas simulaciones confirmaron que los modelos estaban capturando relaciones genuinas e interpretables en lugar de ruido aleatorio. Además, cuando los investigadores probaron el marco en diferentes subgrupos, como adultos jóvenes frente a adultos mayores o residentes urbanos frente a rurales, los patrones generales se mantuvieron constantes, aunque las puntuaciones de credibilidad específicas variaron ligeramente según la población. Esto demostró que, si bien el método es robusto, la fuerza de un vínculo causal puede depender del grupo específico que se esté estudiando.

En última instancia, este trabajo proporciona una herramienta transparente y reproducible para que los científicos sociales separen la señal del ruido en las explicaciones del aprendizaje automático. No pretende demostrar la causalidad en un sentido absoluto, ya que aún podrían estar presentes factores no medidos, pero ofrece una forma práctica de diagnosticar cuándo una explicación es probablemente engañosa. Al comparar cómo se comporta un modelo cuando ve los datos tal como son frente a cómo se comporta cuando rompe los vínculos naturales entre las variables, los investigadores pueden ahora identificar qué factores están impulsando realmente los resultados sociales y cuáles son meramente sombras proyectadas por otras variables. El estudio concluye que, si bien el aprendizaje automático es una lente poderosa para observar el comportamiento humano, requiere este tipo de calibración cuidadosa para asegurar que los conocimientos que proporciona no sean solo predicciones precisas, sino explicaciones confiables de por qué las personas actúan de la manera en que lo hacen.