The Pragmatic Frames of Spurious Correlations in Machine Learning: Interpreting How and Why They Matter

Resumen Técnico: Los Marcos Pragmáticos de las Correlaciones Espurias en el Aprendizaje Automático

Enunciado del Problema
El aprendizaje automático (AA) se basa en aprender correlaciones a partir de datos para realizar predicciones. Sin embargo, los modelos capturan frecuentemente "correlaciones espurias": relaciones que están presentes estadísticamente en los datos de entrenamiento pero que no reflejan los mecanismos causales subyacentes del fenómeno objetivo. Aunque la definición estadística de espuriedad es clara (una relación no causal que surge por coincidencia o confusión), la literatura de AA revela una desconexión entre esta definición formal y cómo los investigadores realmente identifican y abordan el problema en la práctica.

Las tuberías estándar de AA a menudo carecen de la capacidad para distinguir causalidad de correlación. En consecuencia, cuando los modelos fallan debido a correlaciones no deseadas (por ejemplo, clasificar vacas basándose en fondos de hierba en lugar de en características del animal), los investigadores deben determinar por qué la correlación es problemática. El artículo argumenta que los investigadores rara vez se basan en definiciones causales formales para etiquetar una correlación como espuria. En su lugar, participan en "construcción de sentido" a través de lentes alternativos que priorizan el rendimiento técnico, la alineación con la tarea o los resultados éticos sobre la inferencia causal estricta.

Metodología
Los autores realizaron un análisis crítico de la literatura en dos etapas para identificar cómo se enmarca y justifica la espuriedad en la investigación de AA.

1. Recopilación de datos: Utilizando la API de Semantic Scholar, los autores recuperaron 713 artículos que contenían los términos "correlación espuria", "característica espuria" o "atajo" de foros de AA, PLN y visión por computadora (incluyendo prepublicaciones, artículos de revistas y ponencias de conferencias).
2. Muestreo y codificación:
   • Etapa 1: Se muestreó aleatoriamente un subconjunto de 200 artículos para una revisión manual, resultando en 49 artículos relevantes. Mediante revisión de bibliografía, se añadieron 16 trabajos adicionales de alto impacto, creando una muestra analítica inicial de 65 artículos. Dos autores codificaron independientemente estos artículos para extraer las justificaciones recurrentes para etiquetar correlaciones como espurias.
   • Etapa 2: El marco de codificación establecido se aplicó a los 513 artículos restantes (tras filtrar por relevancia y calidad), arrojando 222 artículos adicionales.
3. Muestra final: El análisis culminó en una muestra total de 287 artículos. Los autores identificaron cuatro "marcos pragmáticos" dominantes utilizados para interpretar la espuriedad, señalando que los artículos a menudo invocaban múltiples marcos simultáneamente.

Contribuciones Clave: Los Cuatro Marcos Pragmáticos
El artículo postula que la deseabilidad de una correlación no es una propiedad estadística fija, sino un juicio situado informado por "marcos pragmáticos". Estos marcos representan formas específicas de ver que ayudan a los investigadores a aislar e interpretar aspectos del problema basándose en la función y los objetivos normativos, en lugar de definiciones fijas. Los cuatro marcos identificados son:

1. Relevancia:

   • Definición: Una correlación es espuria si no es relevante para la tarea de aprendizaje específica, incluso si es predictiva en los datos de entrenamiento.
   • Justificación: Los investigadores esperan que los modelos utilicen características que son inherentemente pertinentes para la etiqueta objetivo (por ejemplo, la forma de un objeto) en lugar de artefactos incidentales (por ejemplo, el color o la textura del fondo).
   • Crítica: La "relevancia" a menudo se define por las restricciones del conjunto de datos y la intención del investigador (por ejemplo, asumir que el fondo es irrelevante en la clasificación de imágenes de una sola etiqueta) en lugar de las propiedades intrínsecas de los datos.

2. Generalización:

   • Definición: Una correlación es espuria si no se mantiene a través de diferentes distribuciones de datos, específicamente al pasar de datos de entrenamiento a datos de prueba o bajo desplazamientos "fuera de distribución" (OOD).
   • Justificación: Los modelos deben aprender relaciones estables e invariantes al entorno. Las correlaciones que son "específicas del entorno" o que dependen de "heurísticas engañosas" que no generalizan se consideran espurias.
   • Crítica: Los investigadores rara vez especifican qué distribuciones debe generalizar un modelo. La definición de una "prueba de estrés" o un "desplazamiento de distribución natural" es contingente a las expectativas del investigador y a la capacidad práctica de construir conjuntos de prueba representativos.

3. Similitud humana:

   • Definición: Una correlación es espuria si se basa en reglas de decisión o características que un humano no utilizaría para realizar la misma tarea.
   • Justificación: Este marco asume que una función "similar a la humana" es el estándar de oro. Por ejemplo, si los humanos reconocen objetos por su forma pero un modelo se basa en la textura, la correlación del modelo se considera espuria.
   • Crítica: Este marco presupone un relato universal y estable de la cognición humana, lo cual es cuestionado por la evidencia de variación cultural y demográfica en la percepción humana. Además, puede entrar en conflicto con los objetivos de construir sistemas que superen el rendimiento humano o operen de manera diferente para evitar sesgos humanos.

4. Dañinidad:

   • Definición: Una correlación es espuria si su uso conduce a resultados social o éticamente dañinos, como amplificar sesgos contra grupos protegidos.
   • Justificación: Incluso si una correlación es estadísticamente estable y predictiva, se considera indeseable si codifica estereotipos sociales (por ejemplo, asociar "CEO" con hombres) o conduce a disparidades de rendimiento para grupos minoritarios.
   • Crítica: Determinar el "daño" requiere juicios normativos sobre cómo el mundo debería ser representado frente a cómo es. Una correlación que refleja un hecho estable (por ejemplo, la distribución de género en enfermería) puede ser etiquetada como espuria si refuerza estereotipos, destacando que el marco está impulsado por objetivos éticos en lugar de propiedades de los datos.

Resultados y Hallazgos

• Prevalencia: Entre los 287 artículos analizados, Generalización fue el marco invocado con mayor frecuencia (44%), seguido de Relevancia (36%), Dañinidad (28%) y Similitud humana (18%).
• Operacionalización: El estudio encontró que los investigadores rara vez definen la espuriedad utilizando teoría causal formal. En su lugar, utilizan estos marcos pragmáticos como motivaciones para desarrollar soluciones (por ejemplo, técnicas de robustez, restricciones de equidad).
• Contingencia: La clasificación de una correlación como "espuria" es altamente contingente a la intención del investigador, la tarea específica y los objetivos normativos del proyecto. Lo que se considera un "atajo" en un contexto (por ejemplo, el color de fondo en el reconocimiento de objetos) podría ser una característica válida en otro.

Significado y Afirmaciones
El artículo afirma contribuir a conversaciones más amplias sobre la cultura epistémica del aprendizaje automático al demostrar que conceptos técnicos como "espuriedad" se definen y operacionalizan a través de prácticas contingentes en lugar de definiciones estáticas.

• Cambio epistémico: Los autores argumentan que, al confiar en marcos pragmáticos, los investigadores transforman la espuriedad de una propiedad estática de los datos en una relación dinámica entre los datos y las expectativas del investigador.
• Implicaciones normativas: La elección de qué marco priorizar (por ejemplo, priorizar la relevancia sobre la similitud humana) es una decisión cargada de valores con compensaciones. El artículo sugiere que la comunidad de AA a menudo oscurece estas elecciones normativas al utilizar el término "espurio" como una abreviatura técnica.
• Direcciones futuras: Los autores proponen que reconocer estos marcos puede servir como un recurso para mejorar los métodos de AA. En lugar de ignorar la naturaleza pragmática de estos juicios, el trabajo futuro podría desarrollar puntos de referencia y métodos que aborden explícitamente los marcos específicos que importan a los investigadores (por ejemplo, diseñar para desplazamientos de distribución específicos o reducir explícitamente el daño).
• Modestia: Los autores declaran explícitamente que su tipología no es exhaustiva y que, a medida que la investigación de AA evolucione hacia dominios multimodales y basados en agentes, podrían surgir nuevos marcos. Enfatizan que su objetivo es ofrecer una lente teórica para interrogar los límites del AA basado en correlaciones, no proporcionar una solución causal definitiva.