The Costs of Pretending That There Are Data-Generating Probability Distributions in the Social World

A continuación presento un resumen técnico detallado del artículo "The Costs of Pretending That There Are Data-Generating Probability Distributions in the Social World" (Los costos de fingir que existen distribuciones de probabilidad generadoras de datos en el mundo social), escrito por Benedikt Höltgen y Robert C. Williamson.

1. Problema

El artículo aborda una premisa fundamental y ubicua en la investigación de Aprendizaje Automático (ML) y estadística: la suposición de que los datos observados son muestras independientes e idénticamente distribuidas (i.i.d.) extraídas de una distribución de probabilidad generadora de datos verdadera y objetiva (denominada marco Gen-D).

Los autores argumentan que, aunque este marco es útil en entornos estables y controlados (como juegos de azar o generadores de números aleatorios), es falso y perjudicial cuando se aplica a contextos sociales (predicciones sobre personas). El problema central es que la creencia en la existencia de estas distribuciones "reales" oculta las decisiones de modelado, fomenta una falsa sensación de objetividad y lleva a interpretaciones erróneas sobre la equidad, la generalización y el propósito de los algoritmos.

2. Metodología

Los autores emplean un enfoque multidisciplinario que combina:

• Análisis Filosófico y Epistemológico: Cuestionan la ontología de las probabilidades en ciencias sociales, citando a autores como Nancy Cartwright y Michael Strevens para argumentar que las probabilidades son construcciones humanas y no entidades descubiertas en la naturaleza.
• Reformulación Teórica del Aprendizaje: En lugar de descartar la teoría del aprendizaje, proponen una alternativa basada en poblaciones finitas en lugar de distribuciones infinitas abstractas.
  • Demuestran teóricamente que los límites de generalización (generalization bounds) pueden derivarse sin asumir una distribución generadora de datos, utilizando medidas de conteo sobre poblaciones finitas.
  • Presentan un Lema de Simetrización modificado (Lemmas 1 y 2) y un Teorema de Generalización (Teorema 3) que acotan el error de generalización en poblaciones finitas sin recurrir a la ley de los grandes números basada en distribuciones infinitas.
• Análisis Empírico: Utilizan datos reales (como el conjunto de datos ACS Income y ejemplos de predicción de impago de crédito) para demostrar la inestabilidad de las distribuciones condicionales cuando cambian la población de referencia, el marco temporal o la granularidad de los atributos.
• Estudio de Caso de Multiplicidad de Modelos: Analizan cómo diferentes modelos con rendimiento similar (multiplicidad predictiva) pueden generar predicciones radicalmente diferentes para individuos específicos, lo cual es incompatible con la idea de una única "distribución verdadera" subyacente.

3. Contribuciones Clave

A. Inexistencia de Distribuciones Generadoras Reales en lo Social

Los autores sostienen que no existe una distribución de probabilidad "verdadera" para eventos sociales.

• Dependencia del Marco Temporal y Poblacional: La probabilidad condicional $P(Y|X)$ cambia drásticamente según si se considera un año o cuatro años de datos, o si se cambia de un estado a otro.
• Muestreo sin Reemplazo: En la realidad social, los datos no se generan con reemplazo (una persona no se "muestra" dos veces de la misma manera en el futuro). El marco Gen-D asume implícitamente un muestreo con reemplazo, lo que es una idealización inválida para personas.
• Construcción vs. Descubrimiento: Las probabilidades son construidas por el investigador a través de la elección de la población, los atributos y el marco temporal, no descubiertas.

B. Reformulación de la Teoría de Aprendizaje

Demuestran que la teoría del aprendizaje no necesita la hipótesis de una distribución Gen-D para funcionar.

• Proporcionan límites teóricos rigurosos basados en el conteo de posibles muestras en una población finita.
• Esto valida que el aprendizaje de patrones y la generalización son posibles sin invocar distribuciones metafísicas, basándose simplemente en la estabilidad de las proporciones dentro de una población finita dada.

C. Crítica a la "Objetividad" y la Multiplicidad Predictiva

• Ilusión de Objetividad: El marco Gen-D fomenta la idea de que los modelos están "estimando" una verdad objetiva, lo que oculta las decisiones de diseño (elección de características, pérdida, etc.). Esto es peligroso en decisiones que afectan a personas, ya que evade la justificación ética de esas elecciones.
• Multiplicidad Predictiva: En el marco Gen-D, la existencia de múltiples modelos con igual rendimiento se ve como un problema de aproximación. Sin Gen-D, se entiende como un problema fundamental: no hay un "modelo correcto" único, y diferentes modelos pueden tener implicaciones éticas muy distintas para individuos específicos.

D. Implicaciones para la Equidad (Fairness)

• Cuestionan los teoremas de compensación (trade-offs) entre equidad y precisión que asumen la existencia de un clasificador Bayesiano óptimo (basado en una distribución verdadera).
• Argumentan que, al no haber una distribución verdadera, es posible encontrar modelos menos discriminatorios sin sacrificar la precisión, algo que el marco Gen-D a menudo oculta al asumir que los modelos actuales ya están cerca del óptimo teórico.

4. Resultados Principales

1. Inestabilidad Empírica: En experimentos con datos de ingresos (ACS Income), se demostró que cambiar el periodo de entrenamiento (1 año vs. 4 años) altera las predicciones de modelos optimizados en un 10% para el 10% de los datos, incluso manteniendo la misma precisión global. Esto refuta la estabilidad de una distribución subyacente.
2. Límites de Generalización Sin Gen-D: Se estableció que es posible derivar límites de error para poblaciones finitas que son tan útiles como los tradicionales, pero que no requieren la suposición de una distribución infinita.
3. Dependencia de la Abstracción: La elección del espacio de entrada ($\mathcal{X}$) y cómo se abstrae a los individuos es una decisión de modelado crítica que determina la "similitud" entre casos. El marco Gen-D tiende a tratar este espacio como dado, ignorando que la elección de atributos (ej. incluir o excluir género) construye la realidad que el modelo predice.

5. Significado e Impacto

El artículo tiene implicaciones profundas para la práctica y la teoría del ML, especialmente en el ámbito social:

• Cambio de Paradigma: Propone abandonar la retórica de "aproximar la distribución generadora de datos" o "encontrar la verdad" en favor de un enfoque pragmático: encontrar un modelo que funcione bien para una tarea específica y una población definida, reconociendo explícitamente las decisiones de diseño.
• Responsabilidad y Transparencia: Al eliminar la excusa de la "objetividad" de las distribuciones, se obliga a los ingenieros y científicos de datos a justificar explícitamente sus elecciones de modelado (qué datos se incluyen, cómo se definen las variables, qué métricas se optimizan).
• Justicia Algorítmica: Sugiere que las preocupaciones sobre la equidad no son desviaciones de un objetivo técnico (la distribución verdadera), sino decisiones de valor inherentes al diseño del sistema.
• Nuevas Direcciones de Investigación:
  1. Investigar la construcción de variables (elección de abstracción) como un área crítica.
  2. Desarrollar más teoría basada en poblaciones finitas y muestreo sin reemplazo.
  3. Evaluar la estabilidad de los sistemas sociales antes de aplicar modelos predictivos, reconociendo que algunos dominios pueden no ser aptos para predicciones cuantitativas estables.

En conclusión, los autores advierten que pretender que existen distribuciones de datos generadoras en el mundo social conlleva costos altos: enmascara la subjetividad de los modelos, dificulta la rendición de cuentas y puede llevar a decisiones injustas bajo la falsa apariencia de objetividad matemática.