Socio-Conformal Calibration in Complex Survey Data: Marginal Validity Is Not Enough for Subgroup Reliability

Resumen Técnico: Calibración Socio-Conformal en Datos de Encuestas Complejas

Planteamiento del Problema
Los sistemas de aprendizaje automático aplicados a la medición social basada en encuestas requieren estimaciones de incertidumbre que no solo sean válidas en el agregado, sino también fiables en los subgrupos de la población. Aunque la Predicción Conformal (CP) ofrece garantías rigurosas y libres de distribución sobre la cobertura marginal, estas garantías agregadas pueden ocultar disparidades significativas en la cobertura entre subgrupos demográficos. Esto es particularmente crítico en entornos de encuestas complejas caracterizados por pesos basados en el diseño y celdas demográficas interseccionales, donde las celdas de calibración "delgadas" (por ejemplo, menos de 50 observaciones) pueden hacer que la validez marginal y la fiabilidad del subgrupo diverjan drásticamente. El artículo investiga si los métodos estándar de CP y sus extensiones específicas por grupo (CP Mondriana) pueden garantizar una cuantificación justa de la incertidumbre en tales entornos, específicamente para la previsión de actitudes hacia la IA de tipo ordinal.

Metodología
El estudio emplea un marco empírico de 100 particiones utilizando datos del Panel de Tendencias Americanas del Centro de Investigación Pew (Ola 152, $n=4,591$). El diseño experimental implica:

1. Datos y Subgrupos: La variable de resultado es una escala ordinal de cinco niveles del impacto esperado de la IA. El análisis se centra en 12 subgrupos interseccionales formados por la cruz-tabulación de cuatro categorías de raza/etnia y tres niveles educativos. Los tamaños de celda varían significativamente, oscilando entre 32 y 355 observaciones por partición, creando condiciones de inestabilidad de "celda delgada".
2. Predictores Base: Se evalúan cuatro modelos: una línea base previa (frecuencias marginales), una regresión logística ordenada, una Red Neuronal de Perceptrón Multicapa (MLP) de dos capas y XGBoost. Todos los modelos generan probabilidades de clase para construir puntuaciones de no conformidad basadas en la Función de Distribución Acumulada (CDF) para resultados ordinales.
3. Métodos de Calibración: Se comparan tres estrategias de calibración conformal a un $\alpha=0.10$ nominal (objetivando una cobertura del 90%):
   • Conformal Particionado Estándar: Utiliza un umbral global único derivado del conjunto de calibración.
   • Conformal Mondriana: Estima umbrales específicos por grupo para cada uno de los 12 subgrupos para lograr una cobertura condicional dentro de los grupos.
   • Mondriana Regularizada: Un comparador novedoso que contrae los umbrales específicos por grupo hacia el cuantil global utilizando un esquema de ponderación estilo James-Stein ($w_g = n_g / (n_g + \lambda)$ con $\lambda=50$) para mitigar la inestabilidad en celdas delgadas.
4. Evaluación: Todas las métricas están ponderadas por encuesta para garantizar la representatividad poblacional. Las métricas clave incluyen la cobertura marginal ponderada, la cobertura de subgrupos ponderada, la brecha de subgrupos ponderada (diferencia máxima-mínima de cobertura) y el tamaño promedio de conjunto ponderado (eficiencia).

Contribuciones Clave

1. Evidencia Empírica de Disparidad en Subgrupos: El estudio demuestra que, aunque la predicción conformal particionada estándar logra una cobertura marginal nominal (dentro de 1 punto porcentual del objetivo del 90%) en todos los predictores, deja brechas sustanciales ponderadas en los subgrupos (aproximadamente 13 puntos porcentuales) en las celdas de raza $\times$ educación.
2. Resultado Negativo sobre la CP Mondriana: Contrario a la expectativa teórica de que la calibración específica por grupo mejora la equidad, el artículo encuentra que la CP Mondriana estándar empeora la compensación entre equidad y eficiencia para predictores informativos (XGBoost, MLP, logística ordenada). Específicamente, para XGBoost, la Mondriana aumenta la brecha de subgrupos ponderada en +0.013 y el tamaño de conjunto ponderado en +0.036 (un tamaño del efecto grande, $d_z=1.66$).
3. Análisis de Fallo y Mecanismo: El artículo identifica el mecanismo detrás del fallo de la Mondriana como la "fragmentación de la celda de calibración que interactúa con la discrepancia de confianza específica por grupo". En celdas delgadas, los umbrales específicos por grupo se estiman a partir de pocas observaciones, lo que provoca que reaccionen en exceso a las idiosincrasias locales de la distribución de puntuaciones. Cuando los patrones de confianza del predictor base varían entre grupos (como ocurre con XGBoost), esta sobre-reacción amplifica en lugar de atenuar las disparidades de cobertura.
4. Comparador Regularizado: Los autores introducen una variante regularizada de la Mondriana que mitiga parcialmente esta inestabilidad al contraer los umbrales para celdas pequeñas hacia el valor global. Aunque esto reduce la penalización del tamaño del conjunto y mejora ligeramente la brecha en comparación con la Mondriana estándar, no produce una ganancia decisiva en equidad sobre la predicción conformal estándar para predictores informativos.

Resultados

• Validez Marginal: La predicción conformal estándar mantiene una cobertura marginal válida en las 100 particiones y en los cuatro predictores.
• Brechas de Subgrupos: Bajo conformal estándar, la brecha de subgrupos ponderada para XGBoost es de 0.135. La CP Mondriana aumenta esta brecha a 0.147.
• Eficiencia: La CP Mondriana aumenta el tamaño promedio del conjunto de predicción (reduciendo la eficiencia) para predictores informativos. Para XGBoost, el tamaño del conjunto aumenta de 3.240 (estándar) a 3.275 (Mondriana).
• Dependencia del Predictor: El efecto negativo de la CP Mondriana depende de la informatividad del predictor. Para la línea base previa no informativa, la Mondriana en realidad reduce la brecha y el tamaño del conjunto. Sin embargo, para predictores con distribuciones de puntuación heterogéneas entre grupos, la Mondriana exacerba las disparidades.
• Pesos de Encuesta: Cambiar de una evaluación sin ponderar a una ponderada por encuesta aumenta consistentemente la brecha de subgrupos medida (aproximadamente +0.020 para XGBoost), confirmando que los análisis sin ponderar subestiman sistemáticamente las disparidades en encuestas complejas.
• Sensibilidad: Los resultados negativos persisten a través de codificaciones alternativas de resultados (fusionando respuestas de "No seguro" o utilizando un ítem de confianza binario) y diferentes granularidades de subgrupos (solo raza o solo educación).

Significado y Afirmaciones
El artículo afirma que la validez marginal nominal es insuficiente para la fiabilidad de los subgrupos en entornos de encuestas complejas. Argumenta que la calibración ingenua específica por grupo (CP Mondriana) no es un remedio fiable para la equidad cuando las celdas de calibración son delgadas y los predictores exhiben patrones de confianza variables entre grupos. Los hallazgos sugieren que confiar únicamente en certificados de cobertura marginal puede certificar sistemas que cubren sistemáticamente por debajo de los subgrupos minoritarios.

Los autores concluyen que, para una implementación equitativa en encuestas complejas, los practicantes deben ir más allá de las garantías marginales. Recomiendan que los diagnósticos por grupo, las verificaciones de tamaño de celda y el uso de comparadores de contracción (como la Mondriana regularizada propuesta) deberían ser prácticas estándar previas al despliegue. El estudio destaca una tensión fundamental: satisfacer las garantías teóricas de cobertura condicional en celdas delgadas no necesariamente mejora las métricas prácticas de equidad (brechas máximas-mínimas ponderadas por encuesta) y puede degradar la eficiencia.