📊 statistics

smartcor: Intelligent Correlation Method Selection for Mixed Variable Types

El paquete **smartcor** para R y Python automatiza la selección de métodos de correlación o asociación estadísticamente apropiados para tipos de variables mixtos mediante la detección de las características de los datos, admitiendo 14 métodos distintos en todas las combinaciones de pares de variables y proporcionando un razonamiento transparente para sus elecciones.

Autores originales: M Harshvardhan, Pritam Ranjan

Publicado 2026-07-27✓ Author reviewed ⓘ

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: M Harshvardhan, Pritam Ranjan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Gran Desajuste: Por qué un solo tamaño no sirve para todos en los datos

Imagine que es un detective intentando resolver un misterio. Su trabajo es descubrir cómo están conectados dos elementos del mundo. Tal vez quiera saber si comer más helado hace que la gente sea más feliz, o si estudiar más tiempo conduce a mejores calificaciones en los exámenes. En el mundo de la estadística, este trabajo se llama encontrar una "correlación". Es una forma de medir qué tan fuertemente se mueven dos variables juntas. Si bailan al mismo compás, la conexión es fuerte; si se mueven de forma aleatoria, no hay conexión.

Durante décadas, la herramienta favorita del detective ha sido una regla simple, de un solo tamaño para todo, llamada correlación de Pearson. Es la configuración predeterminada en casi todos los programas informáticos utilizados por los científicos. El problema es que esta regla fue construida para un tipo de datos muy específico: números continuos y suaves como la temperatura, la altura o la velocidad. Pero el mundo real es desordenado. A veces tratamos con preguntas de sí o no (binarias), otras veces con listas de clasificación como "bajo, medio, alto" (ordinales) y otras veces con categorías que no tienen orden alguno, como los colores favoritos o los tipos de frutas (categóricas).

Usar la regla de números suaves en estos tipos de datos desordenados y mezclados es como intentar medir la longitud de una nube con una cinta métrica, o contar el número de personas en una habitación pesándolas. Puede que le dé un número, pero ese número no le dice la verdad. Podría ocultar una conexión real, inventar una falsa o simplemente producir un resultado que no tiene sentido. Este es el rompecabezas que aborda el artículo: ¿cómo dejamos de usar la herramienta equivocada para el trabajo y empezamos a emparejar la vara de medir adecuada con el tipo de datos correcto?

Entra "Smartcor": El casamentero de datos

Este artículo presenta un nuevo paquete de software llamado smartcor (y su gemelo en Python, pysmartcor) que actúa como un casamentero superinteligente para los datos. En lugar de aplicar ciegamente la misma regla para todo, smartcor observa sus datos, identifica qué tipo de variables tiene y luego elige automáticamente la herramienta estadística perfecta para ese par específico.

Piense en ello como un armario. Si tiene un traje, usa un traje; si tiene un traje de baño, usa un traje de baño. No usaría un esmoquin en la playa, incluso si es su atuendo favorito. Del mismo modo, el artículo argumenta que no se debería usar la correlación de Pearson para todo. Los autores construyeron una biblioteca de 14 diferentes herramientas de medición (como la punto-biserial, la policórica, la V de Cramér y otras) y programaron smartcor para saber exactamente cuál tomar para cualquier combinación de variables.

Así es como funciona en la práctica:

El problema de la "atenuación": Imagine que tiene una conexión oculta y suave entre dos cosas, pero solo las ve a través de una ventana empañada (como una escala de Likert donde la gente elige "del 1 al 5"). Si utiliza la regla estándar, la conexión parece más débil de lo que realmente es. El artículo muestra, mediante simulaciones, que para datos ordinales, el método estándar puede subestimar la verdadera conexión en aproximadamente un 9% (o incluso más si las categorías son pocas). Smartcor utiliza herramientas especiales de "limpieza de niebla" (como la correlación policórica) para ver la verdadera fuerza del vínculo.
El problema de lo "sin sentido": ¿Qué pasa si intenta correlacionar "País de origen" con "Deporte favorito"? Dado que los países no tienen un orden (Francia no es "más grande" que Japón en un sentido que ayude a las matemáticas), la regla estándar produce un número que es simplemente un sinsentido. Smartcor reconoce esto y cambia a una herramienta de "asociación" (como la V de Cramér) que pregunta: "¿Están estas dos cosas relacionadas en absoluto?", sin intentar forzar una dirección en ellas.
El problema de la "suposición oculta": Algunas herramientas sofisticadas asumen que los datos provienen de una curva perfectamente suave y en forma de campana debajo de la superficie. El artículo realizó miles de simulaciones para probar qué sucede cuando esa curva es en realidad irregular o sesgada. Encontraron que, si la suposición es errónea, las herramientas sofisticadas pueden estar sesgadas. Por lo tanto, smartcor incluye una prueba de "detector de mentiras" integrada. Comprueba si los datos parecen lo suficientemente normales como para usar la herramienta sofisticada. Si la prueba falla, cambia automáticamente a un método más seguro y robusto (como el tau de Kendall) que no hace esas conjeturas arriesgadas.

Lo que el artículo encontró (y lo que no encontró)

Los autores no solo construyeron la herramienta; la probaron rigurosamente. Realizaron simulaciones de Monte Carlo (que son como realizar un experimento computacional miles de veces con datos inventados) para demostrar que su lógica de selección funciona. Encontraron que para tres pares específicos (continuo con continuo, continuo con binario y binario con binario), la regla estándar de Pearson es en realidad adecuada porque da exactamente la misma respuesta que las herramientas especializadas. Pero para los otros siete pares, usar la regla estándar es un error.

Para ver qué tan grande es el problema en el mundo real, los autores analizaron 197 artículos de economía publicados en revistas de alto nivel. Encontraron que el 92.3% de las correlaciones reportadas eran simplemente la correlación de Pearson estándar, independientemente del tipo de datos. En muchos casos, esto no importaba porque los datos eran del tipo adecuado. Pero en los casos donde sí importaba —específicamente al tratar con datos ordinales (como las calificaciones de encuestas)— el método estándar era casi siempre la elección incorrecta. En su análisis de datos reales de encuestas (la Encuesta Social General), demostraron que cambiar al método correcto cambiaba los resultados significativamente. En algunos casos, una relación que parecía "no significativa" con la herramienta incorrecta se volvió "significativa" con la correcta.

El artículo es cuidadoso al señalar que esto no es una varita mágica que resuelve todos los problemas. Las herramientas "sofisticadas" que recuperan las conexiones ocultas dependen de la suposición de que los datos provienen de una distribución normal oculta. Si esa suposición se viola, esas herramientas pueden estar sesgadas. Por eso, smartcor incluye la prueba automática para decidir si usar la herramienta sofisticada o mantenerse en la más segura basada en rangos.

La Conclusión

El mensaje principal de este artículo es que el contexto importa. El hecho de que un programa informático diga "correlación" no significa que sea la respuesta correcta. El paquete smartcor resuelve esto automatizando el trabajo de detective: identifica los tipos de datos, verifica las suposiciones, elige la herramienta estadística correcta de su kit de 14 herramientas e incluso explica por qué tomó esa decisión.

Los autores sugieren que, aunque el método estándar es conveniente, a menudo conduce a resultados atenuados (debilitados) o números sin sentido cuando se aplica a datos mixtos. Al usar smartcor, los investigadores pueden evitar estos errores y obtener una imagen más fiel de cómo están conectados realmente los elementos del mundo. Convierte el enfoque de "un solo tamaño para todos" en una solución "hecha a medida", asegurando que, ya sea que esté midiendo la temperatura, la felicidad o los colores favoritos, esté utilizando la regla adecuada para el trabajo.

Resumen Técnico: smartcor: Selección Inteligente de Métodos de Correlación para Tipos de Variables Mixtas

1. Planteamiento del Problema

El artículo identifica un error metodológico generalizado en la estadística aplicada: la dependencia por defecto en la correlación de Pearson para todos los pares de variables, independientemente del tipo de datos. Aunque la correlación de Pearson es apropiada únicamente para variables continuas con relaciones lineales, se aplica frecuentemente a datos binarios, ordinales y categóricos debido a los valores predeterminados del software (por ejemplo, cor() en R, numpy.corrcoef() en Python).

Los autores argumentan que esta práctica conduce a tres categorías específicas de errores:

Atenuación: Cuando los constructos continuos se observan a través de proxies ordinales (por ejemplo, escalas de Likert), la correlación de Pearson subestima sistemáticamente la verdadera asociación latente. Las simulaciones indican que, con cinco categorías ordinales, Pearson subestima una correlación real ( $\rho=0.6$ ) aproximadamente en 0.05 (un sesgo relativo de -9%).
Resultados sin Sentido: Aplicar la correlación de Pearson a variables categóricas nominales (por ejemplo, región, nombre de marca) produce números sin una interpretación significativa porque los códigos numéricos son arbitrarios y carecen de un orden inherente.
Supuestos No Probados: Los métodos de variables latentes (policórica, tetracórica) pueden recuperar asociaciones reales para datos ordinales, pero asumen la normalidad bivariada subyacente. Cuando este supuesto se viola (por ejemplo, distribuciones sesgadas), estos estimadores exhiben un sesgo positivo, aunque los profesionales rara vez prueban este supuesto.

Además, el panorama actual del software está fragmentado. Calcular las correlaciones apropiadas para conjuntos de datos de tipos mixtos requiere combinar funciones de múltiples paquetes (por ejemplo, stats, polycor, psych) y calcular manualmente medidas de asociación como la V de Cramér, que a menudo carecen de soporte integrado.

2. Metodología

El artículo propone smartcor (para R) y su compañero pysmartcor (para Python), un marco unificado que automatiza la selección de métodos de correlación y asociación basados en los tipos de variables.

Detección del Tipo de Variable

El sistema emplea una heurística configurable (detect_type) para clasificar las variables en cinco tipos:

Continua: Vectores numéricos con muchos valores únicos.
Binaria: Variables con exactamente dos valores únicos (numéricos, lógicos o factores).
Ordinal: Factores ordenados o vectores numéricos con un número limitado de valores únicos (umbral por defecto $\le 10$ ).
De Conteo (Count): Vectores de valores enteros no negativos con muchos valores únicos (tratados matemáticamente como continuos para fines de correlación).
Categórica: Factores no ordenados o vectores de caracteres con tres o más valores únicos.

Lógica de Selección de Métodos

El paquete soporta 14 métodos distintos que cubren las 10 combinaciones posibles de pares de tipos de variables. La lógica de selección distingue entre correlación (mide la fuerza direccional, $[-1, +1]$ ) y asociación (mide la dependencia sin dirección, $[0, 1]$ ).

Métodos de Correlación (Con Signo):
- Continuo–Continuo: Pearson.
- Continuo–Binario: Punto-biserial (algebraicamente equivalente a Pearson con codificación 0/1).
- Binario–Binario: Coeficiente Phi (equivalente a Pearson) o Tetracórica (si se asume normalidad latente).
- Ordinal–Ordinal: Tau de Kendall $\tau_b$ (por defecto) o Policórica (si la normalidad latente se mantiene).
- Continuo–Ordinal: Spearman/Kendall o Poliserial (si la normalidad latente se mantiene).
- Binario–Ordinal: Rank-biserial.
Métodos de Asociación (Sin Signo):
- Utilizados cuando al menos una variable es categórica nominal (por ejemplo, V de Cramér, U de Theil, T de Tschuprow).

Prueba de Normalidad Latente

Una innovación clave es la prueba automatizada del supuesto de normalidad latente requerido para las correlaciones policórica y poliserial. El paquete implementa una prueba de razón de verosimilitud (LR) de chi-cuadrado (basada en Jöreskog, 2005) que compara las frecuencias de celdas observadas con las esperadas bajo un modelo de umbral de normalidad bivariada.

Si la prueba no rechaza la normalidad ( $p > \alpha$ ), el paquete selecciona el estimador de variable latente (Policórica/Poliserial).
Si la prueba rechaza la normalidad, vuelve por defecto a los estimadores basados en rangos libres de distribución (Tau de Kendall $\tau_b$ ).
Para pares Binario–Binario, la tabla 2x2 está saturada, lo que impide esta prueba; el valor por defecto es Phi, con la opción de Tetracórica disponible solo mediante una anulación explícita del usuario.

Validación por Simulación

La lógica de selección se basa en simulaciones de Monte Carlo (Sección 2.3–2.4) que demostraron:

La correlación de Pearson subestima consistentemente las asociaciones latentes para datos ordinales.
La correlación policórica es insesgada bajo normalidad, pero exhibe un sesgo positivo bajo distribuciones asimétricas de cola pesada.
La $\tau_b$ de Kendall demuestra el comportamiento más consistente a través de diversas distribuciones latentes no normales, lo que la convierte en un valor por defecto robusto.

3. Contribuciones Clave

Selección Automatizada Consciente del Tipo: El paquete detecta automáticamente los tipos de variables y selecciona el método estadísticamente apropiado de una biblioteca de 14 medidas, cubriendo todas las 10 combinaciones de pares de tipos de variables.
Transparencia y Justificación: A diferencia de otras herramientas existentes, smartcor proporciona una justificación legible para humanos de cada elección de método, explicando por qué se seleccionó un estimador específico (por ejemplo, "Prueba de normalidad latente rechazada; se seleccionó Kendall's $\tau$ ").
Interfaz Unificada para Datos Mixtos: Integra la correlación (para datos ordenados) y la asociación (para datos nominales) en una única salida de matriz, distinguiendo claramente entre coeficientes de correlación con signo y medidas de asociación sin signo.
Análisis de Sensibilidad: La función compare_methods() permite a los usuarios calcular todos los métodos aplicables para un par, facilitando el análisis de sensibilidad respecto a la elección del método.
Paridad entre Plataformas: Las implementaciones en R y Python comparten la misma lógica de decisión y API, asegurando la reproducibilidad entre plataformas.
Integración Tidy: Todas las salidas están estructuradas como objetos S3 con métodos tidy(), lo que facilita la integración fluida con los flujos de trabajo tidyverse (R) y pandas/dplyr (Python).

4. Resultados y Caso de Estudio

El artículo valida el paquete mediante un mini-estudio de la literatura económica y un caso de estudio utilizando los datos de la Encuesta Social General (GSS).

Revisión de la Literatura: Una revisión de 197 artículos de economía reveló que el 92.3% de las llamadas a la correlación utilizaron la correlación de Pearson. En el 100% de los casos que involucraban al menos una variable ordinal, la elección del método divergía del estimador apropiado según el tipo, lo que a menudo conducía a estimaciones atenuadas.
Caso de Estudio GSS: La aplicación de smartcor a los datos de la GSS (que contienen variables continuas, ordinales, binarias y categóricas) arrojó resultados sustantivamente diferentes en comparación con el análisis ingenuo de Pearson:
- Recuperación de la Asociación: Los estimadores de variables latentes recuperaron asociaciones más fuertes para los pares ordinales (por ejemplo, grado de estudios vs. felicidad) en comparación con Pearson, de acuerdo con la teoría de la atenuación.
- Inclusión de Datos Categóricos: A diferencia de las matrices estándar de Pearson que descartan o malinterpretan las variables categóricas, smartcor calculó la V de Cramér para los pares que involucran variables nominales (por ejemplo, región), proporcionando medidas válidas de dependencia.
- Heterogeneidad de Métodos: La matriz de correlación resultante utilizó ocho métodos diferentes (Pearson, Spearman, Policórica, Kendall, Punto-biserial, Phi, Rank-biserial, V de Cramér), demostrando que un único método "por defecto" es insuficiente para conjuntos de datos de tipos mixtos.

5. Significancia y Reivindicaciones

El artículo afirma que smartcor aborda una brecha crítica en la práctica estadística al eliminar la carga de la selección manual de métodos del profesional. Su significancia radica en:

Prevención del Sesgo Sistemático: Al seleccionar automáticamente los métodos que consideran la discretización (atenuación) y el tipo de variable, el paquete previene la subestimación sistemática de las asociaciones común en la investigación de las ciencias sociales.
Toma de Decisiones Basada en Datos: La integración de la prueba de normalidad latente desplaza la decisión del juicio subjetivo hacia una recomendación basada en evidencia, reduciendo el riesgo de sesgo derivado de la violación de supuestos.
Valor Educativo: Al distinguir explícitamente entre correlación (direccional) y asociación (no direccional) y explicar las elecciones de los métodos, la herramienta sirve como un recurso educativo, haciendo transparente la "caja negra" de los valores predeterminados del software estadístico.

Los autores concluyen que, si bien la correlación de Pearson sigue siendo la predeterminada en la mayoría de los programas, es solo un miembro de una gran familia de medidas. El paquete smartcor proporciona una solución robusta y automatizada para asegurar que la medida elegida se alinee con la escala de medición y las propiedades de distribución de los datos.