🔬 condensed matter

The limits of interpretability in multiple linear regression

Este artículo demuestra que la multicolinealidad en la regresión lineal múltiple socava la interpretabilidad física al amplificar las fluctuaciones de los pesos y generar patrones oscilatorios a través de características correlacionadas, un fenómeno que puede mitigarse pero no resolverse por completo mediante la regularización Ridge.

Autores originales: Anand Sharma, Chen Liu, Daniele Coslovich, Misaki Ozawa

Publicado 2026-06-16

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Anand Sharma, Chen Liu, Daniele Coslovich, Misaki Ozawa

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La visión general: Por qué las matemáticas "simples" pueden ser complicadas

Imagina que eres un detective intentando resolver un misterio: ¿Qué hace que un material se convierta en un superconductor (un material con resistencia eléctrica cero)?

Tienes una lista de pistas (características) como el peso de los átomos, su tamaño, cuánta energía se necesita para arrancar un electrón, etc. Quieres usar una herramienta sencilla llamada Regresión Lineal Múltiple para averiguar qué pistas son las más importantes.

Normalmente, la gente piensa que la regresión lineal es el "modo fácil" del aprendizaje automático. Es como una receta sencilla:

Predicción = (Peso de la Pista A × Puntuación de Importancia A) + (Peso de la Pista B × Puntuación de Importancia B) + ...

Si la "Puntuación de Importancia" (el peso) para el "Tamaño Atómico" es enorme y positiva, piensas: "¡Ajá! ¡Los átomos grandes son la clave!". Si es negativa, piensas: "¡Los átomos pequeños son la clave!".

El artículo argumenta que esta lógica simple a menudo falla. Aunque las matemáticas sean sencillas, si tus pistas son demasiado similares entre sí, las "Puntuaciones de Importancia" se vuelven caóticas, inestables e imposibles de confiar.

El problema: Las pistas "gemelas" (Multicolinealidad)

El principal villano de esta historia es la Multicolinealidad. Esto ocurre cuando dos o más de tus pistas son tan similares que son prácticamente gemelas.

La analogía: Los hermanos gemelos
Imagina que estás tratando de adivinar la altura de una persona. Tienes dos pistas:

Pista A: La altura de la persona en centímetros.
Pista B: La altura de la persona en pulgadas.

Estas dos pistas están perfectamente correlacionadas. Si conoces una, conoces la otra. Son "gemelas".

Ahora, imagina que intentas construir un modelo para adivinar la altura usando estas dos pistas. Las matemáticas se confunden. Preguntan: "¿Cuánto de la altura es causada por los centímetros y cuánto por las pulgadas?"

Como son gemelas, las matemáticas no pueden decidirse.

En un experimento, podrían decir: "Los centímetros son superimportantes (+100) y las pulgadas son superpoco importantes (-100)".
En el siguiente experimento (usando datos ligeramente diferentes), podrían cambiar: "Los centímetros son -100 y las pulgadas son +100".

La predicción total (la suma) sigue siendo precisa, pero las puntuaciones individuales oscilan salvajemente como un péndulo. Esto es lo que el artículo llama Fluctuaciones de Peso.

Los problemas específicos encontrados en el artículo

Los autores analizaron datos reales de física (superconductores y líquidos vítreos) y encontraron dos pesadillas específicas:

1. Los pesos "temblorosos" (Fluctuaciones de conjunto de datos a conjunto de datos)

Si entrenas tu modelo con un lote de datos, obtienes un conjunto de puntuaciones. Si lo entrenas con un lote diferente (aunque sea del mismo experimento de física), las puntuaciones camban por completo.

La metáfora: Imagina intentar pesar una pluma en una báscula que es ligeramente inestable. Si pones la pluma, la báscula dice "5 gramos". La quitas, la vuelves a poner y dice "-3 gramos". La pluma no ha cambiado, pero la medición es inestable.
El resultado: No puedes confiar en los números para saber qué es físicamente importante porque cambian cada vez que miras.

2. Los pesos "oscilantes" (El efecto del subibaja)

Esta es la parte más extraña. El artículo encontró que cuando tienes una lista de pistas que están ordenadas (como "Tamaño Atómico en escala 1", "Tamaño Atómico en escala 2", "Tamaño Atómico en escala 3"), las puntuaciones no solo tiemblan; oscilan.

La metáfora: Imagina una fila de fichas de dominó. Si empujas la primera, la segunda sube, la tercera baja, la cuarta sube, y así sucesivamente.
La realidad: En los datos, el "Tamaño Atómico en la escala 1" podría recibir una puntuación positiva enorme. El "Tamaño Atómico en la escala 2" (que es casi lo mismo) recibe una puntuación negativa enorme. La "Escala 3" vuelve a ser positiva.
Por qué importa: Esto no tiene sentido físico. Si dos cosas son físicamente similares, deberían tener puntuaciones similares. En cambio, las matemáticas las obligan a cancelarse entre sí en una danza caótica.

¿Por qué sucede esto? (El mecanismo oculto)

Los autores utilizaron una herramienta matemática llamada Descomposición de Modos Propios (Eigenmode Decomposition) para explicarlo. Piensa en esto como observar las "vibraciones" de tus datos.

La analogía: Imagina una cuerda de guitarra. Tiene una vibración principal (la nota que escuchas) y algunas vibraciones diminutas de alta frecuencia (sobretonos).
Las matemáticas: Cuando tus pistas son demasiado similares (multicolinealidad), la "cuerda de guitarra" de tus datos tiene algunas vibraciones muy débiles y temblorosas (eigenvalores pequeños).
El colapso: La matemática de la regresión lineal intenta amplificar estas vibraciones débiles para que la predicción funcione. Pero como son tan débiles, cualquier pequeño rastro de ruido en los datos se amplifica en un movimiento masza y salvaje en las puntuaciones. Estas vibraciones débiles son las que causan la oscilación de "subibaja".

La "solución": Regularización de Ridge

El artículo pone a prueba una solución común llamada Regresión de Ridge.

La analogía: Imagina de nuevo la báscula inestable. La Regresión de Ridge es como añadir un resorte pesado y rígido a la báscula. No deja que la aguja oscile salvajemente. Fuerza a la aguja a quedarse más cerca de cero a menos que la evidencia sea abrumadora.
El resultado: Este "resorte" (penalización matemática) detiene las oscilaciones salvajes y estabiliza las puntuaciones. Las puntuaciones se vuelven mucho más calmadas y consistentes.

Sin embargo, hay una trampa:
El artículo advierte que, incluso con este arreglo, no puedes simplemente elegir un número y decir: "Esta es la verdad".

Si haces el resorte demasiado rígido, aplastas todas las pistas a cero (pierdes información).
Si lo haces demasiado suelto, el temblor regresa.
Crucialmente: El artículo muestra que puedes obtener la misma predicción precisa con muchos ajustes diferentes del resorte, pero la explicación (los pesos) se verá completamente diferente para cada ajuste.

La conclusión fundamental

La Regresión Lineal no siempre es simple: Solo porque la fórmula parezca simple no significa que los resultados sean fáciles de entender.
La Correlación es peligrosa: Si tus pistas son demasiado similares, las matemáticas se confunden y producen respuestas inestables y oscilantes que parecen ruido.
Predicción $\neq$ Comprensión: Puedes obtener un modelo que prediga el futuro perfectamente, pero las "razones" que da (los pesos) pueden carecer de sentido físico debido a esta inestabilidad.
La solución no es un botón mágico: Añadir un arreglo matemático (Ridge) ayuda, pero no resuelve el problema de raíz. Para entender realmente la física, probablemente necesites hacer Selección de Características (Feature Selection), lo que significa elegir manualmente las mejores pistas únicas y desechar a los "gemelos" antes de empezar siquiera con las matemáticas.

En resumen: No confíes ciegamente en los números. Si tus datos tienen demasiadas pistas similares, las "Puntuaciones de Importancia" son probablemente un reflección de la confusión matemática, no de la realidad física.

Resumen Técnico: Los Límites de la Interpretabilidad en la Regresión Lineal Múltiple

Planteamiento del Problema
Si bien la regresión lineal múltiple (MLR) es ampliamente considerada como una alternativa interpretable frente a modelos complejos como las redes neuronales profundas, su utilidad en las ciencias físicas se ve comprometida cuando las características de entrada están fuertemente correlacionadas (multicolinealidad). En tales regímenes, los pesos aprendidos —típicamente interpretados como medidas de la importancia de las características— exhiben dos patologías críticas:

Fluctuaciones de conjunto de datos a conjunto de datos: Los pesos estimados varían significamente entre diferentes muestras extraídas de la misma distribución subyacente, socavando la robustez estadística.
Comportamiento oscilatorio: Los pesos asignados a características físicamente similares o adyacentes (por ejemplo, intensidades espectrales en longitudes de onda vecinas o parámetros estructurales de grano grueso en escalas de longitud similares) muestran signos alternantes y magnitudes elevadas, violando la consistencia física.

El artículo argumenta que, si bien la inestabilidad de los pesos bajo la multicolinealidad es un fenómeno conocido en estadística, sus consecuencias específicas para la interpretación física —particularmente la generación de patrones oscilatorios no físicos— no han sido aclaradas sistemáticamente.

Metodología
Los autores emplean un marco teórico unificado basado en la descomposición de modos propios de la matriz de correlación de características ( $\mathbf{C}$ ) para analizar tanto la regresión de Mínimos Cuadrados Ordinarios (OLS) como la de Ridge.

Análisis Teórico: El estudio deriva la covarianza de los estimadores de los pesos utilizando un enfoque frecuentista, separando las fluctuaciones debidas al tamaño finito de la muestra de aquellas inducidas puramente por la multicolinealidad. Utiliza el Factor de Inflación de la Varianza (VIF) y una perspectiva bayesiana para cuantificar la incertidumbre.
Descomposición de Modos Propios: Los autores expresan la solución OLS ( $\hat{\mathbf{w}}_{OLS} = \mathbf{C}^{-1}\mathbf{R}$ ) en términos de los autovectores ( $\mathbf{u}^{(k)}$ ) y autovalores ( $\lambda^{(k)}$ ) de $\mathbf{C}$ . Demuestran que los autovalores pequeños, asociados con la multicolinealidad, amplifican las fluctuaciones y generan patrones de autovectores específicos.
Validación Numérica: Las predicciones teóricas son probadas en dos conjuntos de datos de física:
1. Superconductividad: Predicción de la temperatura crítica ( $T_c$ ) a partir de cantidades físicas elementales y descriptores estadísticos ( $d=81$ ).
2. Dinámica Vítrea: Predicción de la movilidad de partículas a partir de parámetros estructurales locales promediados en múltiples escalas de longitud ( $d=60$ ).
Generalización: Los hallazgos son validados a través de una colección diversa de conjuntos de datos públicos disponibles (por ejemplo, calidad del vino, El Niño, consumo de energía de electrodomésticos) para evaluar su universalidad.

Contribuciones Clave y Resultados

Mecanismo de las Fluctuaciones: El artículo deriva que la varianza condicional de un peso $\hat{w}^{(f)}$ es proporcional al VIF, definido como $1/(1-R^2[X^{(f)}, \hat{X}^{(f)}])$ . Esto confirma que, incluso con grandes conjuntos de datos, la fuerte dependencia lineal entre las características causa que la varianza de los pesos diverja, independientemente de las limitaciones del tamaño de la muestra.
Mecanismo de las Oscilaciones: Los autores identifican que los patrones de pesos oscilatorios surgen de la amplificación de los "modos blandos" (autovectores asociados con autovalores pequeños). En presencia de fuertes correlaciones, los autovectores correspondientes a autovalores pequeños exhiben estructuras antisimétricas o de tipo sinusoidal. Cuando estos modos son amplificados por el término $1/\lambda^{(k)}$ en la solución OLS, inducen signos alternantes en los pesos de las características correlacionadas.
Rol de la Regularización de Ridge:
- La regresión de Ridge modifica la solución a $\hat{\mathbf{w}}_{Ridge} = (\mathbf{C} + \alpha\mathbf{I})^{-1}\mathbf{R}$ .
- El parámetro de regularización $\alpha$ suprime la contribución de los modos de autovalores pequeños ( $\lambda^{(k)} \ll \alpha$ ), reduciendo tanto el VIF como el comportamiento oscilatorio.
- El artículo establece un comportamiento de escalamiento universal para el VIF máximo a través de diversos conjuntos de datos: sigue una meseta a $\alpha$ muy pequeño, escala como $1/(4\alpha)$ en un régimen intermedio, y decae como $1/\alpha^2$ para un $\alpha$ grande.
- Advertencia Crucial: Si bien la regularización de Ridge estabiliza los pesos, el patrón de pesos resultante es altamente sensible a la elección de $\alpha$ . Incluso cuando el rendimiento de la predicción (por ejemplo, $R^2$ ) permanece casi constante, variar $\alpha$ puede alterar drásticamente la interpretación física de los pesos. Por lo tanto, los pesos de Ridge también requieren una interpretación cautelosa.
Perspectiva Bayesiana: El análisis confirma que la distribución posterior de los pesos permanece amplia a lo largo de los "modos blandos" (direcciones de autovalores pequeños) incluso cuando se minimiza el Error Cuadrático Medio (MSE). Esto explica por qué un buen rendimiento predictivo no garantiza una interpretación de pesos confiable.

Significancia y Reivindicaciones
El artículo pretende proporcionar una explicación teórica sistemática de por qué la interpretación física sigue siendo difícil incluso para los modelos de regresión lineal cuando hay presencia de multicolinealidad. Desentraña dos fenómenos distintos —fluctuaciones estadísticas y oscilaciones físicas— que a menudo se confunden.

Los autores concluyen que:

La aparente simplicidad de la regresión lineal no garantiza la interpretabilidad en presencia de características correlacionadas.
Los criterios estándar para seleccionar parámetros de regularización (por ejemplo, maximizar el rendimiento de prueba) son insuficientes para asegurar la interpretabilidad, ya que el patrón de pesos no está determinado de forma única por la precisión predictiva.
El artículo no propone un único "remedio" para la interpretabilidad, sino que sugiere que la selección de características (por ejemplo, eliminar características con alto VIF, usar Lasso o métodos de desequilibrio de información) es una ruta más fundamental para retener la interpretabilidad que simplemente regularizar un modelo inestable. El objetivo debe ser comprimir la información en un número pequeño de variables relevantes y no redundantes, en lugar de intentar interpretar los pesos de un espacio de características altamente correlacionado.