🧬 biology

An Entropy-based Coefficient of Determination with Adjustment of Optimization Bias

Este artículo introduce un coeficiente de determinación ( $R^2$ ) basado en la entropía que utiliza la Varianza Entrópica para proporcionar una medida del ajuste del modelo independiente de la escala y agnóstica de la distribución, ofreciendo una alternativa robusta a las métricas clásicas que sufren de inflación del tamaño de la muestra y dependencia de la escala de las coordenadas, al tiempo que reduce significativamente las tasas de falsos descubrimientos en la selección de variables.

Autores originales: Longhai Li

Publicado 2026-08-10

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Longhai Li

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Esta es una explicación generada por IA de un preprint que no ha sido revisado por pares. No es consejo médico. No tome decisiones de salud basándose en este contenido. Leer descargo de responsabilidad completo

Imagina que eres un detective tratando de resolver un misterio, pero tienes una herramienta muy difícil: una lupa que se hace cada vez más grande cuanto más pistas encuentras. En el mundo de la estadística, esta herramienta es el "tamaño de la muestra". Usualmente, tener más datos es algo bueno: nos ayuda a ver la verdad con mayor claridad. Pero en el mundo de la investigación científica, esta lupa tiene un fallo. Si miras una pila masiva de datos, incluso una mota de polvo diminuta y sin sentido puede parecer un artefacto alienígena gigante y resplandeciente. Este es el "problema de la significación estadística". Los científicos están encontrando cosas que son "estadísticamente significativas" (es decir, que definitivamente no son ruido aleatorio) pero que son tan minúsculas en la vida real que no importan en absoluto. Es como si te dijeran que has ganado un premio, solo para darte cuenta de que el premio es un solo grano de arena.

Para solucionar esto, los investigadores suelen intentar medir el "tamaño" del efecto, no solo su existencia. Quieren saber: "¿Es esta pista realmente útil, o es solo una mota diminuta?". La herramienta más famosa para esto se llama $R^2$ (R-cuadrado). Piensa en el $R^2$ como una tarjeta de puntuación que te dice cuánto del misterio ha resuelto tu modelo. Si tu puntuación es del 100%, has resuelto el caso. Si es del 0%, estás adivinando. Pero aquí está el problema: las tarjetas de puntuación antiguas fueron construidas para acertijos simples de línea recta. Cuando los científicos empezaron a usarlas para datos complejos, curvos o de formas extrañas (como los patrones de las bacterias en nuestros intestinos), las tarjetas de puntuación se rompieron. Daban puntuaciones que eran negativas, o puntuaciones que cambiaban solo porque decidías medir las cosas en unidades diferentes (como cambiar de pulgadas a centímetros). Era como una regla que te daba una longitud diferente dependiendo de si la sostenías con la mano izquierda o la derecha.

Este artículo presenta una nueva tarjeta de puntuación, súper inteligente, llamada Coeficiente de Determinación basado en la Entropía (o EV- $R^2$ ). El autor, Longhai Li, se dio cuenta de que, en lugar de medir la "dispersión" de los datos como una regla tradicional, deberíamos medir el "volumen" de la información misma. Imagina que tus datos son una nube de gas. Los métodos antiguos intentaban medir la nube mirando su altura promedio. Este nuevo método mide el espacio real que ocupa la nube. Si tu modelo es bueno, comprime esa nube en una bola pequeña y densa. Si tu modelo es malo, la nube permanece enorme y esponjosa. Este nuevo marcador, que el autor llama $R^2_{SV}$ y $R^2_{SVP}$ , es especial porque no le importan las unidades que utilices y tiene un "detector de mentiras" incorporado que evita que te emociones con pistas falsas.

El artículo encuentra que este nuevo método es un cambio de juego para elegir las variables adecuadas en un modelo. En una serie de simulaciones por computadora, el autor probó este nuevo marcador contra las formas antiguas de hacer las cosas. Cuando usaron los métodos antiguos en un conjunto de datos masivo con mucho ruido, el "detector de mentiras" falló y el modelo seguía añadiendo variables inútiles, pensando que eran importantes. La tasa de falsos descubrimientos (el porcentaje de veces que el modelo elegía una pista falsa) fue de un asombroso 80%. Pero cuando usaron el nuevo marcador EV- $R^2$ , esa tasa cayó drásticamente a solo un 6%, mientras seguía manteniendo las pistas reales e importantes. Es como cambiar de un detective que agarra cualquier objeto brillante a uno que solo recoge los que realmente resuelven el caso.

El artículo también aplicó esto a un misterio del mundo real: la enfermedad de Parkinson y las bacterias que viven en nuestros intestinos. Cuando los investigadores usaron el viejo método "interno" (donde usaban los mismos datos para encontrar las pistas y luego para comprobarlas), encontraron alrededor de 20 pistas bacterianas y afirmaron que el modelo explicaba el 81% del misterio. Sonaba increíble, pero probablemente era un espejismo causado por los datos engañándose a sí mismos. Sin embargo, cuando usaron el nuevo método con una regla estricta de "división de datos" (usando un conjunto de datos para encontrar pistas y un conjunto completamente diferente para comprobarlas), el modelo se redujo a solo 4 pistas bacterianas clave. El nuevo marcador mostró una explicación de un 34% más realista. Esto sugiere que el método antiguo era excesivamente optimista, mientras que el nuevo método dio una respuesta mucho más honesta y fundamentada.

El autor está muy seguro de la matemática detrás de este nuevo marcador. No solo conjeturó; demostró que esta nueva forma de medir sigue un patrón específico y predecible (una distribución F) que les permite calcular probabilidades exactas e intervalos de confianza. Demostró que este nuevo método funciona perfectamente para modelos simples de línea recta (recuperando los resultados clásicos) pero también arregla las tarjetas de puntuación rotas para modelos complejos y no lineales. También demostró que, a diferencia de los métodos antiguos, este nuevo marcador se mantiene igual incluso si cambias la forma en que mides los datos (como cambiar de Celsius a Fahrenheit), lo cual es un gran avance para asegurar que los científicos estén comparando manzanas con manzanas.

En resumen, este artículo ofrece una forma nueva y más honesta de medir qué tan bien un modelo explica el mundo. Nos impide ser engañados por conjuntos de datos masivos que hacen que las cosas diminutas parezcan enormes, y nos ayuda a encontrar los patrones reales y significativos en datos complejos como nuestro microbioma. No es solo una nueva fórmula; es una nueva forma de pensar sobre lo que significa "resolver" un misterio estadístico, asegurando que cuando decimos que hemos encontrado un gran avance, realmente lo decimos.

Resumen Técnico: Un Coeficiente de Determinación basado en la Entropía con Ajuste del Sesgo de Optimización

Planteamiento del Proble Problema
El artículo aborda la "crisis de significancia estadística" en la investigación aplicada, donde las pruebas clásicas de razón de verosimilitud (LRT) y los criterios de información como $\Delta$ AIC escalan con el tamaño de la muestra, señalando rutinariamente mejoras insignificantes como altamente significativas en grandes conjuntos de datos. Si bien los estimandos causales como el Efecto de Tratamiento Promedio (ATE) intentan cuantificar la magnitud práctica, dependen del operador de esperanza ( $\mathbb{E}$ ), lo que los vincula a la escala de coordenadas original de los datos y los hace vulnerables a transformaciones no lineales.

Los indicadores de pseudo- $R^2$ existentes no logran resolver estos problemas adecuadamente:

Las medidas basadas en la varianza (por ejemplo, $R^2$ de Efron, $R^2$ de Gelman) ignoran mejoras distributivas de orden superior (por ejemplo, heterocedasticidad, colas pesadas) y carecen de invariancia ante transformaciones monótonas.
Las medidas basadas en la entropía (por ejemplo, $R^2$ de McFadden, $R^2$ de Cox & Snell) encuentran paradojas geométricas en dominios continuos. La entropía diferencial es acotada inferiormente, lo que conduce a métricas que pueden violar los límites $[0, 1]$ o carecer de invarianza de escala porque las razones lineales de la entropía cruzada son sensibles a las constantes aditivas introducidas por cambios de unidad.
Sesgo de Optimización: Los estimadores estándar suelen sufrir de optimismo de entrenamiento (sobreajuste), y los marcos existentes carecen de una maquinaria inferencial rigurosa para muestras finitas (por ejemplo, valores $p$ , intervalos de confianza) que no requiera matrices de información de Fisher intratables.

Metodología
El autor propone un marco basado en la Varianza Entrópica (EV), definida como la entropía cruzada exponentenciada dos veces ( $v = \exp(2h)$ ). Argumenta que la EV, en lugar de la entropía misma, proporciona la generalización rigurosa de la varianza de residuos de Mínimos Cuadrados Ordinarios (OLS) para familias paramétricas regulares.

Definiciones de Población:
- Varianza Entrópica ( $\nu^*$ ): Definida como la media geométrica de las EVs individuales a través de la población.
- Tamaño del Efecto de Población ( $\rho^2_V$ ): La reducción proporcional en la EV entre un modelo restringido ( $\mathcal{M}_0$ ) y un modelo completo ( $\mathcal{M}_1$ ): $\rho^2_V = 1 - \nu^*_1 / \nu^*_0$ .
- Estandarización ( $\rho^2_{SV}$ ): Para resultados discretos, se aplica un factor de corrección para asegurar que la métrica abarque el intervalo $[0, 1]$ incluso cuando el modelo nulo tiene baja entropía.
Interpretación Geométrica:
- El artículo establece que $\rho^2_V$ representa la reducción proporcional en el cuadrado del número efectivo de estados (para datos discretos) o en el cuadrado de la media geométrica de los volúmenes de kernel (para datos continuos).
- Crucialmente, $\rho^2_V$ es estrictamente invariante a las transformaciones estrictamente monótonas de la variable de respuesta, una propiedad compartida ni por las métricas basadas en la varianza ni por las métricas de entropía estándar.
Estimadores y Corrección de Sesgo:
- $R^2_V$ : Un estimador empírico que corrige el optimismo de entrenamiento en muestras finitas aplicando una penalización de grados de libertad ( $n-p$ ) a la EV empírica, de forma análoga al estimador de varianza insesgado en OLS.
- $R^2_{SVP}$ : Un estimador predictivo fuera de la muestra que aplica una penalización de complejidad al cuadrado para dar cuenta tanto de la deflación de entrenamiento como de la inflación predictiva.
Marco Inferencial:
- El autor deriva la distribución de la Relación Señal-Ruido de la Varianza Entrópica (EV-SNR) empírica.
- Establece que el estadístico $F_V = \frac{n-p_1}{k} \hat{SNR}_V$ sigue asintóticamente una distribución $F$ no central ( $F_{k, n-p_1}(\lambda_V)$ ), donde $k$ es la diferencia en el conteo de parámetros.
- Esto permite el cálculo de valores $p$ refinados e intervalos de confianza continuos para $\rho^2_V$ sin requerir derivaciones complejas de la matriz de información de Fisher.

Resultos Clave

Unificación Teórica: El artículo demuestra que el marco de EV recupera exactamente la teoría clásica de OLS (recuperando RSS, $R^2$ ajustado y la prueba $F$ de ANOVA) cuando se aplica a modelos lineales gaussianos.
Estudios de Simulación:
- En simulaciones de regresión logística, la prueba $F_V$ propuesta produce tasas de error de Tipo I sustancialmente más bajas en comparación con las pruebas tradicionales de $\chi^2$ y de distancia de Mahalanobis ( $F_{MD}$ ).
- La selección de variables utilizando $R^2_{SVP}$ (con un umbral de $\ge 0.05$ ) reduce drásticamente la Tasa de Descubrimiento Falso (FDR) del 80% (bajo LASSO-CV estándar) al 6%, preservando al mismo tiempo una alta recuperación de las señales verdaderas.
- Los estimadores muestran propiedades robustas en muestras finitas con intervalos de confianza que alcanzan tasas de cobertura nominales.
Aplicación en el Mundo Real (Microbioma de la Enfermedad de Parkinson):
- Aplicado a un conjunto de datos de microbioma intestinal ( $n=328$ ), el método utilizó un enfoque estricto de división de datos para separar el ordenamiento de variables (LASSO) de la evaluación.
- El método identificó un modelo biológicamente interpretable con solo cuatro predictores (incluyendo Roseburia, Lactobacillus, Bacteroidales y una interacción edad-sexo) que alcanzó un $R^2_{SV}$ fuera de la muestra realista del 34%.
- En contraste, la evaluación interna (usando los mismos datos para la selección y la evaluación) produjo un $R^2_{SV}$ inflado del 81% con aproximadamente 20 predictores, ilustrando la severidad del sesgo de optimización.

Significancia y Reivindicaciones
El artículo afirma resolver paradojas de larga data en la definición de un tamaño de efecto predictivo universalmente aplicable, desplazándose de la entropía bruta hacia la Varianza Entrópica. Sus contribuciones primarias son:

Independencia de Escala: Proporcionar una medida adimensional del tamaño del efecto que es invariante a las transformaciones monótonas, a diferencia de las métricas basadas en la varianza o de la entropía estándar.
Rigor Inferencial: Establecer una maquinaria inferencial unificada basada en la distribución $F_V$ , permitiendo valores $p$ precisos e intervalos de confianza para tamaños de efecto en familias paramétricas regulares generales sin derivaciones analíticas intratables.
Utilidad Práctica: Demostrar que evaluar modelos mediante el tamaño del efecto predictivo ( $R^2_{SVP}$ ), en lugar de la significancia estadística o los criterios de información no penalizados, conduce a una selección de variables superior, reduciendo significativamente los falsos descubrimientos en entornos de alta dimensionalidad.

El autor posiciona este trabajo como un puente entre la teoría de la información abstracta y la evaluación de modelos práctica, ofreciendo un criterio robusto para la selección de variables fundamentado en la utilidad predictiva práctica, en lugar de la mera detectabilidad estadística. Señalan que es necesario un trabajo futuro para generalizar el marco a verosimilitudes singulares (por ejemplo, inferencia bayesiana, regresión penalizada con pre-selección) donde el simple conteo de parámetros ( $p$ ) puede ser insuficiente.

Más como este