Detecting and Quantifying Circularity Bias When Composite Quality Ratings Are Used as Covariates: A Methodological Demonstration Using CMS Hospital Excess Readmissions Data

Resumen Técnico: Detección y Cuantificación del Sesgo de Circularidad en las Calificaciones Compuestas de Calidad

Planteamiento del Problema
Las medidas de calidad ajustadas por riesgo, reportadas públicamente, se utilizan cada vez más para comparar proveedores de atención médica y asignar pagos. Una práctica metodológica común consiste en incluir calificaciones compuestas de calidad (por ejemplo, las calificaciones de estrellas de CMS) como covariables en modelos de regresión para ajustar la calidad general al estudiar resultados específicos (por ejemplo, las reingresos hospitalarios). Este documento identifica un peligro metodológico crítico en esta práctica: el sesgo de circularidad (una forma de sobreajuste).

Cuando una calificación compuesta $R$ se construye, en parte, como una función del resultado de interés $Y$ (por ejemplo, la calificación de estrellas incluye el desempeño en reingresos), $R$ se convierte en un descendiente del resultado. Incluir dicha calificación como regresor en un modelo donde $Y$ es la variable dependiente coloca efectivamente un sustituto (proxy) del resultado en el lado derecho de la ecuación. En consecuencia, el coeficiente de la calificación absorbe parte de la relación mecánica entre el resultado y sí misma, lo que provoca que los coeficientes de los predictores estructurales genuinos (por ejemplo, la propiedad del hospital) se vean sistemáticamente atenuados hacia cero. Esto es distinto de la confusión por ajuste o del sesgo de colisión; es un error estructural donde el analista condiciona sobre una variable post-tratamiento que está parcialmente determinada por el resultado.

Metodología
El documento propone un enfoque metodológico de dos vertientes: una prueba diagnóstica y una descomposición de la varianza.

1. El Diagnóstico de Circularidad:

   • Procedimiento: Estimar el modelo estructural dos veces sobre la misma submuestra:
     • Modelo A: Regresar el resultado $Y$ sobre los predictores estructurales $X$ (excluyendo la calificación compuesta).
     • Modelo B: Regresar $Y$ sobre $X$ incluyendo la calificación compuesta $R$.
   • Interpretación: Comparar el coeficiente focal de $X$ entre los dos modelos. Un movimiento material hacia cero en el Modelo B indica atenuación. Aunque la atenuación también puede resultar de un ajuste de confusión legítimo, el diagnóstico se basa en el conocimiento estructural: si la variable añadida es un descendiente del resultado (como suelen ser las calificaciones compuestas), la atenuación representa un sesgo, y el Modelo A no ajustado proporciona la estimación menos sesgada de la asociación estructural.

2. Descomposición de la Varianza:

   • Para complementar el diagnóstico, los autores realizan una descomposición de la varianza entre grupos y dentro de los grupos. Esto particiona la suma total de cuadrados del resultado para determinar qué parte de la variación es atribuible a las características a nivel de grupo (por ejemplo, regiones censales) frente a la variación dentro del grupo. Esto protege contra la sobreinterpretación de coeficientes geográficos estadísticamente significativos pero sustantivamente pequeños.

3. Datos y Simulación:

   • Datos Empíricos: El estudio utiliza datos de CMS para el año fiscal 2026, que cubren 2,446 hospitales de cuidados agudos. El resultado es la razón de exceso de reingresos ponderada por altas (una medida de reingresos a 30 días ajustada por riesgo). El predictor focal es la propiedad del hospital (con fines de lucro frente a sin fines de lucro).
   • Simulación de Monte Carlo: Para confirmar la naturaleza sistemática del sesgo, los autores simularon datos con un efecto verdadero conocido de un indicador binario sobre un resultado. Se construyó una calificación compuesta para integrar el resultado. La simulación comparó los estimadores con y sin la calificación para verificar que la inclusión de la calificación descendente sesga sistemáticamente la estimación hacia cero.

Resultos Clave

• Hallazgos Empíricos: En el modelo primario que excluye la calificación de estrellas de CMS (Modelo A), la propiedad con fines de lucro se asoció con una mayor razón de exceso de reingresos en comparación con la propiedad sin fines de lucro ($+0.0196$, $p < 0.001$).
• Cuantificación del Sesgo: Cuando se incluyó la calificación de estrellas (que integra el resultado de reingresos) (Modelo B), el coeficiente para la propiedad con fines de lucro se atenuó en un 48% a $+0.0113$. La propia calificación de estrellas fue un predictor fuerte ($-0.0209$ por estrella), explicando el 19.8% de la varianza, pero esta mejora fue mayormente mecánica debido a la construcción de la calificación.
• Confirmación de la Simulación: Una simulación de Monte Carlo, con un efecto verdadero conocido de $+0.020$, recuperó este efecto casi exactamente cuando se excluyó la calificación. Cuando se incluyó la calificación que integra el resultado, la estimación se sesgó hacia cero (media de $+0.0099$), resultando en una atenuación media del 50%. Esto coincidió estrechamente con la atenuación del 48% observada en los datos reales de CMS, confirmando que el sesgo es sistemático.
• Descomposición de la Varianza: Solo el 1.1% de la variación en la razón de exceso de reingresos radicaba entre las regiones censales, mientras que el 98.9% se encontraba dentro de las regiones. Esto indica que, aunque los coeficientes de agrupación pueden ser estadísticamente significativos, la pertenencia regional explica una dispersión sustantiva insignificante en la medida.
• Robustez: La asociación positiva entre la propiedad con fines de lucro y los excesos de reingresos fue estable a través de seis condiciones clínicas específicas (por ejemplo, insuficiencia cardíaca, neumonía), aunque la magnitud varió.

Significancia y Reivindicaciones
El documento afirma tres contribuciones principales:

1. Formalización del Peligro: Identifica y formaliza explícitamente el problema del "descendiente del resultado" en el contexto de las calificaciones compuestas reportadas públicamente, distinguiéndolo del sesgo estándar de confusión o de colisión.
2. Un Diagnóstico Sencillo: Propone un diagnóstico de bajo costo y transparente (comparando modelos con y sin la calificación) que permite detectar y cuantificar este sesgo de sobreajuste específico sin requerir datos adicionales.
3. Clarificación de la Variación: A través de la descomposición de la varianza, demuestra que los coeficientes de agrupación estadísticamente significativos (por ejemplo, por región) pueden explicar casi nada de la variación real en las medidas de calidad, advirtiendo contra el error de equiparar la significancia estadística con la importancia sustantiva.

Limitaciones y Alcance
Los autores mantienen una postura modesta respecto a sus hallazgos:

• No es una Estimación Causal: La estimación "no ajustada" (excluyendo la calificación) es menos sesgada respecto a la circularidad, pero no es una estimación causal de los efectos de la propiedad. Sigue estando sujeta a la confusión estándar por la mezcla de pacientes, ya que la razón de exceso de reingresos de CMS está ajustada por riesgo dentro de grupos de pares, pero no a nivel hospitalario.
• Naturaleza Compuesta: El estudio reconoce la ironía de que el resultado mismo sea un compuesto de seis condiciones, aunque la ponderación es transparente y no integra los predictores estructurales, evitando así el problema de circularidad específico que se estudia.
• Generalizabilidad: Las herramientas de diagnóstico y descomposición se presentan como transferibles a cualquier entorno donde se considere una calificación compuesta que integre el resultado como una covariable (por ejemplo, hogares de ancianos, instalaciones de diálisis).

El documento concluye que incluir calificaciones compuestas que integran el resultado como covariables no es un ajuste neutral, sino una fuente de sesgo de atenuación. Las herramientas propuestas permiten a los investigadores detectar este sesgo y reencuadrar la interpretación de las asociaciones estructurales y las variaciones geográficas en los datos de calidad.