Statistical Compatibility, Refutational Information, and Acceptability

A continuación se presenta un resumen técnico detallado del artículo "Compatibilidad Estadística, Información Refutacional y Aceptabilidad" de Alessandro Rovetta, estructurado según los componentes solicitados.

1. El Problema

El artículo aborda las limitaciones conceptuales y los riesgos de interpretación asociados al uso tradicional de los valores P y S en la estadística frecuentista. Se identifican tres problemas centrales:

• La falacia de la incompatibilidad: El lenguaje común (y a veces académico) interpreta los valores P pequeños como una "incompatibilidad lógica" o una contradicción absoluta con la hipótesis nula ($H_0$). El autor argumenta que esto es incorrecto dentro del marco frecuentista, ya que el modelo $A + H_i$ (asunciones + hipótesis) se asume provisionalmente verdadero para el cálculo; por tanto, cualquier resultado en el soporte de la distribución es lógicamente posible, aunque sea raro.
• Confusión entre rareza y verdad epistémica: Existe una tendencia a confundir la rareza de un dato bajo un modelo (probabilidad modelada) con la falsedad del modelo o la hipótesis en el mundo real. Los valores P y S no asignan probabilidades de verdad a las hipótesis.
• Riesgos lingüísticos y dicotómicos: La introducción de escalas graduadas para términos como "incompatibilidad" o el uso de "intervalos de compatibilidad" corre el riesgo de recrear dicotomías ocultas (aceptado/rechazado) o generar híbridos conceptuales inestables que fomentan conclusiones sobreconfiadas.
• Falta de contexto en la toma de decisiones: La evaluación puramente estadística ignora factores cruciales para la inferencia práctica, como el conocimiento del tema, la calidad de los datos, la plausibilidad de las asunciones y, fundamentalmente, la estructura de pérdidas (consecuencias de los errores).

2. Metodología y Marco Teórico

El autor desarrolla un marco interpretativo basado en una perspectiva frecuentista descriptiva, diferenciando explícitamente entre valores P de divergencia (descriptivos) y valores P de decisión (Greenland, 2023).

• Mundos Ficticios Pequeños: Se conceptualiza el análisis estadístico como la operación dentro de "mundos ficticios pequeños" definidos por un conjunto de asunciones $A$ (que codifican el proceso generador de datos) y una hipótesis objetivo específica $H_i$. Dentro de este mundo, el modelo $A + H_i$ se trata como verdadero provisionalmente.
• Reinterpretación de la Compatibilidad: Se redefine el valor P no como una medida de incompatibilidad lógica, sino como un índice gradado de compatibilidad entre el resultado observado y las predicciones del modelo. Un P bajo indica que el resultado es "atípico" o "raro" bajo el modelo, no imposible.
• Información Refutacional (S-valores): Se utiliza la transformación logarítmica en base 2 ($S = -\log_2 P$) para convertir el valor P en bits de información. Esto permite cuantificar la cantidad de información que los datos aportan en contra de la aceptabilidad de la hipótesis objetivo, condicionada al modelo de trabajo.
• Distinción de Conceptos de Sorpresa: Se distingue claramente entre:
  1. Sorpresa de tipo Shannon: Una medida puramente informacional basada en la probabilidad dentro del modelo (rara = alta sorpresa informacional), sin implicar revisión de creencias.
  2. Sorpresa Bayesiana: Implica una actualización de creencias (revisión del prior).
  3. Sorpresa Analítica: La sensación de sorpresa que experimenta el analista al comparar la hipótesis con los datos en el mundo real.

3. Contribuciones Clave

El artículo propone un cambio de paradigma en la interpretación de la evidencia estadística:

• Del "Rechazo" a la "Aceptabilidad": Se argumenta que la inferencia práctica no debe centrarse en si un modelo es "falso" o "verdadero", sino en si es aceptable para un propósito práctico dado. La aceptabilidad depende de la compatibilidad dato-modelo más consideraciones contextuales externas (conocimiento del dominio, calidad de datos, valores morales del analista).
• El Rol del Analista y la Estructura de Pérdidas: Se enfatiza que la decisión de refutar una hipótesis no es automática basada en el valor P/S, sino que está mediada por una función de pérdida. Las consecuencias de un error (ej. en medicina: efectos secundarios graves vs. leves) determinan cuánta información refutacional se requiere para considerar un modelo inaceptable.
• Clarificación del Lenguaje: Se aboga por abandonar el lenguaje de "incompatibilidad" (que sugiere conflicto binario) a favor de "compatibilidad gradada" o "información refutacional". Se advierte contra el uso de términos como "significativo" o "incompatible" de manera dicotómica o mal graduada.
• Jerarquía de Evidencia: Se distingue entre estudios individuales y la síntesis de evidencia. Los estudios individuales deben priorizar la descripción transparente de la relación dato-modelo, mientras que la evaluación de la aceptabilidad global y la toma de decisiones deben basarse en la acumulación de evidencia de múltiples fuentes.

4. Resultados y Argumentos Principales

• Interpretación de los S-valores: Los valores S no son evidencia contra el estatus epistémico del modelo (que se asume verdadero para el cálculo), sino una medida de la cantidad de información refutacional que los datos aportan contra la aceptabilidad práctica de la hipótesis.
• La Paradoja de la Rareza: Un resultado puede ser estadísticamente "raro" (alto valor S) bajo un conjunto de asunciones, pero si esas asunciones son dudosas o si las consecuencias de refutar la hipótesis son desproporcionadas, el modelo puede seguir siendo "aceptable" en la práctica.
• Analogía de la Moneda: Se utiliza la analogía de lanzar monedas para ilustrar que observar 2 caras en 2 lanzamientos (P=0.25, S=2 bits) puede no ser suficiente para refutar la hipótesis de una moneda justa en un contexto cotidiano, mientras que 10 caras en 10 lanzamientos (P=0.001, S=10 bits) sí podría motivar un cambio de juicio, dependiendo de la estructura de pérdidas.
• Advertencia sobre la Sorpresa Shannoniana: Aunque útil técnicamente, el autor desaconseja el uso rutinario del concepto de "sorpresa de Shannon" en campos aplicados (como la investigación clínica) debido al alto riesgo de que los no expertos confundan la rareza del dato con la probabilidad de la hipótesis (falacia de inversión).

5. Significado e Implicaciones

Este trabajo tiene un impacto significativo en la práctica de la estadística aplicada y la comunicación científica:

• Responsabilidad del Analista: Desplaza la carga de la interpretación desde el número estadístico hacia la competencia, intención y valores del analista. La estadística describe el mundo bajo ciertas asunciones, pero la decisión de aceptar o rechazar un modelo es un juicio humano contextual.
• Prevención de Daños: En campos de alto riesgo como la medicina, evitar la interpretación binaria y automática de los valores P puede prevenir decisiones erróneas que dañen a pacientes o desperdicien recursos.
• Mejora de la Síntesis de Evidencia: Al promover descripciones transparentes de la relación dato-modelo en lugar de juicios de aceptabilidad prematuros en estudios individuales, se facilita una meta-análisis y una síntesis de evidencia más robusta y acumulativa.
• Claridad Conceptual: Ofrece un vocabulario más preciso (compatibilidad, información refutacional, aceptabilidad) para reducir la ambigüedad y los malentendidos que han plagado el debate sobre la crisis de reproducibilidad y el uso de la significancia estadística.

En resumen, Rovetta propone un enfoque más cauteloso y explícito donde las medidas frecuentistas se entienden como herramientas descriptivas dentro de modelos ideales, y donde la inferencia real requiere integrar estas medidas con el juicio experto, el contexto y las consecuencias éticas de la decisión.