Optimal Inference with Black-box Predictions

Resumen Técnico: Inferencia Óptima con Predicciones de Caja Negra

Planteamiento del Problema
Este trabajo aborda el desafío de realizar pruebas de hipótesis estadísticas válidas y eficientes en entornos de alta dimensión cuando se dispone de predicciones auxiliares de caja negra sobre la distribución de los datos. Específicamente, los autores estudian el modelo de secuencias gaussianas donde se observan $n$ muestras $X_1, \dots, X_n \sim N(\theta, I_d/n)$ y $m$ predicciones de caja negra fijas $\{\hat{\theta}_1, \dots, \hat{\theta}_m\}$ de la media desconocida $\theta \in \mathbb{R}^d$. El objetivo es contrastar la hipótesis nula $H_0: \theta = 0$ frente a la alternativa $H_1: \|\theta\|_2 \geq \epsilon$.

Existe una tensión central: mientras que las predicciones informativas pueden concentrar el poder estadístico en direcciones específicas, las predicciones deficientes pueden inducir a error a una prueba. Crucialmente, en la práctica, la precisión (radio de error) de estas predicciones es desconocida. El artículo busca caracterizar los límites de información teórica de la inferencia en este escenario y desarrollar pruebas que se adapten a precisiones de predicción desconocidas sin sacrificar la validez.

Metodología y Marco de Trabajo
Los autores emplean un marco minimax para analizar la dificultad de distinguir $H_0$ de $H_1$. Definen el escenario "oráculo" donde las precisiones de las predicciones $r = (r_1, \dots, r_m)$ son conocidas, y el escenario "adaptativo" donde son desconocidas.

1. Inferencia de Oráculo: Cuando las precisiones son conocidas, la hipótesis alternativa se localiza en la intersección de bolas $B_r = \bigcap_{i=1}^m B(\hat{\theta}_i, r_i)$. Los autores caracterizan la tasa de separación óptima $\epsilon^*(r)$ basada en la geometría de la intersección $S_\epsilon \cap B_r$ (donde $S_\epsilon$ es la esfera de radio $\epsilon$).

   • Introducen $\gamma_*(\epsilon, r)$, la longitud de la proyección más pequeña de la media alternativa sobre el subespacio de las predicciones.
   • Definen una "similitud de coseno de caso peor" $CS(\epsilon, r)$ para medir la alineación entre la media de los datos y el subespacio de la predicción.
   • La prueba de oráculo óptima alterna entre una prueba estándar de chi-cuadrado (cuando las predicciones no son informativas) y una prueba basada en la razón de verosimilitud o en proyecciones (cuando las predicciones son informativas).

2. Inferencia Adaptativa (Predicciones Ortogonales): Cuando las predicciones son ortogonales y las precisiones son desconocidas, los autores proponen una prueba adaptativa que agrega proyecciones sobre todas las direcciones de predicción utilizando un estadístico de chi-cuadrado sobre el subespacio de las predicciones. Analizan la "brecha de adaptabilidad" (el costo en tamaño de muestra requerido debido a que la prueba no puede ponderar las direcciones según sus precisiones desconocidas).

3. Inferencia Adaptativa (Predicciones Arbitrarias): Para predicciones no ortogonales (por ejemplo, provenientes del mismo modelo mediante remuestreo), las pruebas de proyección estándar son subóptimas porque tratan todas las direcciones en el subespacio por igual. Los autores proponen una prueba de proyección intrínseca. Este método pondera las proyecciones basándose en los valores singulares de la matriz de predicción $\hat{U}$, utilizando específicamente la matriz de similitud de coseno al cuadrado $\Sigma = \hat{U}^T \hat{U}$. La prueba estadística depende de la dimensión intrínseca de $\Sigma^2$, definida como $Int(\Sigma^2) = \text{Tr}(\Sigma^2) / \|\Sigma^2\|_{op}$, en lugar de la dimensión ambiental del subespacio de la predicción.

Contribuciones Clave y Resultados

• Límites de Oráculo (Teoremas 1 y 2): Los autores caracterizan la complejidad de muestreo óptima para una prueba de oráculo. La tasa depende de la similitud de coseno de caso peor entre la media verdadera y el subespacio de la predicción.

  • Si la similitud es baja ($CS \lesssim d^{-1/4}$), la predicción no ofrece beneficio, y la tasa permanece en la tasa sin predicción de $n \gtrsim \sqrt{d}/\epsilon^2$.
  • Si la similitud es alta, el oráculo logra tasas independientes de la dimensión $n \gtrsim 1/\gamma_*^2$, reduciendo efectivamente el problema a una prueba unidimensional.
  • Si la predicción es extremadamente precisa (esferas disjuntas), se logran tasas paramétricas $n \gtrsim 1/\|\theta^*\|^2$.

• Costo de la Adaptación para Predicciones Ortogonales (Teoremas 3 y 4): Para predicciones ortogonales, los autores establecen que una prueba adaptativa requiere un tamaño de muestra mayor por un factor de $\sqrt{m}$ en comparación con el oráculo.

  • La tasa adaptativa es $n \gtrsim \sqrt{m}/\gamma_*^2$.
  • Esta brecha surge porque la prueba adaptativa debe buscar desviaciones a través de todas las $m$ direcciones ortogonales, mientras que el oráculo puede agregarlas en una única dirección óptima.
  • Los autores demuestran que esta dependencia de $\sqrt{m}$ es óptima entre las curvas de separación que satisfacen una propiedad de invarianza natural (Propiedad 1), mostrando que es imposible obtener un "almuerzo gratis" para predicciones ortogonales.

• Adaptación para Predicciones Arbitrarias (Teorema 5): Para predicciones no ortogonales, los autores muestran que el costo de la adaptación depende de la dimensión intrínseca ($Int(\Sigma^2)$) en lugar del número de predicciones $m$ o del rango del subespacio.

  • La prueba adaptativa que utiliza la proyección intrínseca logra tasas $n \gtrsim \sqrt{Int(\Sigma^2)}/\tilde{\gamma}_*^2$.
  • Dado que $Int(\Sigma^2) \leq \text{rank}(\hat{U})$, las predicciones no ortogonales (que a menudo se agrupan) pueden reducir significamente el costo de adaptabilidad en comparación con el caso ortogonal.
  • El artículo demuestra que cuando las predicciones comparten información sustancial (baja dimensión intrínseca), los métodos adaptativos pueden superar a los métodos competidores que ignoran esta estructura.

Significancia y Reivindicaciones
El artículo afirma proporcionar un principio unificador para integrar predicciones de caja negra en el contraste de hipótesis. Sus principales contribuciones son:

1. Caracterización de Límites: Establece los límites de información teórica de la inferencia con predicciones de caja negra, distinguiendo entre regímenes donde las predicciones son útiles o inútiles basándose en la alineación geométrica.
2. Cuantificación de los Costos de Adaptación: Cuantifica rigurosamente el "costo de la adaptación" (la penalización en el tamaño de la muestra por no conocer la precisión de la predicción). Revela que para predicciones ortogonales, este costo escala con $\sqrt{m}$, pero para predicciones correlacionadas, escala con la dimensión intrínseca del conjunto de predicción.
3. Algoritmos Prácticos: Propone pruebas adaptativas prácticas (basadas en proyecciones y de proyección intrínseca) que ajustan automáticamente la asignación de potencia. Estas pruebas son válidas independientemente de la calidad de la predicción (manteniendo el control del error de Tipo I) pero logran una potencia óptima cuando las predicciones son informativas.

Los autores posicionan este trabajo dentro del contexto más amplio de la inferencia agnóstica a la estructura y la inferencia impulsada por predicciones, extendiendo estos conceptos al contraste de hipótesis. Enfatizan que, si bien las predicciones pueden mejorar la eficiencia, la estrategia óptima depende críticamente de la relación geométrica entre la predicción y la verdad desconocida, y que la adaptabilidad a la calidad desconocida incurre en un costo específico y cuantificable.