Deployment-complete benchmarking

Resumen Técnico: Evaluación de Rendimiento Completa para Despliegue

Enunciado del Problema
Las evaluaciones de rendimiento actuales de aprendizaje automático guían cada vez más decisiones críticas de despliegue, como la adquisición de modelos, la selección de materiales y la clasificación de compuestos. Sin embargo, existe una desconexión fundamental: una puntuación de evaluación proporciona evidencia solo para la respuesta específica que registra (por ejemplo, precisión de predicción en un conjunto de prueba), no necesariamente para la acción de despliegue requerida (por ejemplo, seguridad, robustez o un umbral físico específico). Un modelo puede rendir perfectamente en una evaluación mientras que la acción derivada de esa puntuación permanece subdeterminada, porque el despliegue depende de respuestas fuera del alcance de la evaluación (por ejemplo, toxicidad, estabilidad o robustez frente a distribuciones fuera de la muestra). Este artículo argumenta que las métricas estándar como precisión, calibración e incertidumbre no garantizan que una puntuación de evaluación respalde una afirmación específica de despliegue.

Metodología
Los autores introducen la evaluación de rendimiento completa para despliegue, un marco que trata la transición de la evidencia de la evaluación a la acción de despliegue como un problema de factorización matemática.

• Definiciones Formales:

  • Sea $S$ el espacio de candidatos, $Z$ el espacio de evidencia registrada (puntuaciones de evaluación) y $A$ el espacio de acciones de despliegue.
  • Una evaluación registra un mapa de evidencia $E: S \to Z$. Una afirmación de despliegue es una acción $D: S \to A$.
  • Completitud de la Afirmación: Una evaluación es completa para una afirmación $D$ si y solo si $D$ es constante en cada fibra de evidencia $E^{-1}(z)$. Equivalentemente, debe existir un mapa $\phi: Z \to A$ tal que $D = \phi \circ E$.
  • Fibras Mixtas: Si una fibra $E^{-1}(z)$ contiene candidatos que requieren diferentes acciones de despliegue (por ejemplo, un candidato debe desplegarse y otro rechazarse), es una "fibra mixta". Esto sirve como testigo matemático de que la evidencia reportada es insuficiente para determinar la acción.

• Herramientas de Diagnóstico:

  • Auditoría de Fibras Mixtas: Un diagnóstico que cuenta la fracción de candidatos que residen en fibras mixtas.
  • Curvas de Completitud: Estas cuantifican el costo (en términos de sondas de respuesta adicionales o presupuesto) requerido para resolver la ambigüedad. Grafican la "fracción certificada" (candidatos con fibras puras) frente al "presupuesto de respuesta".
  • Tipos de Certificación: El artículo distingue entre certificación exacta (conjuntos finitos con etiquetas conocidas), certificación de calibración (riesgo empírico en datos retenidos) y certificación predicha (límites de intervalo basados en supuestos de modelado).

• Diseño Experimental:

  • Espacios de Respuesta Controlados: Experimentos sintéticos donde la geometría del espacio de respuesta es conocida, permitiendo el cálculo preciso del "tamaño residual" (el componente de la respuesta de despliegue invisible para la evaluación).
  • Auditorías Públicas: Análisis de conjuntos de datos existentes (Tox21, Matbench, JARVIS, Visión) para medir la prevalencia de fibras mixtas en evaluaciones del mundo real.
  • Reproducciones con Datos Retenidos: Simulaciones operativas donde se prueba un flujo de trabajo de "certificar luego adquirir". Los candidatos con fibras puras se deciden inmediatamente; aquellos en fibras mixtas se envían a medición adicional (adquisición).

Resultados Clave

1. Precisión de la Evaluación $\neq$ Completitud para Despliegue:

   • En experimentos controlados, la predicción conformal del canal de evaluación logró una cobertura del 94.98% en las etiquetas medidas, pero solo del 10.07% en el canal de despliegue no medido.
   • Incluso con error de evaluación cero (predicción perfecta en la evaluación), la cobertura de despliegue colapsó (al 45.4% en un tamaño residual específico) porque la dirección de despliegue tenía un componente ortogonal al rango de la evaluación.
   • Inversión de la Tabla de Clasificación: El modelo con el mejor Error Absoluto Medio (MAE) en la evaluación a menudo fue el peor en certificar candidatos de despliegue. En algunas ejecuciones, el modelo con mejor MAE certificó solo el 6% de sus mejores candidatos, mientras que un modelo con peor MAE certificó el 100% porque su rango de respuesta cubría la sonda de despliegue.

2. Incompletitud Sistémica en Evaluaciones Públicas:

   • Tox21: El 97.9% de las fibras (grupos de compuestos con perfiles idénticos de 7 ensayos) fueron mixtas con respecto al punto final de despliegue SR-p53.
   • Matbench y JARVIS: En las auditorías principales de 20 cuantiles, la fracción certificable mediana para afirmaciones de estabilidad y de banda prohibida fue del 0%.
   • Visión: Las fibras de predicción limpia dejaron el 22.7% de las afirmaciones de robustez frente a corrupción ambiguas.

3. Impacto Operativo de Políticas Conscientes de la Completitud:

   • Reducción de Decisiones Falsas: En las reproducciones con datos retenidos de Tox21, un flujo de trabajo de "certificar luego adquirir" redujo las decisiones falsas empíricas del 1.19% (política de mayoría de evaluación) al 0.027%. En JARVIS, las decisiones falsas de banda prohibida cayeron del 20.3% al 0.128%.
   • Selección de Modelos: Los flujos de trabajo conscientes de la completitud seleccionaron modelos diferentes a los flujos de trabajo basados en MAE de evaluación. En una división representativa de JARVIS, el modelo basado en MAE de evaluación tomó 613 decisiones falsas de banda prohibida, mientras que el flujo de trabajo seleccionado por respuesta no tomó ninguna.
   • Selección de Sondas: Las políticas de "rango de respuesta" y "codicioso residual" identificaron con éxito sondas relevantes para el despliegue (por ejemplo, ensayos de toxicidad específicos o cálculos de banda prohibida) que redujeron la ambigüedad, superando a las estrategias de adquisición basadas en incertidumbre o diversidad.

Significado y Afirmaciones
El artículo afirma que las evaluaciones listas para despliegue deben cambiar su estándar de reporte de "solo puntuaciones" a un paquete de evidencia auditable. Este paquete debe incluir:

1. La puntuación.
2. El mapa de evidencia utilizado.
3. La acción específica que la puntuación pretende respaldar.
4. La fracción de candidatos cuya acción ya está determinada (fibras puras).
5. La fracción de ambigüedad (fibras mixtas).
6. El costo de completitud (presupuesto requerido para resolver la ambigüedad).

Los autores argumentan que la precisión, la calibración y la estimación de incertidumbre siguen siendo valiosas para la clasificación y la fiabilidad, pero responden a preguntas diferentes. La completitud para despliegue pregunta específicamente si el paquete de evidencia determina la acción. El marco proporciona un diagnóstico para cuando la evidencia es insuficiente, un límite sobre lo que las estadísticas pueden reparar en información faltante (nada, si dependen únicamente de la misma evidencia) y una regla de diseño para adquirir la información necesaria para respaldar las decisiones de despliegue.

Limitaciones y Alcance
El artículo no afirma que todas las evaluaciones sean inútiles, sino que a menudo son incompletas para afirmaciones específicas de despliegue. El flujo de trabajo de "certificar luego adquirir" trata a los candidatos ambiguos no como fallos, sino como solicitudes de medición adicional. El marco es relativo a la evidencia; agregar descriptores, restricciones o nuevas mediciones cambia el mapa de evidencia y puede reducir los costos de completitud. Los resultados se presentan como evaluaciones de riesgo empírico en datos retenidos y diagnósticos matemáticos en conjuntos finitos, en lugar de garantías formales de población para distribuciones no observadas.