Prior-matched evaluation of operational Earth-observation classifiers: a three-number reporting method demonstrated on Sentinel-1 internal-wave detection

Resumen Técnico: Evaluación con Emparejamiento de Prior en Clasificadores Operativos de Observación de la Tierra

Declaración del Problema
Los clasificadores operativos de observación de la Tierra suelen sufrir un artefacto de reporte sistemático causado por un desajuste entre el prior de clase utilizado durante el entrenamiento/evaluación y el prior real encontrado en el despliegue. El Servicio de Ondas Internas, que examina el archivo de modo de onda de Sentinel-1 en busca de ondas solitarias internas, ejemplifica este problema. El clasificador del servicio fue entrenado y evaluado con un conjunto de datos balanceado (relación 1:1 entre ondas y no-ondas), una convención heredada de la fase inicial de "prioridad en la recuperación" (recall-first) del servicio, cuando la tasa positiva operativa era desconocida. Sin embargo, el flujo operativo real exhibe un prior fuertemente sesgado de aproximadamente 0.05 (una escena de onda por cada veinte).

Este desajuste crea un panorama de evaluación engañoso. Un modelo que reporta una alta precisión de prueba balanceada (por ejemplo, 0.794) puede entregar una precisión drásticamente menor en la operación real (por ejemplo, 0.192) con el mismo umbral de decisión. El artículo argumenta que las métricas estándar como la precisión de prueba balanceada son "optimistas" e invisibles al error sistemático que introducen. Además, se demuestra que los remedios comunes, como la corrección de prior o la calibración de probabilidad, son ineficaces para mejorar la precisión a un recall fijo; estos métodos son transformaciones monótonas de la puntuación que simplemente relocalizan el umbral de operación sin desplazar la curva de precisión-recuperación subyacente. El problema central se identifica no como un defecto de entrenamiento, sino como un problema de evaluación que requiere un método de reporte que coincida con el prior de despliegue.

Metodología
El artículo propone un "método de reporte con emparejamiento de prior" basado en un eje de tres números para caracterizar un clasificador operativo, junto con un ciclo de desarrollo riguroso diseñado para aislar las ganancias de rendimiento.

1. El Eje de Reporte de Tres Números:

   • Rendimiento de Prueba Balanceada: La métrica convencional (precisión, recall, F1) en un conjunto de prueba con proporciones de clase iguales. Esto sirve como una línea base de advertencia, exponiendo la brecha entre el reporte convencional y la realidad.
   • Rendimiento de Prior Operativo: El rendimiento del modelo en un conjunto de prueba congelado construido específicamente a la tasa positiva operativa (0.05). Esta cifra está diseñada para predecir la precisión que un validador enfrentará realmente en el campo.
   • Rendimiento Operativo Real: La verdad de terreno obtenida post-despliegue mediante la adjudicación experta de las detecciones del modelo en el flujo en vivo. Esto es un compromiso hacia adelante, pre-registrado para cerrar el ciclo de evaluación.

2. Diseño del Instrumento de Evaluación:

   • Conjunto de Datos Congelado y con Control de Fuga (Leakage): El conjunto de datos fue fijado antes de la división para evitar que el archivo creciente se filtrara en la evaluación. La fuga espacial se controla al nivel de "punto caliente" (hotspot, definido por el solapamiento real de la huella de la imagen) en lugar de por radio de centroide, asegurando que escenas casi idénticas de la misma órbita no crucen los cortes de entrenamiento/desarrollo/prueba.
   • Caja Fuerte Sellada (Sealed Lockbox): Un conjunto de prueba (1,537 positivos, 29,203 negativos) se sella fuera del sitio con sumas de verificación (checksums) y se lee exactamente una vez en un umbral pre-registrado.
   • Disciplina de Operación: El servicio opera bajo una disciplina de "prioridad en la precisión" con un recall mantenido en un piso de 0.80. Esto se justifica porque las ondas perdidas son recuperables mediante la repetición de órbitas y el reprocesamiento de archivos, mientras que los falsos positivos consumen la atención experta escasa.

3. Ciclo de Desarrollo:

   • Las mejoras se buscaron mediante intervenciones de palanca única, cada una aislada y promovida solo si excedía un margen pre-registrado (0.021).
   • Palancas Probadas:
     • Ajuste de Umbral: Mover el punto de operación a lo largo de la curva existente (alivio inmediato, pero sin elevar la curva).
     • Variedad de Datos: Aumentar la variedad de negativos (ampliando la clase negativa) mejoró la precisión, mientras que desplazar la relación de entrenamiento hacia el prior operativo no lo hizo (confirmando la inercia de la corrección de prior a un recall fijo).
     • Capacidad: Aumentar el ancho de la red mostró rendimientos decrecientes; más allá de cierto punto, los parámetros añadidos no superaron el margen de promoción.
     • Cabezal de Agregación: Reemplazar el global-average pooling con Generalized-Mean (GeM) pooling mejoró significamente la precisión al suprimir mejor los confusores geofísicos específicos (texturas superficiales bandeadas que imitan ondas) que el average pooling no lograba distinguir.

Resultos Clave

• El Efecto del Prior: El modelo incumbente demostró el artefacto sistemático: una precisión de prueba balanceada de 0.794 frente a una precisión operativa real de 0.192.
• Mejora del Modelo: El modelo promovido (usando Geem pooling y datos negativos variados) logró una precisión de 0.927 en el prior operativo ( recall 0.827) en la caja fuerte sellada. En contraste, el mismo modelo en un conjunto balanceado reportó una precisión de 0.996, ilustrando que la cifra balanceada supera umbrales de desempeño (ej. F1 > 0.90) que la cifra operativa honesta no alcanza.
• Robustez Fuera del Tiempo: Una verificación independiente en datos recolectados después del congelamiento del conjunto de datos mostró que, si bien la discriminación del modelo (AUC) se mantuvo estable (0.993 $\to$ 0.987), el punto de operación fijo decayó. La precisión bajó de 0.927 a 0.810, y la tasa de falsos positivos se triplicó, resaltando que un umbral fijo no es una cantidad de "configurar y olvidar" y requiere re-validación contra datos actuales.
• Cambio de Restricción: El ciclo de desarrollo reveló que la restricción vinculante se ha desplazado de la arquitectura del modelo al tamaño de la masa de falsos positivos reducible. La palanca de agregación se agotó, y los incrementos adicionales de capacidad no produjeron ganancias significativas, indicando que las mejoras futuras requieren más datos validados en lugar de redes más grandes.

Significancia y Reivindicaciones
El artículo afirma que el desajuste entre los priors de entrenamiento y las realidades de despliegue es un problema de evaluación, no de entrenamiento. Su contribución principal es un método de reporte con emparejamiento de prior que hace visible el "efecto del prior" en lugar de ocultarlo. Al reportar el contraste entre las cifras de prueba balanceada, de prior operativo y de operación real, el método proporciona una "medida honesta" de la habilidad del clasificador.

Los autores enfatizan que este enfoque no es específico para ondas internas o Sentinel-1, sino que es una convención portable para cualquier servicio de observación de la Tierra que esté iniciando un detector de eventos raros bajo un prior desconocido o cambiante. El trabajo también establece una disciplina de reproducibilidad mediante conjuntos de datos fijados, divisiones con control de fuga y evaluaciones de lectura única selladas. Finalmente, el artículo concluye que el próximo ciclo de mejora para este servicio no vendrá de modelos más grandes, sino de la expansión del conjunto de datos validado para abordar la masa de falsos positivos irreducible, y de la validación de los puntos de operación contra cortes de catálogo actuales en lugar de confiar en los umbrales del conjunto de desarrollo.