Pre-training Assessment of Model Transferability via Distribution Shift in Petroleum Engineering

Resumen Técnico: Evaluación del preentrenamiento de la transferibilidad de modelos mediante el desplazamiento de distribución en la ingeniería de petróleo

Planteamiento del problema
Los modelos basados en datos se despliegan cada vez más en la ingeniería de petróleo para tareas como la caracterización de yacimientos, la interpretación de registros de pozos y la predicción de producción. Sin embargo, surge un desafío crítico cuando los modelos entrenados en un conjunto de datos de origen (por ejemplo, un pozo o campo específico) se aplican a un conjunto de datos de destino con diferentes propiedades geológicas, condiciones operativas o sistemas de medición. Este "desplazamiento de distribución" (distribution shift) a menudo conduce a una degradación impredecible en el rendimiento predictivo. Aunque existen estrategias de aprendizaje por transferencia y basadas en la similitud para mitigar estos problemas, estas suelen requerir el reentrenamiento o la adaptación del modelo después de que se identifica el desplazamiento. Actualmente, existe una falta de métricas sencillas e independientes del modelo que puedan cuantificar la dificultad potencial de transferir un modelo antes de que comience el proceso de entrenamiento.

Metodología
Los autores proponen un marco de preentrenamiento diseñado para cuantificar el desplazamiento de la distribución origen-destino y examinar su relación con el desempeño posterior de la transferencia de modelo de disparo cero (zero-shot). La metodología consta de cuatro pasos principales:

1. Extracción de características: El marco utiliza un conjunto fijo de siete características de ingeniería predefinidas derivadas de los registros de pozos: Rayos Gamma (GR), Densidad Global (RHOB), Porosidad de Neutrón (NPHI), Factor de Fotoeléctrico (PEF), Resistividad Profunda (RDEP), Tiempo de Tránsito Sónico Compresional (DTC) y Caliper (CALI). Estas características se extraen tanto de los conjuntos de datos de origen como de los de destino sin depender de representaciones aprendidas.
2. Medición del desplazamiento de distribución: La diferencia estadística entre las distribuciones de origen y destino se mide utilizando distancias basadas en Wasserstein.
   • Desplazamiento Marginal: Se calcula la distancia de Wasserstein de primer orden ($W_1$) para cada característica individualmente.
   • Desplazamiento Multivariante: Se emplea la distancia de Wasserstein rebanada (Sliced Wasserstein distance, $WS_1$) para capturar las diferencias en la distribución conjunta mediante la proyección de datos multidimensionales sobre direcciones unidimensionales.
   • Se computa un Índice de Desplazamiento de Distribución ($D_{S,T}$) como el promedio de estas distancias. Crucialmente, este índice se calcula utilizando únicamente las distribuciones de las características, independientemente de cualquier modelo de predicción.
3. Evaluación de transferencia de disparo cero (Zero-Shot): Se entrena un clasificador de Bosque Aleatorio (Random Forest) de 200 árboles exclusivamente en el dominio de origen. Posteriormente, se evalúa directamente en el dominio de destino sin ningún reentrenamiento, ajuste fino (fine-tuning) o adaptación de dominio.
4. Correlación Estadística: El estudio analiza la relación entre el índice de desplazamiento de preentrenamiento ($D_{S,T}$) y la degradación relativa del desempeño ($\Delta M$), definida como la diferencia entre el desempeño de origen y el de destino normalizada por el desempeño de origen. Se utilizan las correlaciones de Pearson y Spearman para probar relaciones sistemáticas.

Configuración Experimental y Resultados
Debido a la indisponibilidad del conjunto de datos real FORCE 2020 en el entorno de ejecución, los autores validaron el flujo de trabajo computacional utilizando un conjunto de datos sintéticos controlados que comprende 24 pozos sintéticos (900 muestras de profundidad cada uno) y seis clases de litología. Los datos sintéticos fueron diseñados para inducir un desplazamiento de covariables (cambios en la distribución de entrada) manteniendo constante la relación subyacente entre los registros y la litología.

• Validación del Flujo de Trabajo: El flujo de trabajo corregido procesó exitosamente los datos, calculando los índices de desplazamiento y las métricas de desempeño de disparo cero. La precisión de validación de origen promedió 0.833, mientras que la precisión de disparo cero de destino promedió 0.830, con cambios de desempeño relativo que oscilaron entre -3.9% y +3.6%.
• Análisis de Correlación: El estudio probó la hipótesis de que mayores desplazamientos de distribución se correlacionan con una mayor degradación del desempeño.
  • Macro-F1: Se observó una correlación positiva entre los índices de desplazamiento y la degradación de Macro-F1 (Spearman $\rho \approx 0.34$ para Wasserstein rebanado), lo que sugiere que los pozos con mayores diferencias distribucionales tienden a sufrir una mayor pérdida de desempeño en métricas balanceadas por clase.
  • Exactitud (Accuracy): Las correlaciones con la exactitud general fueron negativas y débiles.
  • Significancia: Ninguna de las correlaciones alcanzó el nivel de significancia estadística convencional ($p < 0.05$). Los autores atribuyen esto al pequeño tamaño de la muestra (24 casos) y a la naturaleza controlada de los datos sintéticos, que carecieron de "desplazamiento de concepto" (cambios en la relación condicional entre las entradas y las etiquetas).

Contribuciones Clave

1. Evaluación de Preentrenamiento Independiente del Modelo: El estudio introduce un marco de diagnóstico que cuantifica la compatibilidad origen-destino utilizando únicamente las distribuciones de las características brutas, permitiendo a los ingenieros evaluar el riesgo de transferencia antes de invertir en el desarrollo del modelo.
2. Desacoplamiento de Métricas de Datos y de Modelo: El marco separa explícitamente la medición del desplazamiento de distribución a nivel de datos del desempeño a nivel de modelo, proporcionando un vínculo estadístico claro entre ambos.
3. Uso de Distancias de Wasserstein: La aplicación de distancias de Wasserstein y de Wasserstein rebanada proporciona una medida robusta y sensible a la magnitud de la discrepancia distributiva, adecuada para datos de ingeniería multivariantes.
4. Flujo de Trabajo Reproducible: Los autores proporcionan un flujo de trabajo completo y ejecutable (detallado en los Apéndices) que parte de archivos LAS originales, asegurando que la metodología pueda ser reproducida en el conjunto de datos completo de FORCE 2020 una vez que esté accesible.

Significancia y Afirmaciones
El artículo afirma modestamente que el marco propuesto constituye una herramienta de diagnóstico preliminar en lugar de un predictor definitivo de falla del modelo. Los autores enfatizan que los resultados actuales, derivados de datos sintéticos, ofrecen un "apoyo inicial y consistente en la dirección" para la hipótesis de que el desplazamiento de la distribución de preentrenamiento predice la degradación del desempeño de disparo cero, particularmente cuando se mide mediante Macro-F1.

La significancia radica en el potencial de este índice para servir como una medida de detección temprana. Un valor alto de desplazamiento de distribución no garantiza la falla del modelo, pero indica que el pozo de destino posee una distribución de registros estadísticamente muy diferente de la población de origen. Esto señala a los ingenieros que el escenario de transferencia puede ser desafiante y requiere una investigación más profunda sobre los entornos geológicos, las propiedades petrofísicas o las condiciones de medición antes de su despliegue. Los autores declaran explícitamente que los hallazgos actuales no son concluyentes y que el siguiente paso crítico es aplicar el mismo flujo de trabajo al conjunto de datos real y geológicamente diverso de FORCE 2020 para verificar la significancia estadística y la generalizabilidad.