Pre-training Assessment of Model Transferability via Distribution Shift in Petroleum Engineering

Resumo Técnico: Avaliação de Pré-treinamento da Transferibilidade de Modelos via Deslocamento de Distribuição em Engenharia de Petróleo

Definição do Problema
Modelos baseados em dados são cada vez mais implementados na engenharia de petróleo para tarefas como caracterização de reservatórios, interpretação de perfis de poços e predição de produção. No entanto, surge um desafio crítico quando modelos treinados em um conjunto de dados de origem (ex: um poço ou campo específico) são aplicados a um conjunto de dados de destino com diferentes propriedades geológicas, condições operacionais ou sistemas de medição. Esse "deslocamento de distribuição" (distribution shift) frequentemente leva a uma degradação imprevisível no desempenho preditivo. Embora existam estratégias de aprendizado por transferência (transfer learning) e baseadas em similaridade para mitigar esses problemas, elas tipicamente exigem o retreinamento ou a adaptação do modelo após o deslocamento ser identificado. Atualmente, há uma carência de métricas simples e independentes de modelo que possam quantificar a dificuldade potencial de transferir um modelo antes do processo de treinamento começar.

Metodologia
Os autores propõem um framework de pré-treinamento projetado para quantificar o deslocamento de distribuição entre origem e destino e examinar sua relação com o subsequente desempenho de transferência zero-shot. A metodologia consiste em quatro etapas primárias:

1. Extração de Características: O framework utiliza um conjunto fixo de sete características de engenharia predefinidas derivadas de perfis de poços: Raio Gama (GR), Densidade de Massa (RHOB), Porosidade de Nêutron (NPHI), Fator Fotoelétrico (PEF), Resistividade Profunda (RDEP), Tempo de Trânsito Sônico Compressional (DTC) e Caliper (CALI). Essas características são extraídas tanto dos conjuntos de dados de origem quanto de destino sem depender de representações aprendidas.
2. Medição do Deslocamento de Distribuição: A diferença estatística entre as distribuições de origem e destino é medida utilizando distâncias baseadas em Wasserstein.
   • Deslocamento Marginal: A distância de Wasserstein de primeira ordem ($W_1$) é calculada para cada característica individualmente.
   • Deslocamento Multivariado: A distância de Sliced Wasserstein ($WS_1$) é empregada para capturar as diferenças de distribuição conjunta, projetando os dados multidimensionais em direções unidimensionais.
   • Um Índice de Deslocamento de Distribuição ($D_{S,T}$) é computado como a média dessas distâncias. Crucialmente, este índice é calculado utilizando apenas as distribuições das características, independentemente de qualquer modelo de predição.
3. Avaliação de Transferência Zero-Shot: Um classificador Random Forest (200 árvores) é treinado exclusivamente no domínio de origem. Ele é então avaliado diretamente no domínio de destino sem qualquer retreinamento, ajuste fino (fine-tuning) ou adaptação de domínio.
4. Correlação Estatística: O estudo analisa a relação entre o índice de deslocamento de pré-treinamento ($D_{S,T}$) e a degradação relativa de desempenho ($\Delta M$), definida como a diferença entre o desempenho de origem e de destino normalizada pelo desempenho de origem. Correlações de Pearson e Spearman são usadas para testar relações sistemáticas.

Configuração Experimental e Resultados
Devido à indisponibilidade do conjunto de dados real FORCE 2020 no ambiente de execução, os autores validaram o pipeline computacional utilizando um conjunto de dados sintéticos controlados, compreendendo 24 poços sintéticos (900 amostras de profundidade cada) e seis classes de litologia. Os dados sintéticos foram projetados para induzir o deslocamento de covariável (mudanças na distribuição de entrada) enquanto mantêm a relação subjacente entre os perfis e a litologia constante.

• Validação do Pipeline: O pipeline corrigido processou com sucesso os dados, calculando os índices de deslocamento e as métricas de desempenho zero-shot. A acurácia de validação de origem average foi de 0,833, enquanto a acurácia zero-shot de destino average foi de 0,830, com mudanças de desempenho relativo variando de -3,9% a +3,6%.
• Análise de Correlação: O estudo testou a hipótese de que maiores deslocamentos de distribuição correlacionam-se com maior degradação de desempenho.
  • Macro-F1: Uma correlação positiva foi observada entre os índices de deslocamento e a degradação do Macro-F1 (Spearman $\rho \approx 0,34$ para Sliced Wasserstein), sugerindo que poços com maiores diferenças distributivas tendem a sofrer maior perda de desempenho em métricas balanceadas por classe.
  • Acurácia: As correlações com a acurácia global foram negativas e fracas.
  • Significância: Nenhuma das correlações atingiu o nível de significância estatística convencional ($p < 0,05$). Os autores atribuem isso ao pequeno tamanho da amostra (24 casos) e à natureza controlada dos dados sintéticos, que careciam de "deslocamento de conceito" (mudanças na relação condicional entre entradas e rótulos).

Principais Contribuições

1. Avaliação de Pré-treinamento Independente de Modelo: O estudo introduz um framework de diagnóstico que quantifica a compatibilidade origem-destino usando apenas as distribuições brutas das características, permitindo que engenheiros avaliem o risco de transferência antes de investir no desenvolvimento do modelo.
2. Desacoplamento de Métricas de Dados e Modelo: O framework separa explicitamente a medição do deslocamento de distribuição ao nível dos dados da performance ao nível do modelo, fornecendo um elo estatístico claro entre ambos.
3. Uso de Distâncias de Wasserstein: A aplicação de distâncias de Wasserstein e Sliced Wasserstein fornece uma medida robusta e sensível à magnitude de discrepância distributiva, adequada para dados de engenharia multivariados.
4. Pipeline Reproduzível: Os autores fornecem um fluxo de trabalho completo e executável (detalhado nos Apêndices) que parte de arquivos LAS brutos, garantindo que a metodologia possa ser reproduzida no conjunto de dados FORCE 2020 completo assim que estiver acessível.

Significância e Alegações
O artigo alega modestamente que o framework proposto fornece uma ferramenta de diagnóstico preliminar, em vez de um preditor definitivo de falha de modelo. Os autores enfatizam que os resultados atuais, derivados de dados sintéticos, oferecem um "suporte inicial e consistente em direção" para a hipótese de que o deslocamento de distribuição no pré-treinamento prevê a degradação do desempenho zero-shot, particularmente quando medido via Macro-F1.

A significância reside no potencial deste índice de servir como uma medida de triagem precoce. Um valor alto de deslocamento de distribuição não garante a falha do modelo, mas indica que o poço de destino possui uma distribuição de perfis estatisticamente muito diferente da população de origem. Isso sinaliza aos engenheiros que o cenário de transferência pode ser desafiador e requer uma investigação mais profunda sobre configurações geológicas, propriedades petrofísicas ou condições de medição antes da implementação. Os autores declaram explicitamente que os achados atuais não são conclusivos e que o próximo passo crítico é aplicar o mesmo pipeline ao conjunto de dados FORCE 2020 real, que é geologicamente diverso, para verificar a significância estatística e a generalização.