Resumo Técnico: Avaliação de Modelos de Aprendizado de Máquina para Predição de Fluxos de Detritos Pós-Incêndio

Definição do Problema

A predição de fluxos de detritos pós-incêndio é crítica para mitigar riscos a comunidades e infraestruturas em áreas recentemente queimadas durante períodos de chuva intensa. No entanto, identificar modelos de aprendizado de máquina (ML) confiáveis para esta tarefa é complicado por três desafios primários:

1. Sobreposição do Espaço de Atributos: Eventos de fluxo de detritos e não-fluxos de detritos exibem uma sobreposição significativa em seus sinais de chuva, severidade de queima e terreno, impedindo uma separação limpa por limiares simples.
2. Interpretabilidade e Confiança: Quando as classes se sobrepõem, diferentes famílias de modelos estabelecem fronteiras de decisão de formas distintas. Compreender em quais atributos os modelos de alto desempenho se baseiam não é trivial, mas essencial para diagnosticar se as predições refletem sinais robustos ou padrões espúrios.
3. Escassez e Desequilíbrio de Dados: Os conjuntos de dados disponíveis são tipicamente pequenos e desequilibrados em termos de classe (fluxos de detritos são o resultado minoritário), o que restringe a capacidade de um modelo de aprender a fronteira de decisão e limita desproporcionalmente a identificação de eventos positivos raros.

As abordagens operacionais atuais, como as do USGS, baseiam-se em modelos de regressão logística. Embora tenham sido relatados scores de ameaça (threat scores) aprimorados para outros modelos (ex: Random Forest, XGBoost), estudos anteriores frequentemente comparam apenas um punhado de modelos usando divisões únicas de treino-teste, levando a estimativas de desempenho variáveis. Além disso, modelos emergentes para dados tabulares, como os modelos de fundação, permanecem não avaliados neste domínio específico.

Metodologia

O estudo apresenta um rigoroso framework de avaliação comparando 15 modelos de cinco famílias distintas utilizando um conjunto de dados público do USGS composto por 1.550 observações de bacia-tempestade de 34 incêndios no oeste dos Estados Unidos (2000–2013).

Dados e Atributos

O conjunto de dados inclui rótulos de resposta binária (fluxo de detritos vs. não fluxo de detritos) e dez atributos numéricos:

• Chuva: Acúmulo da tempestade, duração, intensidade média e intensidades de pico aos 15, 30 e 60 minutos.
• Fogo e Terreno: Razão de Normalização de Queima Diferenciada (dNBR), proporção de bacia queimada com severidade alta/moderada em encostas íngremes (PropHM23) e área de contribuição.
• Solo: Fator de erodibilidade do solo USLE para fragmentos finos (KF).

Desenho Experimental

• Validação Cruzada: Os autores empregaram validação cruzada k-fold estratificada repetida (10 repetições, 50 divisões no total) para garantir estimativas de desempenho estáveis e evitar a sensibilidade a divisões específicas de dados.
• Pré-processamento: Um protocolo consistente foi aplicado, incluindo imputação específica por fold (usando relações físicas para chuva e regressão polinomial para dNBR) e padronização para modelos baseados em distância/kernel. Modelos baseados em árvores operaram com atributos brutos.
• Otimização de Hiperparâmetros: A otimização Bayesiana com 100 tentativas foi usada para maximizar o score de ameaça para a maioria dos modelos, com ajuste separado para condições de treinamento aumentadas e não aumentadas.
• Modelos Avaliados:
  • Logística: Staley17 (baseline operacional, 4 atributos) e Regressão Logística padrão (10 atributos).
  • Distância/Kernel: K-Nearest Neighbors (KNN), Support Vector Classifier (SVC).
  • Deep Learning: Multi-Layer Perceptron (MLP), 1D CNN, LSTM, Transformer e Mamba.
  • Baseados em Árvore: Random Forest, ExtraTrees, XGBoost, CatBoost e Recursive Feature Machines (xRFM).
  • Modelo de Fundação: Tabular Prior-Data Fitted Network (TabPFN), um Transformer pré-treinado que realiza aprendizado em contexto sem atualizações de parâmetros específicas do dataset.

Métricas de Avaliação

A métrica primária foi o Threat Score (TS) (Score de Jaccard), escolhido por sua robustez na avaliação de perigos com classes desequilibradas, pois desconsidera verdadeiros negativos. Métricas suplementares incluíram AUC, F1-score, precisão e recall.

Análises Adicionais

1. Importância de Atributos SHAP: Explicações de SHapley (SHAP) foram computadas para avaliar a dependência de atributos. Isso incluiu rankings globais, análise de estabilidade de folds e mapeamento espacial ao nível da bacia para verificar se os modelos se condicionaram a variações físicas de atributos ou a vieses globais.
2. Aumento de Dados Sintéticos: A extensão não supervisionada do TabPFN foi usada para gerar dados de treinamento condicionais à classe. A fidelidade desses dados foi avaliada usando estatísticas de Kolmogorov–Smirnov e distâncias de Wasserstein. O impacto do aumento foi avaliado re-treinando todos os 15 modelos em um dataset aumentado com essas linhas sintéticas.

Resultados Principais

Desempenho do Modelo (Não Aumentado)

• Top Performers: O TabPFN alcançou o maior score de ameaça médio (0,637), seguido de perto por um grupo coeso de modelos baseados em árvores: ExtraTrees (0,636), CatBoost (0,622), XGBoost (0,621) e Random Forest (0,620). A lacuna de desempenho entre os principais modelos foi negligível (amplitude de 0,017) e frequentemente dentro do desvio padrão da variabilidade de fold para fold.
• Comparação com Baseline: Os principais modelos não lineares superaram significativamente o modelo de regressão logística operacional Staley17 (TS 0,152) e a Regressão Logística padrão de 10 atributos (TS 0,412).
• Deep Learning: Modelos de deep learning sequenciais e orientados a imagem (CNN, LSTM, Transformer, Mamba) agruparam-se no nível intermediário (TS 0,426–0,459). Eles exibiram alto recall, mas baixa precisão, sugerindo super-predição sistemática, provavelmente devido a um descompasso entre sua alta capacidade e o pequeno tamanho amostral do dataset tabular.

Importância de Atributos

• Sinais Dominantes: Em todos os modelos de alto desempenho (TabPFN, Random Forest, XGBoost, CatBoost), os atributos de chuva (PeakI15, StormAccum, PeakI30) consistiram nos preditores mais importantes.
• Divergência: Os rankings para atributos secundários (severidade de queima, erodibilidade do solo) variaram significamente entre os modelos. Por exemplo, a erodibilidade do solo (KF) teve ranking alto para XGBoost e CatBoost, mas último para Random Forest.
• Consistência Física: A análise SHAP confirmou que os principais modelos atribuíram contribuições positivas a valores mais altos de severidade de queima, declividade do terreno, erodibilidade do solo e intensidade de chuva, alinhando-se às expectativas físicas. Mapas espaciais ao nível da bacia mostraram que os valores de SHAP rastrearam a variação espacial dos atributos, indicando que os modelos se condicionaram a quantidades físicas em vez de correlações espúrias.

Aumento de Dados Sintéticos

• Impacto em Modelos Restritos: O aumento proporcionou ganhos mais significativos para modelos com conjuntos de atributos restritos ou menor capacidade. O modelo Staley17 teve uma melhoria massiva (+0,133 no score de ameaça), e modelos de deep learning como LSTM e MLP também tiveram ganhos notáveis.
• Impacto nos Top Models: Os principais modelos baseados em árvores e o TabPFN viram melhorias marginais (≤ 0,022). O próprio TabPFN ganhou apenas +0,004, sugerindo que já havia saturado a informação disponível no dataset original.
• Conclusão sobre Aumento: O aumento de dados sintéticos não é uma melhoria universal; sua utilidade é maior para modelos que possuem capacidade ou conjuntos de atributos limitados, em vez de ser uma solução genérica para todas as famílias de modelos.

Significância e Alegações

O artigo afirma fornecer o primeiro benchmark abrangente para a predição de fluxos de detritos pós-incêndio que inclui o modelo de fundação TabPFN, interpretabilidade sistemática baseada em SHAP e uma avaliação de aumento de dados sintéticos.

Principais contribuições incluem:

1. Estabelecimento de um Teto de Desempenho: O estudo demonstra que existe um "topo prático" de modelos (TabPFN e principais ensembles de árvores) com scores de ameaça entre 0,62 e 0,64. O agrupamento apertado sugere que o desempenho é limitado pela sobreposição inerente dos dados e pelo tamanho da amostra, e não apenas pela arquitetura do modelo.
2. Eficiência Operacional: O TabPFN igualou ou superou o desempenho de modelos de árvores fortemente ajustados (como XGBoost e CatBoost) sem exigir qualquer ajuste de hiperparâmetros específicos do dataset, ofereando uma vantagem significativa para cenários operacionais de resposta rápida.
3. Validação de Interpretabilidade: O estudo valida que modelos não lineares modernos não dependem de padrões espúrios; eles convergem para a chuva como o principal sinal e respeitam as expectativas físicas para atributos secundários, apoiando seu uso junto a frameworks operacionais.
4. Aumento Direcionado: Os achados esclarecem que o aumento de dados sintéticos é mais eficaz para modelos com capacidade ou conjuntos de atributos limitados, em vez de ser uma solução de prateleira para todas as famílias de modelos.

Os autores mantêm uma postura modesta, observando que o dataset é geograficamente concentrado (61% do Sul da Califórnia) e temporalmente limitado (dois primeiros anos pós-incêndio). Consequentemente, embora os rankings dos modelos sejam robustos sob validação cruzada repetida, o estudo enfatiza que a transferibilidade espacial para diferentes regiões de incêndio e a transferibilidade temporal para estágios posteriores de recuperação requerem investigação adicional.