Knowledge-Guided Machine Learning: Illustrating the use of Explainable Boosting Machines to Identify Overshooting Tops in Satellite Imagery

Este trabalho demonstra o uso de Máquinas de Reforço Explicáveis (EBMs) em uma colaboração humano-máquina para identificar topos de nuvens penetrantes em imagens de satélite, utilizando técnicas de aprendizado de máquina guiado por conhecimento para extrair características escalares e criar um modelo meteorológico totalmente interpretável que incorpora estratégias humanas, mesmo que com uma precisão ligeiramente inferior a abordagens mais complexas.

O essencial

Imagine que você tem um assistente muito inteligente, mas um pouco misterioso, chamado "Inteligência Artificial" (IA). Esse assistente é ótimo para prever o tempo, mas ele tem um defeito grave: ele é um caixa-preta. Você pede a ele para identificar nuvens de tempestade perigosas, e ele aponta para o lugar certo, mas se você perguntar "por que?", ele não consegue explicar. Pior ainda, ele pode ter aprendido truques estranhos, como achar que uma tempestade existe apenas porque há uma etiqueta de "foto de cavalo" no canto da imagem (um erro famoso de IA), e não porque a nuvem realmente parece perigosa.

Este artigo é sobre como criar um novo tipo de assistente, chamado Máquina de Reforço Explicável (EBM), que é como um assistente que sempre explica o seu raciocínio e, o melhor de tudo, permite que você corrija os erros dele com a mão, sem precisar reensiná-lo do zero.

Aqui está a história do que os autores fizeram, usando analogias simples:

1. O Problema: O Detetive que não Explica

Os meteorologistas querem usar satélites para encontrar "Topos de Nuvem que Atravessam" (chamados de Overshooting Tops ou OTs). São aquelas nuvens que crescem tanto que furam a camada superior da atmosfera. Quando elas aparecem, é sinal de tempestades violentas (raios, granizo, tornados).

Antes, usavam-se IAs complexas (como Redes Neurais) para achar essas nuvens. O problema? Elas funcionam como um detetive que aponta o suspeito, mas se recusa a dizer por que. Se o detetive errar, ninguém sabe se foi por falta de dados ou porque ele aprendeu algo errado. Em situações de vida ou morte (como prever tornados), não podemos confiar em "achismos" de uma caixa-preta.

2. A Solução: O Assistente Transparente (EBM)

Os autores propuseram usar uma IA chamada EBM. Pense nela como um chef de cozinha que segue uma receita escrita à mão, em vez de um robô que mistura ingredientes no escuro.

• Como funciona: Em vez de olhar a foto inteira de uma vez, o EBM olha para três ingredientes principais (características) de cada nuvem:
  1. Brilho: Quão clara a nuvem é na foto (como se fosse o sol batendo nela).
  2. Textura: A nuvem é lisa como um espelho ou áspera e "borbulhante" (como um bolo de chocolate)? As nuvens perigosas são muito "borbulhantes".
  3. Frio: Quão gelada é a nuvem (nuvens altas são mais frias).

O EBM combina esses três ingredientes usando uma fórmula simples que qualquer humano pode ler e entender.

3. A Grande Vantagem: Ajuste Manual (O "Botão de Correção")

Aqui está a parte mágica. Depois que o assistente aprende com os dados, os cientistas olham para as "regras" que ele criou.

• O Cenário: Eles viram que o assistente estava confuso. Ele achava que nuvens escuras (sombras) eram perigosas, o que não fazia sentido.
• A Correção: Em vez de jogar fora o assistente e treinar um novo (o que levaria dias), eles foram até a "fórmula" do assistente e apagaram a regra errada com um lápis. Eles disseram: "Ei, nuvens escuras não contam como perigo, a menos que sejam muito frias".
• O Resultado: O assistente foi corrigido instantaneamente, sem precisar de mais dados ou horas de treinamento. É como ajustar o volume de um rádio em vez de trocar de estação.

4. O Desafio: O "Rótulo Imperfeito"

Para ensinar o assistente, eles usaram um mapa de "convecção" (áreas de chuva forte) feito por radares no chão. Mas o radar não vê exatamente a mesma coisa que o satélite vê.

• A Analogia: É como tentar ensinar alguém a identificar um "gato" usando fotos de "animais domésticos". O aluno vai aprender a identificar cães e gatos. O EBM aprendeu a identificar "áreas de tempestade", mas os cientistas quiseram que ele identificasse apenas "topos de nuvem específicos".
• A Estratégia: Eles usaram o EBM para aprender a detectar a tempestade geral e, depois, ajustaram as regras para focar apenas nos detalhes finos das nuvens perigosas. Foi um trabalho de "refinamento" manual.

5. O Resultado Final

O modelo final não é o mais preciso de todos (as IAs "caixa-preta" ainda ganham em pura precisão matemática), mas ele é confiável e seguro.

• Por que isso importa? Porque em meteorologia, é melhor ter um modelo que você entende e que não comete erros catastróficos inesperados, do que um modelo superpreciso que, de repente, decide que um céu limpo é uma tempestade porque viu uma sombra estranha.

Resumo em uma frase

Os autores criaram um sistema de previsão do tempo que é como um mapa desenhado à mão: você pode ver exatamente como ele pensa, e se ele errar, você pode pegar uma caneta e corrigir o traço, garantindo que a previsão seja segura e baseada no conhecimento humano, e não apenas em "sorte" estatística.

O objetivo deles não foi criar o melhor modelo do mundo hoje, mas sim mostrar que é possível (e necessário) ter modelos de IA que os humanos possam entender e controlar.

Resumo técnico

Título: Aprendizado de Máquina Guiado por Conhecimento: Ilustrando o Uso de Máquinas de Boosting Explicáveis (EBMs) para Identificar Topos Penetrantes em Imagens de Satélite

1. O Problema

Algoritmos de Aprendizado de Máquina (ML), especialmente os baseados em redes neurais profundas (caixas-pretas), têm sido amplamente adotados em aplicações meteorológicas devido à sua velocidade e precisão. No entanto, eles apresentam riscos significativos:

• Falta de Transparência: É difícil entender como essas modelos tomam decisões, o que gera desconfiança em aplicações de alto risco, como a previsão de tempo severo.
• Falhas Catastróficas: Modelos complexos tendem a não generalizar bem para dados fora de sua distribuição de treinamento (extrapolação), podendo adotar estratégias falhas baseadas em correlações espúrias (estratégias "Clever Hans").
• Dificuldade de Correção: Identificar e corrigir essas falhas em modelos de caixa-preta é extremamente difícil, pois requer técnicas de IA Explicável (XAI) post-hoc, que muitas vezes são limitadas e subjetivas.

O objetivo deste trabalho é demonstrar o uso de Máquinas de Boosting Explicáveis (EBMs), um algoritmo de IA Interpretável, para detectar Topos Penetrantes (Overshooting Tops - OTs) em imagens de satélite, permitindo uma colaboração direta entre humanos e máquinas para refinar a estratégia do modelo.

2. Metodologia

A abordagem proposta combina Aprendizado de Máquina Guiado por Conhecimento (KGML) com EBMs. O processo segue três etapas principais:

A. Engenharia de Recursos (Feature Engineering)
Como os EBMs exigem entradas escalares, os autores extraíram três recursos escalares ricos em informação das imagens do satélite GOES-16 (ABI):

1. Brilho (Brightness): Derivado da imagem visível (canal 2), suavizado para capturar o brilho geral de grandes regiões, removendo ruído de textura fina.
2. Ladrilhos de Contraste Fresco (Cool Contrast Tiles): Utilizando Matrizes de Co-ocorrência de Nível de Cinza (GLCMs) na imagem visível para quantificar a textura (rugosidade) das nuvens. Apenas os ladrilhos com temperatura de brilho infravermelho $\le$ 250 K são mantidos (atuando como uma máscara de nuvens altas), transformando a textura em um recurso escalar.
3. Infravermelho (IR): Dados brutos do canal 13 (janela de longo comprimento de onda), usados como proxy para a altura da nuvem (temperaturas mais baixas indicam nuvens mais altas).

B. Treinamento e Rótulos

• Dados: 10.404 cenas (64x64 pixels) coletadas sobre os EUA entre 2021 e 2024.
• Rótulos: Em vez de rótulos manuais de OTs (que são caros e difíceis de obter), os autores usaram rótulos de convecção do sistema MRMS (Multi-Radar Multi-Sensor). Eles aplicaram um limiar de temperatura (250 K) para filtrar convecções de baixa altitude, assumindo que os OTs estão embutidos dentro dessas regiões de convecção profunda.

C. Modelo e Edição (O Núcleo da Contribuição)

• Treinamento: Um EBM foi treinado para classificar pixels como "convecção" ou "não convecção". O modelo é composto por funções de recursos principais (não lineares) e funções de interação (bivariadas).
• Visualização e Edição: Após o treinamento, os autores visualizaram as funções de recursos (gráficos de pontuação vs. valor do recurso). Identificaram estratégias falhas (ex: o modelo associando erroneamente sombras escuras a OTs em baixos valores de brilho) e editaram manualmente as funções de recursos para corrigi-las, sem precisar retreinar o modelo.
  • Exemplo: Aplanaram um pico de pontuação em baixos valores de brilho que correspondia a nuvens baixas, não a OTs.
  • Exemplo: Ajustaram a função de textura para penalizar texturas pequenas e recompensar texturas fortes.

3. Contribuições Principais

1. Introdução de EBMs à Meteorologia: O artigo é um dos primeiros a aplicar EBMs a problemas de imagem meteorológica, demonstrando sua viabilidade através de engenharia de recursos adequada.
2. Fluxo de Trabalho de IA Editável: Diferente dos modelos de caixa-preta, este trabalho demonstra um ciclo onde especialistas humanos podem inspecionar a lógica do modelo (funções de recursos) e corrigi-la diretamente, alinhando o algoritmo ao conhecimento de domínio.
3. Abordagem de Transferência de Aprendizado via Edição: Em vez de buscar rótulos perfeitos de OTs, o modelo foi treinado para detectar convecção e depois "editado" para focar especificamente em OTs, demonstrando uma forma prática de transferência de aprendizado guiada por conhecimento.
4. Transparência Total: O modelo permite entender exatamente por que uma detecção foi feita (ex: "alto brilho + alta textura + baixa temperatura"), expondo modos de falha que seriam invisíveis em redes neurais convolucionais (CNNs).

4. Resultados

• Desempenho Quantitativo: O modelo final (editado) apresentou uma melhoria significativa em relação ao modelo não editado.
  • Recall: Aumentou de 0,070 para 0,144 (devido à maior sensibilidade a OTs após a edição).
  • Precisão: Caiu ligeiramente (de 0,519 para 0,487), o que é esperado ao aumentar a sensibilidade.
  • Heidke Skill Score: Aumentou de 0,119 para 0,216, indicando uma melhoria substancial sobre uma previsão aleatória.
  • Nota: As métricas são limitadas porque os rótulos de referência (MRMS) são de convecção geral, não de OTs específicos, gerando falsos positivos e negativos inevitáveis na avaliação.
• Estudos de Caso:
  • O modelo editado conseguiu detectar OTs em sombras (onde o recurso de brilho sozinho falharia), graças às funções de interação entre brilho e infravermelho.
  • Falhas Identificadas: O modelo ainda confunde OTs com outras estruturas de nuvens frias e texturizadas (como plumas de cirros acima do anvil ou fusões de anvil), uma limitação intrínseca ao conjunto de recursos escolhido, mas que foi claramente identificada graças à interpretabilidade do modelo.

5. Significado e Conclusão

O trabalho não visa entregar o algoritmo mais preciso do estado da arte para detecção de OTs, mas sim pavimentar o caminho para modelos meteorológicos interpretáveis.

• Compromisso (Trade-off): Reconhece que modelos interpretáveis podem ter uma precisão média ligeiramente inferior a modelos complexos de caixa-preta, mas oferecem uma redução drástica no risco de falhas catastróficas e permitem a validação física das decisões.
• Colaboração Humano-Máquina: Demonstra que a intervenção humana para corrigir estratégias do modelo é viável e eficaz, transformando o desenvolvimento de ML em um processo iterativo guiado por especialistas.
• Futuro: Os autores sugerem que a criação de um conjunto de dados rotulado manualmente por humanos para OTs é o próximo passo necessário para refinar ainda mais esses modelos e expandir o uso de EBMs para outras aplicações meteorológicas (ex: previsão de intensidade de furacões, detecção de poeira).

Em resumo, o artigo valida a filosofia de que, em aplicações críticas como a meteorologia, a interpretabilidade e a capacidade de correção humana são tão importantes quanto a precisão bruta, e as EBMs são uma ferramenta poderosa para alcançar esse equilíbrio.