On the definition and importance of interpretability in scientific machine learning

Este artigo propõe uma definição operacional de interpretabilidade para a aprendizagem de máquina científica que prioriza a compreensão dos mecanismos físicos em vez da simples esparsidade matemática, argumentando que essa distinção é essencial para integrar modelos de dados ao conhecimento científico tradicional.

O essencial

🧠 O Mistério da "Caixa Preta" na Ciência

Imagine que você é um cientista tentando entender como o mundo funciona. Tradicionalmente, os cientistas escrevem "receitas" (equações matemáticas) para explicar fenômenos, como a gravidade ou o movimento dos planetas. Essas receitas são curtas, elegantes e fáceis de ler.

Hoje, temos uma nova ferramenta poderosa: a Inteligência Artificial (IA) e as Redes Neurais. Elas são como gênios superpoderosos que conseguem prever o futuro com incrível precisão. Se você der a elas dados sobre o clima, elas preveem a chuva perfeitamente. Se der dados sobre um carro autônomo, elas dirigem sem bater.

O problema? Esses gênios são caixas pretas.
Eles sabem a resposta, mas não conseguem explicar como chegaram lá. É como se você perguntasse a um oráculo: "Por que o carro freou?" e ele respondesse: "Porque a mágica dos números diz que sim". Para um cientista, isso não é suficiente. Eles não querem apenas prever; eles querem entender. Eles querem saber a história por trás do fenômeno.

🕵️‍♂️ A Confusão: "Simples" é o mesmo que "Entendível"?

Muitos pesquisadores tentaram resolver isso criando métodos para descobrir equações a partir de dados. A ideia era: "Vamos fazer a IA encontrar uma equação curta e simples (chamada de esparça). Se for curta, deve ser fácil de entender, certo?"

O artigo diz: Nem sempre.

Aqui está a analogia para entender o erro:

A Analogia da Receita de Bolo:
Imagine que você tem uma receita de bolo.

• Receita A (Esparsa/Interpretável): "Misture farinha, ovos e açúcar." Você entende o processo. Sabe que a farinha dá estrutura, os ovos dão liga. Você entende a mecânica do bolo.
• Receita B (Esparsa mas Estranha): "Misture 3 colheres de pó azul, 1 gota de líquido que brilha e 2 xícaras de silêncio."

A Receita B é curta (espaçosa), mas não faz sentido. Você não sabe o que é "pó azul" ou "silêncio". Você não consegue explicar por que o bolo cresce.

O artigo diz que muitos cientistas estão achando que, porque a equação é curta (como a Receita B), ela é automática e fácil de entender. Mas se você não sabe o que os termos significam no mundo real, a equação é inútil para a descoberta científica.

🚫 O Exemplo de Kepler e Newton

Os autores usam um exemplo histórico brilhante para provar seu ponto: Johannes Kepler.

No século 17, Kepler descobriu leis matemáticas sobre como os planetas se movem. As leis eram curtas e simples (espaçosas). Mas, na época, ninguém entendia o "porquê". Era como ter a Receita B. Era apenas uma descrição do que acontecia, sem a explicação da causa.

Só 70 anos depois, Isaac Newton chegou e disse: "Ei, essas leis de Kepler são na verdade consequências da gravidade!".

• Kepler tinha a equação simples (espaçosa), mas não tinha a interpretação.
• Newton deu a interpretação (mecanismo: gravidade), que permitiu entender a equação.

A lição: Ter uma equação curta não garante que você entenda a física por trás dela. A "interpretabilidade" vem de conectar a equação a um princípio físico que já conhecemos (como gravidade, conservação de energia, etc.).

🛠️ A Nova Definição Proposta

O artigo propõe uma nova regra para o que significa "interpretável" na ciência:

Uma equação é interpretável apenas se você puder contar a história de como ela foi criada a partir de princípios básicos da física.

• Se a IA descobre uma equação e você consegue dizer: "Ah, esse termo é a difusão (como o cheiro se espalha) e aquele é a reação (como uma queima)", então é interpretável.
• Se a IA descobre uma equação com termos estranhos que você nunca viu e não consegue ligar a nenhuma lei da física conhecida, não importa se a equação é curta, ela não é interpretável. É apenas um chute matemático.

🌟 Por que isso importa? (O Valor da Simplicidade)

Então, a simplicidade (espaçosidade) não serve para nada? Não! Ela ainda é útil, mas de um jeito diferente.

Imagine que a IA encontrou uma equação curta, mas estranha (como a Receita B).

• Se ela fosse uma "caixa preta" gigante (uma rede neural complexa), seria impossível imaginar como chegar a ela a partir das leis da física.
• Como ela é curta, os cientistas humanos têm uma chance de investigar: "Será que existe uma lei física que gera essa fórmula curta?".

A simplicidade funciona como um mapa do tesouro. Ela não é o tesouro em si, mas ela diz: "O tesouro está por perto". Ela deixa a porta aberta para que, no futuro, um cientista descubra o mecanismo por trás daquela fórmula curta.

📝 Resumo Final

1. O Problema: A IA é ótima em prever, mas ruim em explicar. Cientistas querem explicações, não apenas previsões.
2. O Erro Comum: Achar que "equação curta" = "equação entendível". Nem sempre é verdade. Uma equação curta pode ser um código sem sentido se não tiver conexão com a realidade física.
3. A Solução: Interpretabilidade não é sobre o tamanho da equação, é sobre conexão. Você consegue ligar os termos da equação a conceitos físicos reais (como força, energia, movimento)?
4. O Futuro: A IA pode nos ajudar a encontrar equações curtas que parecem estranhas hoje, mas que amanhã, com nossa criatividade e conhecimento, serão a chave para novas descobertas científicas.

Em suma: Não se apaixone pela simplicidade da fórmula; apaixone-se pela história que ela conta sobre o universo.

Resumo técnico

Título: Sobre a Definição e a Importância da Interpretabilidade no Aprendizado de Máquina Científico (SciML)

Autores: Conor Rowan e Alireza Doostan (Universidade do Colorado Boulder)

---

1. O Problema

O campo do Aprendizado de Máquina Científico (SciML) enfrenta uma tensão fundamental entre a capacidade preditiva de modelos baseados em redes neurais (frequentemente considerados "caixas-pretas") e a tradição das ciências físicas, que valoriza a descoberta de leis fundamentais expressas em equações matemáticas compactas e compreensíveis.

• A Falácia da Esparsidade: Na literatura atual de descoberta de equações e regressão simbólica (ex: método SINDy), há uma tendência de equiparar interpretabilidade à esparsidade matemática (equações curtas com poucos termos).
• A Lacuna: Os autores argumentam que essa definição é insuficiente e enganosa. Uma equação pode ser matematicamente esparsa (simples) mas carecer de significado físico, tornando-a inútil para a descoberta científica genuína.
• A Questão Central: Como definir "interpretabilidade" de forma rigorosa no contexto da ciência, de modo que ela realmente contribua para a acumulação de conhecimento científico, e não apenas para a previsão de dados?

2. Metodologia

O artigo adota uma abordagem conceitual e filosófica, combinando revisão de literatura com análise crítica de exemplos teóricos:

1. Revisão de Literatura:
   • Análise de trabalhos em descoberta de equações e regressão simbólica para identificar como o termo "interpretabilidade" é utilizado (geralmente implícito e associado a esparsidade).
   • Revisão da literatura de ML Interpretável e IA Explicável (XAI) para verificar se suas definições (focadas em transparência, segurança e ética) são transferíveis para o SciML.
2. Análise de Casos Teóricos (Pensamento Experimental):
   • Caso 1 (Viga Elástica): Uma equação esparsa recuperada de dados pode ser interpretada apenas se o cientista já possuir conhecimento prévio dos mecanismos físicos (elasticidade linear vs. não linear). Sem esse conhecimento, a esparsidade não gera compreensão.
   • Caso 2 (Densidade de Energia Hiperelástica): Uma equação complexa (não esparsa) pode ser altamente interpretável se representar um conceito físico conhecido (armazenamento de energia), mesmo com forma matemática intrincada.
   • Caso 3 (Termo Desconhecido): Uma equação esparsa contendo um termo matemático simples, mas fisicamente desconhecido, não é interpretável, pois não pode ser conectada a princípios fundamentais.
   • Caso Histórico (Leis de Kepler): As leis de Kepler eram equações esparsas e precisas, mas não eram "interpretáveis" no momento de sua descoberta, pois faltava o princípio subjacente (gravitação newtoniana) para explicá-las.
3. Proposta de Definição Operacional:
   • Desenvolvimento de uma nova definição baseada na história e filosofia da ciência, focando na conexão com princípios físicos básicos.

3. Principais Contribuições

1. Crítica à Esparsidade como Definição Única:

   • Os autores demonstram que a esparsidade matemática não garante a interpretabilidade. Uma equação simples pode ser um artefato estatístico sem significado físico, enquanto uma equação complexa pode codificar um mecanismo físico claro.
   • A esparsidade é uma ferramenta de regularização, não um sinônimo de compreensão.

2. Nova Definição de Interpretabilidade para SciML:

   • Definição Proposta: "Em SciML, um modelo aprendido é interpretável quando ele pode ser derivado de princípios físicos básicos ou quando representa um componente empírico de um modelo derivado desses princípios."
   • Foco no Mecanismo: A interpretabilidade reside na conexão entre os termos da equação e os mecanismos físicos subjacentes (ex: conservação de massa, momento, energia), e não na simplicidade da notação matemática.
   • Papel do Conhecimento Prévio: A interpretação exige que o cientista possa vincular os termos da equação a conceitos conhecidos (ex: advecção, difusão, reação). Termos desconhecidos, mesmo que esparsos, não são interpretáveis até que seu mecanismo seja descoberto.

3. Distinção entre "Ciência Normal" e "Descoberta Revolucionária":

   • A definição proposta limita a "interpretabilidade" à ciência normal (refinamento de leis conhecidas, problemas inversos).
   • A descoberta de novos princípios fundamentais (revoluções científicas) é, por definição, não interpretável no momento da descoberta, pois não há princípios anteriores para derivá-los.

4. Reavaliação do Papel da Esparsidade:

   • Embora a esparsidade não garanta interpretação, ela é valiosa porque aumenta a probabilidade de que uma equação descoberta possa, no futuro, ser derivada de princípios fundamentais. Equações não esparsas (como redes neurais profundas) são frequentemente impossíveis de "desmontar" para revelar princípios físicos subjacentes.

4. Resultados e Discussão

• Inadequação das Definições Atuais: As definições de ML interpretável (focadas em "por que" a saída ocorreu baseada em características de entrada) são inadequadas para a ciência, que busca "por que" o fenômeno ocorre baseado em leis fundamentais.
• O Paradoxo da Descoberta: Se a interpretabilidade exige conhecimento prévio de mecanismos, como podemos descobrir algo genuinamente novo? O artigo sugere que a descoberta de novos fenômenos começa com equações esparsas (que facilitam a derivação futura), mas a interpretação completa só ocorre quando o mecanismo é elucidado.
• Unificação: A interpretabilidade serve como uma ferramenta de unificação científica, permitindo que fenômenos aparentemente diversos sejam reduzidos a um conjunto pequeno de princípios fundamentais (latente space), conforme ilustrado no modelo dedutivo-nomológico de Hempel.

5. Significado e Impacto

• Mudança de Paradigma: O trabalho desafia a comunidade de SciML a abandonar a busca cega por equações esparsas como o "Santo Graal" da descoberta científica.
• Foco na Mecânica: Orienta os pesquisadores a priorizarem a compreensão dos mecanismos físicos e a conexão com princípios de conservação, em vez de apenas a forma matemática compacta.
• Rigor Filosófico: Introduz uma base filosófica sólida para o SciML, distinguindo entre a descoberta de padrões (regressão) e a descoberta de leis (ciência).
• Futuro da Pesquisa: Sugere que a viabilidade de técnicas como SINDy e regressão simbólica para descobrir fenômenos físicos genuinamente novos (onde o conhecimento prévio é ausente) é questionável sob a definição atual de interpretabilidade. O foco deve ser desenvolver métodos que não apenas encontrem equações, mas que facilitem a conexão dessas equações com a teoria física existente.

Em resumo, o artigo argumenta que a interpretabilidade no SciML é sobre significado físico e conexão com princípios fundamentais, não sobre simplicidade matemática. A esparsidade é um meio útil, mas não um fim em si mesma, e sua verdadeira utilidade reside em facilitar a derivação futura de equações a partir de leis físicas básicas.