Interactive Mars Image Content-Based Search with Interpretable Machine Learning

Resumo Técnico: Pesquisa Baseada em Conteúdo de Imagens Interativas de Marte com Aprendizado de Máquina Interpretável

Declaração do Problema
O Sistema de Dados Planetários (PDS) da NASA hospeda milhões de imagens de missões planetárias, criando um arquivo de dados onde a busca manual por produtos específicos é inviável. Embora existam sistemas de classificação baseados em conteúdo para automatizar essa busca, os modelos padrão de aprendizado profundo frequentemente funcionam como "caixas pretas", carecendo de transparência quanto às evidências visuais utilizadas para a tomada de decisão. Essa opacidade cria uma lacuna entre os modelos mentais dos usuários do Atlas (cientistas e o público) e os classificadores, prejudicando a confiança e impedindo que os usuários validem as evidências. Além disso, os métodos de explicação post-hoc existentes (por exemplo, GradCAM) podem ser pouco confiáveis na presença de padrões repetitivos comuns em imagens planetárias, como rochas ou terreno, e falham em explicar por que uma região foi atendida, indicando apenas onde.

Metodologia
Os autores propõem substituir o classificador baseado em conteúdo não interpretável no Atlas de Imagens do PDS por um sistema inerentemente interpretável baseado na arquitetura Rede de Partes Prototípicas (ProtoPNet) (Chen et al., 2019).

• Arquitetura: O sistema utiliza uma rede profunda padrão (VGG19 ou ResNet18) como base para extração de características, seguida por uma camada prototípica. Esta camada aprende um conjunto de protótipos (exemplares) que representam cada classe de imagem. Uma camada totalmente conectada pondera então esses protótipos para realizar a classificação final.
• Mecanismo de Interpretabilidade: Para uma imagem de teste, o sistema identifica as regiões mais semelhantes aos protótipos aprendidos. Essas regiões são visualizadas como caixas delimitadoras ou mapas de calor, mostrando a evidência específica utilizada pelo modelo. A decisão de classificação é transparente: trata-se de uma combinação linear das pontuações de similaridade entre os fragmentos da imagem de teste e os protótipos.
• Melhoria Inovadora (Função de Perda de Diversidade): Os autores identificaram que o treinamento padrão do ProtoPNet frequentemente resulta em falta de diversidade entre os protótipos (por exemplo, múltiplos protótipos idênticos ou originados da mesma imagem de treinamento). Para abordar isso, introduziram um termo de aumento de diversidade ($Div$) na função de perda. Este termo minimiza a similaridade entre protótipos distintos dentro da mesma classe, garantindo que o modelo aprenda uma gama mais ampla de evidências visuais.
• Estratégia de Treinamento: O modelo, denominado Proto-MSLNet, foi treinado no conjunto de dados da superfície MSL (imagens dos instrumentos Mastcam e MAHLI do rover Curiosity). O processo de treinamento emprega uma divisão temporal (treinamento em sols passados, validação/teste em sols futuros) para simular generalização realista. A função de perda total combina entropia cruzada, custo de agrupamento, custo de separação e o novo custo de diversidade.

Principais Contribuições

1. Implantação de um Sistema Interpretável: O artigo descreve um plano para implantar o Proto-MSLNet no Atlas de Imagens do PDS, substituindo o classificador não interpretável existente para apoiar a descoberta científica e a curiosidade do usuário.
2. Treinamento com Aumento de Diversidade: Os autores introduzem e avaliam um termo de custo de diversidade que melhora significativamente a variedade de evidências utilizadas pelo classificador, particularmente para classes com diversidade de protótipos inicialmente baixa (por exemplo, "Céu Noturno").
3. Avaliação Quantitativa e Qualitativa das Evidências: Diferentemente de trabalhos anteriores que dependem de concordância com anotações humanas, este estudo quantifica a correção e a diversidade dos protótipos aprendidos. Eles demonstram que o sistema pode identificar evidências errôneas (por exemplo, características de fundo atuando como evidência negativa) e dados mal rotulados.
4. Ciclo de Feedback do Usuário: O sistema proposto inclui um mecanismo para os usuários relatarem classificações incorretas ou evidências errôneas, criando um ciclo de feedback para refinar o modelo.

Resultados

• Compromisso de Desempenho: Os modelos interpretáveis Proto-MSLNet mostraram uma leve queda na acurácia de teste (aproximadamente 2,5 pontos percentuais) e um aumento na taxa de abstenção (imagens onde o modelo não tem confiança suficiente para classificar, subindo de ~15,5% para ~24,5% para ResNet18) em comparação com suas contrapartes não interpretáveis. Isso é atribuído às restrições impostas pela camada prototípica.
• Melhorias na Diversidade: A inclusão do termo de perda de diversidade resultou em um aumento de 2 pontos percentuais na acurácia de teste e aumentou significativamente a diversidade de protótipos para a classe "Céu Noturno" (de ~4 protótipos únicos para uma contagem maior), enquanto classes já ricas em diversidade (por exemplo, "Rocha Flutuante") não apresentaram alterações.
• Insights Qualitativos:
  • Correção: O sistema identificou com sucesso que os protótipos de "Céu Noturno" focavam no vazio, levando à classificação incorreta de imagens de "Sol" quando o sol não era proeminente. Por outro lado, classificações corretas destacavam a forma brilhante e redonda do sol.
  • Evidência Negativa: O modelo aprendeu a usar características de fundo como evidência negativa (por exemplo, fundos rochosos com pesos negativos) para distinguir alvos de calibração.
  • Sobreposição de Classes: A análise revelou sobreposições entre classes como "Junta da Roda" e "Roda", atribuídas à posição da câmera e ângulos de rotação, e identificou instâncias mal rotuladas no conjunto de dados.

Significado e Alegações
O artigo afirma que um sistema inerentemente interpretável é vital para preencher a lacuna entre os modelos mentais dos usuários e os classificadores de imagens planetárias. Ao tornar as evidências transparentes, o sistema permite que os usuários:

1. Validem as pistas visuais utilizadas pelo classificador.
2. Identifiquem evidências errôneas ou problemas de qualidade de dados por meio de adjudicação do usuário.
3. Engajem-se ativamente com os dados, fomentando um ciclo de feedback que pode melhorar o desempenho do classificador ao longo do tempo.

Os autores afirmam modestamente que, embora haja um custo menor de desempenho, a capacidade de depurar evidências espúrias e o estabelecimento de um mecanismo de feedback impulsionado pelo usuário são essenciais para a melhoria a longo prazo da classificação de conteúdo nas missões planetárias da NASA. Trabalhos futuros focarão em estudos com usuários para otimizar a visualização de protótipos e a integração do feedback do usuário nos protocolos de refinamento do modelo.