Explaining a probabilistic prediction on the simplex with Shapley compositions

Resumo Técnico: Explicando uma Predição Probabilística no Simplex com Composições de Shapley

Definição do Problema
Modelos de aprendizado de máquina, particularmente aqueles que realizam classificação multiclasse, frequentemente produzem distribuições de probabilidade discretas em vez de valores escalares. Essas saídas residem em um simplex multidimensional. Embora os valores de Shapley sejam uma ferramenta padrão para explicar predições escalares ao quantificar as contribuições das características, sua aplicação direta em configurações multiclasse é problemática. As abordagens atuais geralmente computam valores de Shapley separadamente para cada classe (um-contra-todos ou um-contra-um). Este método ignora a natureza composicional da saída, onde os valores relativos entre as probabilidades são mais significativos do que os valores absolutos, e falha em respeitar a estrutura geométrica do simplex de probabilidade. Além disso, computar valores separados para cada classe pode levar a explicações incoerentes, onde o caminho cumulativo da predição base até a predição final deixa o espaço do simplex.

Metodologia
Os autores propõem as composições de Shapley, um framework que estende os valores de Shapley para o espaço de distribuições de probabilidade discretas utilizando a geometria de Aitchison da análise de dados composicionais.

1. Geometria de Aitchison: O artigo trata o simplex de probabilidade ($S_D$) não como um espaço euclidiano padrão, mas como um espaço com operações específicas:

   • Perturbação ($\oplus$): Atua como adição entre composições.
   • Potenciação ($\odot$): Atua como multiplicação escalar.
   • Produto Interno: Definido via razões de logaritmos das partes.
   • Transformação de Razão Logarítmica Isométrica (ILR): Mapeia o simplex para um espaço euclidiano de $(D-1)$ dimensões ($\mathbb{R}^{D-1}$), preservando a métrica e permitindo que operações vetoriais padrão (adição, subtração) representem perturbações e potenciações.

2. Definição de Composição de Shapley:

   • A função característica é redefinida para mapear subconjuntos de características para o simplex usando a subtração de Aitchison ($\ominus$), representando a mudança na predição esperada quando as características são observadas.
   • A composição de Shapley para uma característica é definida como a média dessas perturbações sobre todos os possíveis coalizões, calculada usando operações de Aitchison (perturbação e potenciação) em vez de soma e escala padrão.
   • Matematicamente, a composição de Shapley $\phi_i$ é a quantidade única que satisfaz Linearidade, Simetria e Eficiência no simplex de Aitchison.
   • Eficiência neste contexto garante que a perturbação da distribuição base (predição esperada) pela soma de todas as composições de Shapley seja igual à distribuição predita final: $\bigoplus_{i=1}^d \phi_i = f(x) \ominus E_A[f(X)]$.

3. Visualização e Análise:

   • Espaço ILR: As composições de Shapley são visualizadas como vetores no espaço ILR de $(D-1)$ dimensões. Isso permite a análise de ângulos (ortogonalidade/redundância), normas (força da contribuição) e projeções em composições de classes (direção de influência).
   • Visualizações Alternativas: Para dimensões mais altas, o artigo sugere visualizar composições como histogramas (mostrando o deslocamento da distribuição por característica) ou usar coordenadas paralelas para rastrear a perturbação sucessiva da distribuição de probabilidade da base até a predição.

Principais Contribuições

• Definição Formal: O artigo define as composições de Shapley como uma extensão principiavel de valores de Shapley para o simplex de probabilidade multidimensional.
• Prova Axiomática: Os autores provam que a composição de Shapley é a quantidade única que satisfaz linearidade, simetria e eficiência no simplex de Aitchison, estendendo assim o fundamento teórico dos valores de Shapley para configurações multiclasse.
• Framework Geométrico: O trabalho estabelece uma interpretação geométrica coerente onde as contribuições das características são perturbações aditivas no simplex, evitando a incoerência das abordagens um-contra-todos que podem sair do espaço de probabilidade.
• Ferramentas de Visualização: O artigo introduz técnicas de visualização específicas (gráficos ILR, histogramas, coordenadas paralelas) adaptadas para interpretar essas contribuições multidimensionais.

Resultados e Demonstrações
O artigo fornece demonstrações de prova de conceito em vez de benchmarks empíricos de larga escala:

• Dataset Iris (3 Classes): Visualizado em um espaço ILR 2D, mostrando como características como comprimento e largura da pétala perturbam a distribuição base em direção à região "versicolor". A análise destaca como as composições de Shapley capturam o trade-off entre classes (por exemplo, uma característica que aumenta a probabilidade de uma classe necessariamente diminui outras) de forma mais coerente do que valores SHAP separados.
• Reconhecimento de Dígitos (4 e 10 Classes):
  • Uma tarefa de 4 classes (dígitos 0–3) é visualizada em um espaço ILR 3D, ilustrando a estrutura tetraédrica do simplex.
  • Uma tarefa de 10 classes demonstra o uso de balanços (razões de logaritmos de grupos de classes) para interpretar componentes ILR específicos. Isso permite que os usuários foquem em subespaços comparando grupos específicos de classes (por exemplo, ímpares vs. pares, ou pares de dígitos específicos) sem visualizar o espaço de alta dimensão completo.
• Estimação: Os autores adaptam algoritmos de amostragem existentes (do toolkit SHAP) para estimar composições de Shapley, observando que ajustes são necessários para garantir que a propriedade de eficiência seja mantida nas aproximações.

Significância e Alegações
O artigo afirma ser o primeiro a propor uma extensão formal do framework do valor de Shapley para o simplex multidimensional para explicar predições probabilísticas multiclasse.

• Fundação Teórica: A principal contribuição é teórica e metodológica, fornecendo uma maneira "bem fundamentada" de lidar com a natureza composicional de saídas multiclasse.
• Coerência: Resolve o problema das explicações um-contra-todos ao garantir que o caminho da explicação permaneça dentro do simplex de probabilidade e trate a distribuição como uma entidade única.
• Trabalhos Futuros: Os autores notam modestamente que seus resultados experimentais são limitados a exemplos ilustrativos. Eles identificam a complexidade computacional (escalando com o número de características) e a suposição de independência das características como limitações atuais, deixando o desenvolvimento de algoritmos de estimação para características dependentes e aplicações de larga escala para pesquisas futuras.